近期,火山引擎DataLeap上線“動(dòng)態(tài)探查”能力,為用戶(hù)提供全局?jǐn)?shù)據(jù)視角、完善的抽樣策略,提高數(shù)據(jù)探查的靈活度以及響應(yīng)速率。
傳統(tǒng)的數(shù)據(jù)探查是基于庫(kù)表的全量探查,由后端引擎執(zhí)行,通過(guò)自動(dòng)化檢查數(shù)據(jù)成分、關(guān)系、格式等,以報(bào)告形式展示探查后列的統(tǒng)計(jì)分布結(jié)果,避免數(shù)據(jù)質(zhì)量導(dǎo)致項(xiàng)目開(kāi)發(fā)、上線出現(xiàn)問(wèn)題,主要應(yīng)用于元數(shù)據(jù)管理、數(shù)據(jù)研發(fā)、數(shù)倉(cāng)開(kāi)發(fā)以及數(shù)據(jù)治理等環(huán)節(jié),滿(mǎn)足使用者對(duì)數(shù)據(jù)質(zhì)量初探的需求。
【資料圖】
但在數(shù)據(jù)量級(jí)大、用戶(hù)需要探查數(shù)據(jù)明細(xì)或需要數(shù)據(jù)預(yù)處理操作時(shí),由于傳統(tǒng)的數(shù)據(jù)探查要對(duì)全量表進(jìn)行檢測(cè),導(dǎo)致無(wú)法實(shí)時(shí)產(chǎn)出報(bào)告、等待時(shí)間變長(zhǎng),靈活度低,且無(wú)法跟蹤數(shù)據(jù)明細(xì)。
針對(duì)上述痛點(diǎn),火山引擎DataLeap在傳統(tǒng)數(shù)據(jù)探查基礎(chǔ)能力上,進(jìn)一步增強(qiáng)了動(dòng)態(tài)探查能力。其特點(diǎn)在于:
● 基于大數(shù)據(jù)預(yù)覽探查,支持對(duì)數(shù)據(jù)進(jìn)行函數(shù)級(jí)別預(yù)處理。
● 數(shù)據(jù)探查結(jié)果秒級(jí)更新、實(shí)時(shí)響應(yīng)。
● 與數(shù)據(jù)監(jiān)控聯(lián)動(dòng),有效打通數(shù)據(jù)探查到質(zhì)量分析閉環(huán)。
據(jù)介紹,DataLeap動(dòng)態(tài)探查的對(duì)象是抽樣數(shù)據(jù),支持連續(xù)抽樣(按照默認(rèn)順序連續(xù)抽樣前x條數(shù)據(jù))、過(guò)濾抽樣(使用where過(guò)濾語(yǔ)句過(guò)濾)、隨機(jī)抽樣(隨機(jī)抽樣x條數(shù)據(jù))3種模式,用戶(hù)可對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,實(shí)時(shí)、動(dòng)態(tài)獲得統(tǒng)計(jì)分布結(jié)果,具備靈活度高、實(shí)效性強(qiáng)的特點(diǎn)。
火山引擎DataLeap數(shù)據(jù)探查報(bào)告
目前,DataLeap動(dòng)態(tài)探查可以應(yīng)用在以下三個(gè)場(chǎng)景中:
● 場(chǎng)景1:用于分析型探查場(chǎng)景,用戶(hù)可利用hive基本函數(shù),如get_json_object,將列進(jìn)行數(shù)據(jù)提取。
● 場(chǎng)景2:與探查報(bào)告打通,用戶(hù)點(diǎn)擊探查報(bào)告中的統(tǒng)計(jì)值,即可跳轉(zhuǎn)到數(shù)據(jù)表格,并應(yīng)用具體行過(guò)濾函數(shù)。
● 場(chǎng)景3:用于數(shù)據(jù)過(guò)濾后的探查場(chǎng)景,用戶(hù)通過(guò)過(guò)濾和分組條件進(jìn)行寫(xiě)條件探查,例如校驗(yàn)status=0時(shí)current_price為0的占比。
DataLeap是火山引擎數(shù)智平臺(tái)旗下產(chǎn)品,提供數(shù)據(jù)集成、開(kāi)發(fā)、運(yùn)維、治理、資產(chǎn)、安全等能力,幫助用戶(hù)提升數(shù)據(jù)研發(fā)效率、降低管理成本,加速推動(dòng)企業(yè)的數(shù)字化轉(zhuǎn)型,目前已經(jīng)應(yīng)用于泛互聯(lián)網(wǎng)、制造、新零售、汽車(chē)等領(lǐng)域。(作者:姚元宇)