火山引擎DataLeap引入任務(wù)模板,助力數(shù)據(jù)研發(fā)提效

在數(shù)倉及中臺(tái)研發(fā)過程中,研發(fā)人員經(jīng)常需要在不同任務(wù)中維護(hù)相同或類似代碼,不僅費(fèi)時(shí)費(fèi)力,并且代碼迭代后也面臨不同業(yè)務(wù)單元邏輯性不一致的問題,對(duì)運(yùn)維管理形成挑戰(zhàn)。

一般來說,研發(fā)人員往往通過代碼模板來解決這一問題。具體而言,在核心數(shù)據(jù)處理邏輯相同的情況下,研發(fā)人員通過代碼模版?zhèn)魅氩煌娜蝿?wù)參數(shù),解決核心數(shù)據(jù)處理邏輯復(fù)用的問題,使得后續(xù)任務(wù)可以批量化,滿足實(shí)時(shí)調(diào)用需求。

目前,任務(wù)模板已是火山引擎DataLeap研發(fā)治理能力之一,主要用于管理常用的任務(wù)邏輯,以此降低常用代碼的運(yùn)維成本。在產(chǎn)品功能上,DataLeap任務(wù)模板支持豐富的引擎能力,包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任務(wù),滿足離線實(shí)時(shí)任務(wù)的不同需求。此外,DataLeap還支持歷史版本管理,即保存或更新模板后,記錄各個(gè)版本更新情況,方便查看代碼設(shè)置及參數(shù)。


【資料圖】

在使用層面上,研發(fā)人員只需要三步驟即可完成任務(wù)模板創(chuàng)建,便捷復(fù)用核心數(shù)據(jù)處理邏輯。

第一步:選中支持的任務(wù)類型

· 在模板列表右側(cè)的“+”(更多)按鈕中,新建子目錄或新建任務(wù)模板。

· 在新建任務(wù)模板窗口中,輸入以下參數(shù),并新建模板。

火山引擎DataLeap任務(wù)模板能力可應(yīng)用于以下場景:

· 場景1:將預(yù)先設(shè)計(jì)好的離線、實(shí)時(shí)任務(wù)模板保存后,即可在多個(gè)任務(wù)中引用此類型模板,快速實(shí)現(xiàn)代碼復(fù)用。

· 場景2:將shell任務(wù)代碼制作為前置判斷條件,在數(shù)據(jù)分析前的觸發(fā)檢測運(yùn)行條件是否滿足。

除了任務(wù)模板之外,作為大數(shù)據(jù)研發(fā)治理套件,火山引擎DataLeap還可以提供數(shù)據(jù)集成、開發(fā)、運(yùn)維、治理、資產(chǎn)、安全等能力,幫助用戶提升數(shù)據(jù)研發(fā)效率、降低管理成本,加速推動(dòng)企業(yè)的數(shù)字化轉(zhuǎn)型。(作者:宋巖)

推薦DIY文章
大v是什么意思:指在網(wǎng)絡(luò)平臺(tái)獲得個(gè)人認(rèn)證 擁有眾多粉絲的微博用戶
環(huán)球快看:大地之靈出裝dota 大地之靈中期可以獲得相位鞋,原力棍嗎
火影忍者里的阿飛是誰?是宇智波帶土嗎?他為什么會(huì)變成阿飛?-世界關(guān)注
假想敵是什么意思 指為了達(dá)到某個(gè)目的或目標(biāo)而假想出來的對(duì)手_天天視訊
全球熱文:白族的節(jié)日風(fēng)俗有哪些 白族每年最隆重的節(jié)日又是什么
最新資訊:做好口腔門診管理掌握這六個(gè)步驟:首先是團(tuán)隊(duì)建設(shè)和培訓(xùn)
精彩新聞

超前放送