在數倉及中臺研發(fā)過程中,研發(fā)人員經常需要在不同任務中維護相同或類似代碼,不僅費時費力,并且代碼迭代后也面臨不同業(yè)務單元邏輯性不一致的問題,對運維管理形成挑戰(zhàn)。
一般來說,研發(fā)人員往往通過代碼模板來解決這一問題。具體而言,在核心數據處理邏輯相同的情況下,研發(fā)人員通過代碼模版?zhèn)魅氩煌娜蝿諈担鉀Q核心數據處理邏輯復用的問題,使得后續(xù)任務可以批量化,滿足實時調用需求。
目前,任務模板已是火山引擎DataLeap研發(fā)治理能力之一,主要用于管理常用的任務邏輯,以此降低常用代碼的運維成本。在產品功能上,DataLeap任務模板支持豐富的引擎能力,包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任務,滿足離線實時任務的不同需求。此外,DataLeap還支持歷史版本管理,即保存或更新模板后,記錄各個版本更新情況,方便查看代碼設置及參數。
【資料圖】
在使用層面上,研發(fā)人員只需要三步驟即可完成任務模板創(chuàng)建,便捷復用核心數據處理邏輯。
第一步:選中支持的任務類型
· 在模板列表右側的“+”(更多)按鈕中,新建子目錄或新建任務模板。
· 在新建任務模板窗口中,輸入以下參數,并新建模板。
火山引擎DataLeap任務模板能力可應用于以下場景:
· 場景1:將預先設計好的離線、實時任務模板保存后,即可在多個任務中引用此類型模板,快速實現代碼復用。
· 場景2:將shell任務代碼制作為前置判斷條件,在數據分析前的觸發(fā)檢測運行條件是否滿足。
除了任務模板之外,作為大數據研發(fā)治理套件,火山引擎DataLeap還可以提供數據集成、開發(fā)、運維、治理、資產、安全等能力,幫助用戶提升數據研發(fā)效率、降低管理成本,加速推動企業(yè)的數字化轉型。(作者:宋巖)