更多技术交流、求职时机,欢迎关注字节跳动数据渠道微信公众号,回复【1】进入官方交流群
在数仓及中台研制过程中,研制人员常常需要在不同使命中维护相同或相似代码,不只费时吃力,而且代码迭代后也面临不同事务单元逻辑性不一致的问题,对运维办理构成挑战。
一般来说,研制人员往往经过代码模板来处理这一问题。具体而言,在中心数据处理逻辑相同的情况下,研制人员经过代码模版传入不同的使命参数,处理中心数据处理逻辑复用的问题,使得后续使命能够批量化,满意实时调用需求。
目前,使命模板已是火山引擎 DataLeap 研制管理才能之一,主要用于办理常用的使命逻辑,以此下降常用代码的运维成本。在产品功能上,DataLeap 使命模板支撑丰富的引擎才能,包括 LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell 使命,满意离线实时使命的不同需求。
此外,DataLeap 还支撑历史版别办理,即保存或更新模板后,记录各个版别更新情况,方便查看代码设置及参数。
在使用层面上,研制人员只需要三过程即可完成使命模板创建,快捷复用中心数据处理逻辑。
第一步:选中支撑的使命类型
- 在模板列表右侧的“+”(更多)按钮中,新建子目录或新建使命模板。
- 在新建使命模板窗口中,输入以下参数,并新建模板。
第二步:代码编写参数设置
- 在使命模板的代码开发修改界面,经过 DDL 和 DML 编写通用 SQL。
- 表名、字段名分别能够用参数表示,以下以 LAS Flink SQL 的逻辑处理,保存为 test02 模板。
第三步:在使命开发中引证
研制人员能够经过以下 2 种方式引证 test02 模板:
- 办法 1:在模板列表中,挑选模板并点击后即可快速引证。
- 办法 2:在代码修改界面右上角挑选使命模板,挑选模板后,按需挑选是否最新版别的模板,在对参数设置之后,预览代码终究生成效果(如图)。
火山引擎 DataLeap 使命模板才能可应用于以下场景:
-
场景 1:将预先设计好的离线、实时使命模板保存后,即可在多个使命中引证此类型模板,快速完成代码复用。
-
场景 2:将 shell 使命代码制作为前置判别条件,在数据分析前的触发检测运转条件是否满意。
除了使命模板之外,作为大数据研制管理套件,DataLeap 还能够供给数据集成、开发、运维、管理、财物、安全等才能,协助用户提升数据研制功率、下降办理成本,加快推进企业的数字化转型。
点击跳转 火山引擎大数据研制管理DataLeap 了解更多