火山引擎dataleap:在数据研发中,如何提升效率?

字节跳动数据平台 字节跳动数据平台     2023-04-25     667

关键词:

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致的问题,对运维管理形成挑战。

 

一般来说,研发人员往往通过代码模板来解决这一问题。具体而言,在核心数据处理逻辑相同的情况下,研发人员通过代码模版传入不同的任务参数,解决核心数据处理逻辑复用的问题,使得后续任务可以批量化,满足实时调用需求。

 

目前,任务模板已是火山引擎 DataLeap 研发治理能力之一,主要用于管理常用的任务逻辑,以此降低常用代码的运维成本。在产品功能上,DataLeap 任务模板支持丰富的引擎能力,包括 LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell 任务,满足离线实时任务的不同需求。

 

此外,DataLeap 还支持历史版本管理,即保存或更新模板后,记录各个版本更新情况,方便查看代码设置及参数。

 

在使用层面上,研发人员只需要三步骤即可完成任务模板创建,便捷复用核心数据处理逻辑。

第一步:选中支持的任务类型

  • 在模板列表右侧的“+”(更多)按钮中,新建子目录或新建任务模板。

  • 在新建任务模板窗口中,输入以下参数,并新建模板。

第二步:代码编写参数设置

  • 在任务模板的代码开发编辑界面,通过 DDL 和 DML 编写通用 SQL。

  • 表名、字段名分别可以用参数表示,以下以 LAS Flink SQL 的逻辑处理,保存为 test02 模板。

第三步:在任务开发中引用

研发人员可以通过以下 2 种方式引用 test02 模板:

  • 方法 1:在模板列表中,选择模板并点击后即可快速引用。

  • 方法 2:在代码编辑界面右上角选择任务模板,选择模板后,按需选择是否最新版本的模板,在对参数设置之后,预览代码最终生成效果(如图)。

火山引擎 DataLeap 任务模板能力可应用于以下场景:

  • 场景 1:将预先设计好的离线、实时任务模板保存后,即可在多个任务中引用此类型模板,快速实现代码复用。

  • 场景 2:将 shell 任务代码制作为前置判断条件,在数据分析前的触发检测运行条件是否满足。

 

除了任务模板之外,作为大数据研发治理套件,DataLeap 还可以提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型。

 

点击跳转 火山引擎大数据研发治理DataLeap 了解更多

数据丢失不用怕,火山引擎dataleap提供排查解决方案

...这一问题,火山引擎数智平台推出的大数据研发治理套件DataLeap,可以为企业提供完整解决方案,帮助解决MQdump在极端场景中遇到的数据丢失问题。例如,当HDFS(一种分布式文件系统)集群某个元数据节点由于硬件故障而宕机。... 查看详情

火山引擎dataleap:揭秘字节跳动数据血缘架构演进之路

...节跳动数据平台微信公众号,回复【1】进入官方交流群DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,降低工作成本和数据维... 查看详情

火山引擎dataleap通过中国信通院测评,数据管理能力获官方认可!

 近日,火山引擎大数据研发治理套件DataLeap通过中国信通院第十五批“可信大数据”测评,在数据管理平台基础能力上获得认证。 “可信大数据”产品能力评测体系由中国信通院发起,是国内首个面向大数据产品的权威... 查看详情

直播预告|企业如何轻松完成数据治理?火山引擎dataleap给你一份实战攻略!

...,还考验选型、平台能力、数据部署方式等“软”技能。DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品,可帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,降低工作成本和数据... 查看详情

电商流量分析怎么做?试试这款数据工具dataleap!

...数据指标。在亿级数据体量下,某电商平台基于火山引擎DataLeap、DataFinder等产品组合,通过以下三个步骤,实现从北极星指标、用户增长指标到转化漏斗等核心数据监测和分析。本文将聚焦在货架场景,揭秘电商平台流量分析背... 查看详情

火山引擎dataleap推出全链路智能监控报警平台

...的基线监控覆盖率超过80%。当前,该能力已通过火山引擎DataLeap向企业开放。企业可以通过火山引擎DataLeap的基线监控功能,有效降低监控配置成本、避免无效报警及报警泛滥。 图:火山引擎DataLeap监控范围 火 查看详情

火山引擎dataleap:3个关键步骤,复制字节跳动一站式数据治理经验

DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支... 查看详情

从此告别写sql!dataleap帮你零门槛完成“数据探查”

...具备一定专业门槛,并且重复操作、花费时间。火山引擎Dataleap推出的“数据探查”功能,可一举解决以上问题,帮助数据从业者校验数据量、主键、空值、枚举值等数值。用户只要进行简单的勾选操作,就能轻松获得详细、准... 查看详情

火山引擎dataleap数据血缘技术实现与具体用例

目录01数据血缘模型02数据血缘优化03数据血缘用例04未来展望01数据血缘模型数据血缘模型–挑战首先介绍一下字节内部数据血缘遇到的挑战。随着公司业务扩张、用户数量持续增长以及数仓建设不断完善,元数据种类和数量... 查看详情

一:技术选型之路

...显然,做数据开发,只有Notebook是不够的。目前火山引擎DataLeap数据研发平台提供了任务开发、发布调度、监控运维等一系列能力。研发团队将Notebook作为一种任务类型,加入了火山引擎DataLeap数据研发平台,使用户既能拥有Noteboo... 查看详情

对话抖音电商:量级庞大参差不齐,“数据质量治理”有妙招!

...便捷实现数据质量监控,抖音电商数据团队引入火山引擎DataLeap数据质量平台,通过数据波动监控、异常报警、数据内容探查及差异对比工具等功能,保证数据在生产及使用流程中的可靠性和合理性,避免因为数据质量导致的数... 查看详情

助力企业数据飞轮转起来!火山引擎云原生数仓bytehouse全面大促中

...的路径。去年,字节跳动正式将自身数据驱动能力,通过火山引擎数智平台VeDI全面向外开放,为企业提供了丰富的数据能力工具;而在今年四月举行的春季FORCE原动力大会上,火山引擎正式对外发布了数据飞轮模式,进一步解析... 查看详情

软件研发人效提升之道,法,术,器,势

...为的寒气传递之前,笔者已经在思考和实战如何提高研发人效。目的目标很明确:提高软件研发人效,所谓的软件人效,简单粗暴的定义就是以最低单位人均成本,快速,高质量,高频率,安全地交付软... 查看详情

火山引擎datatester推出可视化数据集成方案

...快速将A/B测试平台嵌入业务成为很多企业的痛点。近期,火山引擎DataTester 推出可视化数据集成能力,可以帮助企业实现对历史数据资产的直接复用。为了更低成本支持数据集成的需求,DataTester 还采用了可视化数据集成... 查看详情

火山引擎vedi零售行业解决方案聚焦精准营销场景提升品牌转化

...合,即找准真正适合品牌的直播间。在3月刚结束的第8期火山引擎数智平台VeDI「增长课堂」活动上,火山引擎数智平台介绍了面向营销场景的“达人直播优选”场景的解决方案,帮助品牌商从数据角度出发,挖掘商品与直播间的... 查看详情

图解研发效能:让过程被看见,让工作更高效

...当我们的工作活动都在云效上时,这便就有了度量的数据基础。在很多文章中我们看到的是,效能洞察主要是帮助企业管理者,在研发管理上提升效能。今天我想和大家分享的话题是,如何借助度量数据,帮... 查看详情

apachepulsar在火山引擎emr的集成与场景(代码片段)

...用,其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌,主要面向ToB业务场景。火山引擎中Stateless云原生开源大数据平台E-MapReduce(简称EMR)为用户提供了云上的端到端的大数据解决方案。... 查看详情

主编连线:对话火山引擎——打造音视频极致体验与成本优化

...衡成本也至关重要。今晚19:00,LiveVideoStack主编将连线火山引擎视频云架构技术总监王悦及火山引擎点播基础技术研发负责人马茜,聊聊火山引擎是 查看详情