关键词:
原文链接:实时开发平台建设实践,深入释放实时数据价值
视频回顾:点击这里
课件获取:点击这里
一、实时数仓建设背景
随着整体行业的数字化转型不断深入以及技术能力的不断提高,传统的 T+1 式(隔日)的离线大数据模式越来越无法满足新兴业务的发展需求,开展实时化的大数据业务,是企业深入挖掘数据价值的一条必经之路。
面对数字化转型下的数据快速产生、“小步快跑” 的精细化运营及实时化和自动化的决策需求,如何提高实时数据处理能力将成为企业提升竞争力的一大因素。
而企业在建设实时数据应用时,又往往面临诸多困难:
- 实时开发技术门槛高,学习难度大,开发过程依赖各种引擎,链路复杂
- 开发数据效率低,代码调试复杂
- 建设成本、使用成本高
- 数据建模及开发规范不统一,问题难监控,管理困难
为了解决这些问题,我们在实时建设过程中需要确定建设方式和建设目标,帮助企业更好的实现实时数仓建设。
二、实时数仓建设方法论
如何帮助企业建设实时数仓,我们主要从以下四个步骤入手:
1、明确需求
企业进行实时数仓建设的第一步是明确需求,需求需要业务需求和技术需求想结合。
1)业务需求方面:
- 详细梳理各类实时计算应用场景
- 详细梳理每个实时指标的具体需求
2)技术需求方面:
- 详细梳理每个实时指标的数据来源信息
2、技术选型
第二步技术选型阶段,技术选型包括四个方面的选型:
a、整体技术路线
b、采集工具
c、消息中间件 + 计算引擎及
d、维表、结果表的存储数据库
3、数仓设计与开发
第三步是数仓设计与开发,包含一下三个方面:
a、实时数仓分层设计
b、开发规范
c、代码开发与调试
4、管理与监控
第四步是管理与监控,可以从任务发布、运行监控与告警、实时数据治理这 3 个部分入手。
三、基于数栈实时开发平台建设实时数仓
分享完实时数仓的建设方法论,接下来来为大家分享实时数仓的建设流程。
第一步:实时采集
基于 Chunjun(原 FlinkX)对数据库进行 CDC 采集,实现采集工具化,可对主流数据源进行 CDC (日志数据) 和通过 JDBC(间隔轮询)两种实时采集方式。
1、CDC 读取
读取数据库日志的方式,对源库无压力
2、JDBC 读取
面向不开放数据库日志的场景,通过高频率的 JDBC 轮询读取数据,要求有自增字段
第二步:数据开发
1、数据开发基础功能
现在展示的是数据开发的一些基础功能,包括:WEB SQL IDE、可视化建表、维表缓存策略及系统 & 自定义函数,丰富的底层组件封装,界面化操作,降低开发门槛,使开发人员专注于业务逻辑处理。
2、数据开发高阶功能
除了数据开发的基础功能之外,还有面向特定行业或场景的高阶配置,包括自动重试、自动启停、脏数据管理。
第三步:发布上线
开发完毕之后就是任务的发布上线,发布上线包括任务调试和任务导入导出两个方面。
第四步:任务运维
任务运维就是全局掌控任务的运行,对于一些异常或紧急情况进行处理的过程。
上述的实时数仓建设过程,其实正是袋鼠云自研的数栈实时开发 StreamWorks 产品的落地实践过程。
云原生一站式大数实时开发平台(StreamWorks),面向实时数仓构建的云原生一站式大数据实时开发平台,实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。支持 Flink 多版本引擎、Kubernetes 资源调度,提供丰富的运维监控曲线,助力企业实时化转型。 图片
同时产品具备以下特点:
- 采集 + 计算 + 运维一体化
内含实时开发全链路工具,采集、计算、运维一体,降低客户使用成本,降低实时计算门槛。
- 统一元数据管理
支持输出自研 Hadoop 集群,同时可对接 CDH、HDP、TDH 等多集群及 Oracle、TiDB 等多引擎;节点资源可根据计算存储需求快速弹性伸缩,业务需求稳定响应。
- 批流一体
支持 Flink 批流一体式采集 + 开发, 集成 Iceberg,赋能一体式湖仓建设模式。
- 功能丰富
平台提供任务跨环境发布、代码调试、SQL 校验、提交检查、自动启停、批量连接现存任务等丰富功能
- 云原生支持
在支持 YARN+HDFS 的基础上,同时支持 Kubernetes 资源调度、MinIO、OSS 等对象存储
同时产品具备 3 大价值:
- 降低开发门槛
兼容了多版本引擎、适配多种数据源,封装集成为可视化操作界面。基于 Web IDE,图像化配置表信息并使用 SQL 语言进行开发,降低整体上手门槛
- 全面运维保障
提供任务全生命周期的可视化运维。全链路拓扑、丰富 Metirc 曲线展示、多方式多渠道任务告警,帮助用户搭建全面运维体系,提高运维保障。
- 促进数据规范
协助企业构建实时数仓,建设实时数据标准及规范。搭建一套实时任务调度、任务运行监控及实时任务可靠恢复机制于一体的实时数据平台,保障数据质量,提供统一标准的数据出口。
四、实时数仓建设案例
接下来我们分享两个使用客户的实际案例,为大家介绍实时开发平台如何切实的帮助客户解决问题。
- 某国有专业经济信息服务机构
- 某证券客户
五、数栈批流一体架构解析
最后我们为大家介绍一段拓展资料,关于数栈批流一体架构的解析。
- 批流一体整体架构
- 批流一体核心价值
- 批流一体数据建设链路
- 批流一体采集技术架构
原文来源:VX 公众号 “数栈研习社”
袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack
美团实时数仓架构演进与建设实践
...美团数据平台中心的计算平台团队,当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景,实时数仓建设中的挑战和解决方案,包括一些关键的设计细节。主要介绍以下几方面内容:建... 查看详情
汤楚熙:美团实时数仓架构演进与建设实践
...美团数据平台中心的计算平台团队,当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景,实时数仓建设中的挑战和解决方案,包括一些关键的设计细节。主要介绍以下几方面内容:建... 查看详情
汤楚熙:美团实时数仓架构演进与建设实践
...美团数据平台中心的计算平台团队,当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景,实时数仓建设中的挑战和解决方案,包括一些关键的设计细节。主要介绍以下几方面内容:建... 查看详情
美团外卖实时数仓建设实践
本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引... 查看详情
美团外卖实时数仓建设实践
实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合,同时满足实时和准实时业务场景。两... 查看详情
中原银行实时风控体系建设实践
本文整理自中原银行数据平台中心开发工程师陈玉强在FlinkForwardAsia行业实践专场的演讲。主要内容包括:建设体系选型&架构应用场景建设成效01建设体系银行是经营风险的企业,对风险进行识别、衡量、定价和防范的... 查看详情
flink在58同城的应用与实践
简介: 58同城的实时SQL建设以及如何从Storm迁移至Flink。本文整理自58同城实时计算平台负责人冯海涛在FlinkForwardAsia2020分享的议题《Flink在58同城应用与实践》,内容包括:实时计算平台架构实时SQL建设Storm迁移Flink实... 查看详情
美团外卖实时数仓建设实践
导读:本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中,我们总结的最佳实践是:一个通用的实时生产平台+一个通用交互式... 查看详情
开发者实践丨盲水印插件:用户端的实时视频溯源保护
本文作者是RTE2021创新编程挑战赛获奖者董章晔团队。在实时音视频领域,视频内容会需要得到版权保护,而盲水印则是保护的措施之一。这支参赛团队基于声网SDK开发了一款应用于用户端的实时视频盲水印插件。其他使... 查看详情
云原生离线实时一体化数仓建设与实践
简介:本篇内容分享了云原生离线实时一体化数仓建设与实践。分享人:刘一鸣Hologres产品经理视频链接:数据智能实战营-北京站专题回顾正文:本篇内容将通过五个部分来介绍云原生离线实时一体化数仓建设与... 查看详情
有赞实时数仓建设实践与经验(代码片段)
...者:小君部门:技术中台/数据中台前言 随着实时技术的不断发展和商家实时应用场景的不断丰富,有赞在实时数仓建设方面做了大量的尝试和实践。本文主要分享有赞在建设实时数仓过程中所沉淀的经验,内... 查看详情
快手实时数仓建设实践
一、快手实时计算场景快手业务中的实时计算场景主要分为四块:公司级别的核心数据:包括公司经营大盘,实时核心日报,以及移动版数据。相当于团队会有公司的大盘指标,以及各个业务线,比如视频相关、直播相关,都会... 查看详情
携程实时智能检测平台建设实践
...het针对规则告警存在的以上几种问题,携程构建了自己的实时智能异常检测平台——Prophet。携程构建Prophet的灵感源于FaceBook的Prophet,但实现上有别于FaceBook的Prophet。1.一站式异常检测解决方案首先,Prophet以时间序列类型... 查看详情
实时数仓在有赞的实践(代码片段)
前言随着实时技术的不断发展和商家实时应用场景的不断丰富,有赞在实时数仓建设方面做了大量的尝试和实践。本文主要分享有赞在建设实时数仓过程中所沉淀的经验,内容包括以下五个部分:建设背景应用场景方... 查看详情
工商银行实时大数据平台建设历程及展望
...责人袁一在FlinkForwardAsia2021的分享。主要内容包括:工行实时大数据平台建设历程工行实时大数据平台建设思路展望Tips:点击「阅读原文」查看原文视频&演讲PDF~一、工行实时大数据平台建设历程工商银行从2002年开始建设数... 查看详情
工商银行实时大数据平台建设历程及展望
...责人袁一在FlinkForwardAsia2021的分享。主要内容包括:工行实时大数据平台建设历程工行实时大数据平台建设思路展望Tips:点击「阅读原文」查看原文视频&演讲PDF~一、工行实时大数据平台建设历程工商银行从2002年开始建设数... 查看详情
实时数仓在有赞的实践(代码片段)
...者:小君部门:技术中台/数据中台前言 随着实时技术的不断发展和商家实时应用场景的不断丰富,有赞在实时数仓建设方面做了大量的尝试和实践。本文主要分享有赞在建设实时数仓过程中所沉淀的经验,内... 查看详情
实时数仓在有赞的实践(代码片段)
...者:小君部门:技术中台/数据中台前言 随着实时技术的不断发展和商家实时应用场景的不断丰富,有赞在实时数仓建设方面做了大量的尝试和实践。本文主要分享有赞在建设实时数仓过程中所沉淀的经验,内... 查看详情