10张架构图详解数据中台,附全套数据中台ppt

Leo.yuan Leo.yuan     2022-12-30     200

关键词:

数据中台到底是什么,几年过去了,一直众说纷。

笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构、一套数据流转模式。

数据中台需要采集数据作为原材料进行数据加工、数据建模、然后分门别类地储存,再根据实际的业 务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速。

但以上流程的实现,需要有对应的系统与产品作为支撑,那么基础的数据中台到底应该由哪些系统或者产品组成?

这里我们可以先来看一下几个企业的数据中台架构,文末也分享了10份数据中台实践案例合集,从多家公司的完整实践经验看下来,应该能一窥究竟。

数据中台总体架构图

数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。

通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。

阿里巴巴数据中台

全域数据采集与引入:以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据。

标准规范数据架构与研发:统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一。

连接与深度萃取数据价值:形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。

统一数据资产管理:构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。

统一主题式服务:通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。

网易严选中台架构图

数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。

数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。如下图所示,基于数仓里已经半加工好的数据,再通过BI 平台快速的根据业务需求进行数据可视化和数据分析

网易云音乐数据中台架构

最底层是基础设施层,这包括资源环境和平台工具两部分

第二层是数据层,数据层即网易云音乐的 OneData,包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层,服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API,包括从最底层的任务执行调度能力,到最面向应用的人群圈定的各类服务能力。

最上层是产品层,针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品,实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环

转转数据中台

数据模型、数据服务与数据开发,通过数据建模实现跨域数据整合和知识沉淀,通过数据服务实现对于数据的封装和开放,快速、灵活满足上层应用的要求,通过数据开发工具满足个性化数据和应用的需要

某企业数据中台架构图

下面这个数据中台,根据数据资产梳理结果,并以大数据平台的“数据采集+海量存储+计算引擎”为基础搭建公司数据湖,再基于数据湖并结合“数据资产管理服务”和“智能数据研发服务”两大支撑服务群实现中台数据的资产化管理和智能化开发,达到快速应对各类数据需求的目标,也实现一整套基于宽表结构、分主题的基础数据,然后实现对外提供数据服务的统一接口,并最终形成汇聚公司数据及其服务的中台,为实现数据赋能的数据应用和产品提供全方位的基础数据以及各类服务支持。

农行数据中台架构

农行“薄前台、厚中台、强后台”IT 架构体系中对前中后三个层次描述得更为明确,将大数据平台和 PAAS、IAAS 基础设施划入了后台。

根据以上企业的数据中台实践,我们不难看出,所有的数据中台建设,都是围绕着企业数据的采集接入、加工存储、统一管理与数据服务4项能力来开展的。

但无论如何,我非常建议大家多看看不同企业的中台架构图和建设方案,内化自己对中台的理解,而不是盲目跟风、照搬其他公司的中台架构和建设蓝图,比如你真要照着阿里的方式做,基本就把自己的资源耗光了,也很难换来价值产出,也不要仓促地去购买商用的数据中台套件,没有什么较佳路径是可依赖的,每个企业所处的数据和业务阶段都不同,始终要根据你这个企业所处的阶段、一线对于数据的真实需求做出合理的判断和选择。

最后,分享一些我手中珍藏的中台相关的建设方案和报告,推荐大家去看看。

获取方式:

数据中台详解

...数据仓库数据中台的业务价值与技术价值数据中台建设与架构数据中台建设方法论数据中台架构数据汇聚联通:打破企业数据孤岛数据采集、汇聚的方法和工具数据交换数据体系建设数据体系规划统一数仓层建设——标准化... 查看详情

搭建中台架构的几个误区

...部业务流程、自上而下进行变革的工程来执行。02、中台架构简单,无须完善很多公司由于经费有限、人员不定及数字化转型决心不足,在初定中台建设方案时希望先从价格便宜、功能简单的架构开始,慢慢再过渡到... 查看详情

数据中台02:数据中台架构

一、数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解,下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底... 查看详情

阿里云产品之数据中台架构

...责实施,基于阿里云产品与客户需求,拟采用的数据中台架构,有类似需求的,可以参考下,拿走不谢!2.解决方案阿里产品大数据架构图:从下到上,简要介绍下各个阿里产品作用及承担的任务:2.1云数据库RDS阿里云关系型数... 查看详情

珍藏版⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构 湖仓一体化 流批一体离线+实时数仓 各种大数据解决方案 各种大数据新技术实践持续输出 敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net/dajiangtai007/art... 查看详情

3.数据中台---数据中台建设与架构(代码片段)

第3章 数据中台建设与架构3.1 持续让数据用起来的价值框架 业务数据化=>数据资产化=>资产服务化=>服务业务化3.2 数据中台建设方法论 1种战略行动 把用数据中台驱动业务发展定位为企业级战略,全局谋划。 在中台... 查看详情

数据中台架构体系理解

...升数据价值转换效率的思路是一致的。数据中台通用体系架构    从数据处理与数据治理两个维度出发,可以设计一个解耦的数据中台体系架构。该数据中台体系架构具有一定的柔性,可按照企业应用需求进行组合࿰... 查看详情

不是你需要中台,而是一名合格的架构师(附各大厂中台建设ppt)

...台好不好,到底为什么有的中台行,有的中台不行,技术架构上都大同小异,那什么会导致一样的架构不同的结果呢,原来我们除了技术架构,缺少一个真正核心要素:你的业务和组织架构是否需要 查看详情

爱奇艺数据中台建设方案

...;中台建设、Pingback体系、数仓体系、数仓平台、离线数仓架构、大数据平台、数据平台架构数据中台的应用场景:统一化、个性化、定制化一、数据中台的产生1、数据工作的痛点使用门槛高:数据 查看详情

阿里及各大企业中台架构详解

IaaS主要是运维负责。ebay中台架构staffjoy中台平台不等于中台?阿里提出中台战略后,很多企业开始拿着自己的系统与阿里的中台对标。有的企业在十多年前就完成了大一统的集中式系统拆分,实现了从传统大单体应... 查看详情

万字详解数据仓库数据湖数据中台和湖仓一体

本文目录:一、前言二、概念解析数据仓库数据湖数据中台三、具体区别数据仓库VS数据湖数据仓库VS数据中台总结四、湖仓一体目前数据存储方案DataLakehouse(湖仓一体)一、前言数字化转型浪潮卷起各种新老概念满... 查看详情

报告分享2021中国数据中台研究报告.pdf(附下载链接)

...院联合发布的报告《2021中国中台市场研究报告.pdf》,关注数据中台、数字化的伙伴别错过了,在小程序省时查报告中搜索“中台”、“数字化”等可以查看并下载海量相关干货资料。我们也搭建了行业交流社群,涵盖人... 查看详情

数据中台:什么是数据中台

什么是数据中台数据中台是全新的架构变革。过去三十年,企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时,需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的... 查看详情

微服务架构图

参考技术A项目微服务架构图微服务架构根据目前产品存在的问题,针对快速开发、海量用户、大量数据、低延迟等互联网应用的实际需要,通过对业务架构、系统架构、基础架构、技术架构进行设计,彻底解决系统解耦、性能低下... 查看详情

基于电商业务中台最佳实践:总体架构介绍与交易业务中台核心设计

架构总原则:大中台+小前台的架构思路业务中台采用领域驱动设计(DDD),在其上构建业务能力SAAS,持续不断进行迭代演进。平台化定位,进行了业务隔离设计,方便一套系统支撑不同玩法的业务类型和便于定制化扩展。前后... 查看详情

大白话六问数据中台!你想知道的都在这了!

...什么会这么火、能给企业带来什么价值呢?数据中台整体架构和全景图又是什么呢?笔者有幸参与了公司数据中台从0到N的建设,计划从概念到落地,把中台那些事跟您说透,与您一起分享学习。笔者公众号:【胖滚猪学编程】... 查看详情

业务中台数据一致性方案(代码片段)

引言随着业务的发展,微服务架构逐渐成为当下业务中台的主流架构形式,它不但解决了各个应用之间的解耦问题,同时也解决了单体应用的性能问题实现可扩展可动态伸缩的能力。如下图所示,业务中台就是将... 查看详情

马蜂窝数据仓库架构实践

...一种方式。所以,数据中台更多的是体现一种管理思路和架构组织上的变革。在这样的思想下,我们结合自身业务特点建设了马蜂窝的数据中台,核心架构如下: 在中台建设之前,马蜂窝已经建立了自己的大数据平台,并积... 查看详情