数据架构系列-03数据仓库大数据平台数据中台...我不太认同《datafun数据智能知识地图》中的定义

关键词：

---

关注DataFunTalk有2年多了，DataFun确实像创始人王大川讲的那样，践行选择、努力和利他原则，专注于大数据、人工智能技术应用的分享与交流，秉承着开源开放的精神，免费的共享了很多有营养的行业实践专业知识，对于这样有情怀的团队真心希望他们越办越好。2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同这样的定义，引用原文如下：

数据中台 = 大数据平台 + 数据仓库 + 数据应用和服务

• 大数据平台：位于最底层，支持海量数据存储，并支持实时流数据计算、离线批量计算、数据挖掘、交互式查询等场景的一套基础平台设施
• 数据仓库：是基于大数据平台的存储引擎、存储格式（Hive、Delta Lake等），基于维度建模方法建设的结构化数据集合，目的是为所有类型的数据支持提供数据环境
• 数据中台：是基于大数据平台提供的底层平台能力、以及数仓提供的结构化数据环境，搭建的面向业务的统一的数据应用服务

真的定义对了吗

乍一看就感觉不太对，怎么成了“洋葱模型”，大数据平台成了最里层。难道我们几年前称呼的大数据平台就没有了数据应用服务，也没有了面向主题的数据集合。我们还是找几篇以前的论文看看，看看那个时代我们对这些名词是怎样的认知。

下图是1995年发表在今日电子期刊的文章《“数据仓库”讲座》，从操作型系统抽取数据构建数据仓库，从而支撑分析型数据库；再看看2011年《架构大数据 :挑战 、现状与展望》一个典型的数据仓库架构，包括数据源、数据存储与管理、OLAP服务、前端展示。从90年代不就是和我们现在数据中台朴素的架构认知一样吗。

我们再看看大数据平台，2013年系统仿真学报收稿《大数据平台技术综述》，文章给出了大数据平台体系架构，如果换成“数据中台架构”这个词，你也挑不出大毛病吧，讲真，那时候真的没有数据中台这个词，人家不是抄袭。

我们回归到数据中台，在2019年发表在期刊数据与计算发展前沿中的《数据中台技术相关进展及发展趋势》，给出了数据中台整体架构图，这也是我认为定义的比较全面比较好的数据中台架构，要是把这个词换成大数据平台架构图也无可厚非，谁叫你出道晚，难免抄人家。

因此，数据中台 = 大数据平台 + 数据仓库 + 数据应用和服务，是不对的，从上世纪90年代，我们对于数据仓库认知就是从数据抽取、汇聚、加工、整合、应用等等，每层都没少啊，千万不要掩耳盗铃，自以为是。

到底什么区别

我认为，从数据仓库到大数据平台再到数据中台不是包含和被包含的问题，而是由浅入深，有简入细的问题。这很好理解，90年代的数据仓库建设肯定也有数据治理范畴，这个工作我们潜移默化的在做，只不过没有提升到一个理论高度，没有形成一个专门的学科而已。随着技术的发展、数据量的增加、业务的需求、行业的重视，我们逐渐把工作做细，也就用新的名词来称呼。

数据仓库 VS 大数据平台

1. 大数据平台存储计算能力更强：2005年前后Hadoop技术的出现，让数据存储能力更高，不但存储结构化、而且半结构化和非结构的数据来而不拒，同时计算能力更加强大。
2. 大数据平台数据接入能力更强大：这源于强大的存储计算能力，以前数据仓库存储价值较高的数据，现在也可以存储低价值数据，如日志、传感器数据、埋点数据等等。
3. 大数据平台更加强调开放和时效：数据来源多了，需要的人肯定也多了起来，相比与传统数仓，要把这些数据服务出去，各种SDK、API出来了，为了提供更加实时的数据，实时计算也出来了，Lambda、Kappa架构出来了。
4. 大数据平台展示能力更丰富：移动互联网、前端技术的发展，让我们对数据的触达更多样，更多酷炫的数据展示。

大数据平台 VS 数据中台

1. 数据中台更加强调数据治理，资产化思维：这源于把数据当做生产要素，把数据当做资产运营，没有标准、质量与安全，谈何数据增值，变现。
2. 数据中台更加强调数据为业务赋能：我们要的更多，不单单BI，我们更要让数据为业务赋能，让数据参与到业务场景中，发挥数据价值，也催生出新的职业DataBP。
3. 数据中台更加强调智能：这源于机器数据、人工智能的发展。结合业务、依托数据，我们构建算法模型，把算法能力封装成API服务出去，这不就是ChatGPT吗。
4. 数据中台更加强调经济易用：以前大数据平台成本太高了，构建集群、搭建各种组件，还要运维，现在基于云计算，各种现成的工具开箱即用，比如现在火得数仓一体数据库组件。

未来应该还会出现新的名词，这一新名词肯定在老的名词中有迹可循，我们在肯定新名词背后工作的同时，看看前人走过的路，会有更清醒的认知。

参考文章

1. 苏萌,贾喜顺,杜晓梦,高体伟.数据中台技术相关进展及发展趋势[J].数据与计算发展前沿,2019,1(05):116-126.
2. 宫夏屹,李伯虎,柴旭东等.大数据平台技术综述[J].系统仿真学报,2014,26(03):489-496.DOI:10.16182/j.cnki.joss.2014.03.039.
3. Doug Lowe,王澜,李朝虎.“数据仓库”讲座[J].今日电子,1995(11):73-76+89.
4. 王珊,王会举,覃雄派,周烜.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752.

从数据仓库到大数据平台再到数据中台（内附13张架构图）

现在，数据的新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑…企业层面的有数字化转型、互联网经济，数字经济、数字平台…平台层面的有物联网，云计算，大数据，5G，人工... 查看详情

浅谈数据仓库架构设计

1.数据中台与DW/BI/DSS个人认为数据中台本质上是一种新的适配大数据技术发展的新的“数据仓库-决策支持（商业智能）”架构。这个架构是构建在传统的架构基础之上，对传统架构的一种新的发展。数据中台从企业的... 查看详情

珍藏版⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构 湖仓一体化 流批一体离线+实时数仓 各种大数据解决方案 各种大数据新技术实践持续输出 敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net/dajiangtai007/art... 查看详情

再见了数据仓库！数据中台已成气候！

...取得突破性地业务增速和领先行业的地位，激活海量数据的价值才是长远之策。所以，阿里一直非常重视大数据 查看详情

全平台技术架构：后台+人工智能+大数据

...全平台技术架构共有三个模块，即：后台、人工智能和大数据。后台：业务层（业务中台），如OA、ERP等；人工智能：智能服务层，如推荐系统、人脸识别等；大数据：基础数据层（数仓、数据中台）。中台：是啥？待详细追踪... 查看详情

一文遍历大数据架构变迁史

...子（李博源）策划｜Tina编者按：《透过数字化转型再谈数据中台》系列连载6-8篇左右，作者结合自己在数据中台领域多年实践经验，总结了数据架构知识、BI知识，以及分享给大家一些产业互联网实施经验。本文是系列文章中的... 查看详情

数仓系列第10篇：数据治理

目录01数据治理、数据管理与数据管控02系统架构、应用架构和数据架构03数据标准、数据模型、数据资产、数据分布04数据仓库、数据湖与数据中台05数据中台是什么，不是什么，为什么06结语01数据治理、数据管理与数据... 查看详情

数仓系列第10篇：数据治理

目录01数据治理、数据管理与数据管控02系统架构、应用架构和数据架构03数据标准、数据模型、数据资产、数据分布04数据仓库、数据湖与数据中台05数据中台是什么，不是什么，为什么06结语01数据治理、数据管理与数据... 查看详情

大数据中台架构以及建设全流程一（paas层设计）(代码片段)

...ouderaManagerCloud自研+开源组件 日志采集 调度平台实时数据Sql查询平台设计背景        当企业发展到一定规模时候有了不同的业务线以及数据规模，因为业务的快速发展。这个时候一些数据问题就会出现。    问题... 查看详情

爱奇艺数据中台建设方案

数据中台的产生：数据工作的痛点、数据中台的产生、中台的实质爱奇艺数据中台的定义：理解数据中台、数据中台的发展历程、输出和定位爱奇艺数据中台的建设：中台建设、Pingback体系、数仓体系、数仓平台、离... 查看详情

微服务架构图

...据目前产品存在的问题,针对快速开发、海量用户、大量数据、低延迟等互联网应用的实际需要,通过对业务架构、系统架构、基础架构、技术架构进行设计，彻底解决系统解耦、性能低下等问题,而且支持云计算部署,可以满足高... 查看详情

数据中台系列：你的企业真的需要「数据中台」吗？

如何理解数据中台在解决你是否需要数据中台这个问题之前，让我们先理理它究竟是什么。它是工具？是方法？还是组织架构？我的回答是：都不仅仅是。数据中台包括平台、工具、数据、组织、流程、规范等一切与企业数据资... 查看详情

数据中台详解

文章目录什么是数据中台数据中台VS数据仓库数据中台的业务价值与技术价值数据中台建设与架构数据中台建设方法论数据中台架构数据汇聚联通：打破企业数据孤岛数据采集、汇聚的方法和工具数据交换数据体系建设数据... 查看详情

大数据技术系列：图解大数据平台开发

导言在前面的文章《「大数据技术体系」学习实践导览》中，概要式的梳理了大数据平台的业务目标，大数据平台的架构框架，大数据平台中常用的技术及工具，数据治理四方面的内容，算是对自身所了解大数据知识体系的抛砖... 查看详情

智慧校园智慧教育大数据平台

...应用场景，助力教育智能化发展。建设目标打造5G教育大数据平台，建设目标：5G教育大数据平台教育智脑统一身份认证一站式服务门户建设5G全连接智慧校园，开发N个智慧校园应用；构建综合型教育大数据平台教育大数据平台... 查看详情

数据中台02：数据中台架构

一、数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解，下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底... 查看详情

大数据中台(代码片段)

 数据中台的由来数据中台最早是阿里提出的，但真正火起来是2018年，我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台？尽管数... 查看详情

数据湖04：数据湖技术架构演进

  系列专题：数据湖系列文章1.背景        国内的大型互联网公司，每天都会生成几十、几百TB，甚至几PB的原始数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表... 查看详情