大白话六问数据中台!你想知道的都在这了!

胖滚猪学编程 胖滚猪学编程     2022-12-25     609

关键词:

技术图片

数据中台、相信这四个字大家一定不陌生。因为在2019年、数据中台可谓是最火的概念之一,很多大公司都在布局自己的数据中台。

那么数据中台到底是什么?它和我们熟知的数据平台有啥区别?它为什么会这么火、能给企业带来什么价值呢?数据中台整体架构和全景图又是什么呢?

笔者有幸参与了公司数据中台从0到N的建设,计划从概念到落地,把中台那些事跟您说透,与您一起分享学习。笔者公众号:【胖滚猪学编程】

第一问:数据中台是什么

先不说那些官方的抽象的概念了,我想用我自己的大白话去说数据中台的概念。

那就是如果把前台比作赚钱的。后台比作支持的。那么中台呢就是支持加速赚钱的。

这个比喻我觉得还是很形象的,中台呢它实质就是前台和后台的一个桥梁,并且它能在这当中起到很好的加速效果。这里的加速,可以是效率上的提高,可以是协作上的共赢

技术图片

举个例子,比如前台业务人员日常要分析广告投放、在哪个平台投放效益最好呢?抖音还是头条呢?这直接涉及到公司的money了。

前台人员要分析这个肯定要有数据吧、就会向后台人员要数据:我需要哪些表你要帮我同步过来数仓里,同步好了你要授权给我,然后你再去配置定时报表任务、配置好了你要再做一个前端的展示页面。这还没完,数据有问题了还得跟你逼逼叨叨!

这个流程下来,前台人员需要向后台人员沟通100句。有了数据中台、一句话都不用说了。上面这些操作,前台人员都可以自行完成。

所以说数据中台给我们业务效率带来了巨大的提升。

那数据中台有没有缺点呢?

我觉得也是有的,本来后台那些单身小哥哥可以蹭这个机会去跟前台妹子打些交道、说不定姻缘就来了,毕竟前台妹子多,结果被这数据中台一搞,一句话都说不上了。这确实是数据中台的一个缺点。

现在大家应该有个初步的印象了,那么我再用官方抽象的语句做一个总结:数据中台是企业级能力复用平台!企业级大数据通过系统化的方式实现统一共享的数据组织。其中共享包括数据、信息、技术、业务的共享等。它以服务化的方式赋能前台数据应用,稳定可靠、高效的支持上层业务的快速创新,为业务快速赋能

第二问:数据中台和数据平台的区别

因为我们一直以来都是听数据平台这个词听得比较多,所以第二问我们还是要来说一下它们之间的差别。

数据平台你可以把它看成是数据集,那么数据中台呢他就是数据集API,那么它们之间就差在API这三个字母上,API我想应该不需要过多解释呢,大家都知道,比如学JAVA的时候有了JAVA API你才知道怎么使用,那么数据中台相当于在数据平台的基础上告诉你这些数据怎么使用

另外,数据中台是偏向于业务的,而数据平台是偏技术的

技术图片

但是、数据中台和数据平台也有千丝万缕的联系。数据中台需要依赖大数据平台,大数据平台完成了数据研发的全流程覆盖,而数据中台增加了数据治理和数据服务化的内容。总的来说,数据中台吸收了传统数据仓库、数据湖、大数据平台的优势,同时又解决了数据共享的难题,通过数据应用,实现数据价值的落地。

第三问:数据中台有哪些价值

数据中台的价值,我想用三个关键词来概括:效率、协作、质量

  • 效率:比如数据研发的效率、发现数据的效率。为什么我们每开发一个报表都要改代码呢?为什么数据有问题的问题的时候,我们要找很久才能发现是某某上游的问题呢。
  • 协作:很多应用开发,其实不同的项目组需求大致相同。还是用开发报表来举例,不同业务线项目组开发报表都一个套路,但因为是别的项目组维护的,所以就是得分别开发一遍。就不能协作共赢?
  • 质量:比如数据的一致性、准确性、及时性以及完整性,有没有一个通用的平台来检验这些数据呢。

上面说的还是有一点儿抽象,其实要具体回答这个问题,你首先得大概知道数据中台有哪些功能哪些模块。比如数据地图、元数据管理、数据血缘、数据处理等等都属于数据中台。每个模块都有它的功能,所以它的作用并不是一言两语可以说得清,这里笔者再举一些真实的例子来对比一下:

例一:没有数据中台之前,业务人员根本就不知道HIVE数仓有哪些表,不知道这些表的具体信息(列信息、索引信息、分区信息、责任人信息)。他要出一张报表还要来问你:"hello 帮我看一下HIVE有没有同步这张表吧?hello 帮我看一下这张表是不是分区表吧?"。这个表有问题了,他又要来问你"hello 这张表负责人是谁啊?" 有了数据中台之后,完全不需要管了。(这个是元数据管理给我们带来的便捷)

例二:没有数据中台之前,我们根本就不清楚表的来源和链路,尤其是一些复杂报表的结果表,来源非常复杂可能涉及到多个系统,涉及十几个源表。等到上游业务表要做变更、都不知道会影响哪些报表,线上已经运行上千个报表了啊!要去揪出这些来实在是麻烦!有了数据中台之后,10秒钟就能解决这个问题。(这个是数据血缘给我们带来的便捷)

第四问:数据中台架构

我们说数据中台是服务于公司业务的,因此必须要从自己的业务角度去进行一个全局的规划和架构。不过你依旧可以参考一下典型的架构图:

技术图片

笔者认为可以分为几大部分:

  • 数据采集汇聚(数据库,日志,前端埋点,爬虫系统等)
  • 数据处理和开发(离线计算、实时流计算等)
  • 数据治理(元数据管理、数据血缘、数据质量、数据安全等)
  • 数据服务(智能报表、标签系统、推荐系统、大屏等)

其中、数据采集和数据处理开发,你也可以理解为是数据平台的东西。由于篇幅问题,不对每一个模块作详细说明。笔者将在个人公众号【胖滚猪学编程】详细分享各个模块的概念、功能、以及生产落地方案!

第五问:我们该做数据中台吗?

首先一句话:千万不要跟风。中台不是你想做想做就能做。

因为要做起一个真正意义上的数据中台,一定是站在公司的层面去看待,而不是某个业务部门自己玩玩过家家。因此需要非常大的投入,人力、物力的投入。而这些系统是否能够匹配中台建设的需求,还需要持续打磨。另外必须对公司的整体业务滚瓜烂熟,才能有这种全局的视野去建设中台。

那什么情况下我们可以考虑建设中台呢?

  • 企业是否有大量的数据应用场景?数据中台本身并不能直接产生业务价值,数据中台的本质是支撑快速地孵化数据应用。所以当你的企业有较多数据应用的场景时(一般有3个以上就可以考虑)
  • 企业存在较多的业务数据的孤岛,需要整合各个业务系统的数据,进行关联的分析,此时,你需要构建一个数据中台。比如在我们做电商的初期,仓储、供应链、市场运营都是独立的数据仓库,当时数据分析的时候,往往跨了很多数据系统,为了消除这些数据孤岛,就必须要构建一个数据中台。
  • 当你的团队正在面临效率、质量和成本的苦恼时,面对大量的开发,却不知道如何提高效能,数据经常出问题而束手无策,老板还要求你控制数据的成本,这个时候,数据中台可以帮助你。
  • 当你所在的企业面临经营困难,需要通过数据实现精益运营,提高企业的运营效率的时候,你需要构建一个数据中台,同时结合可视化的Bl数据产品,实现数据从应用到中台的完整构建。
  • 企业规模也是必须要考虑的一个因素,数据中台因为投入大,收益偏长线,所以更适合业务相对稳定的大公司,并不适合初创型的小公司。

第六问:数据中台的参考资料

不得不承认一点,网上关于数据中台的资料太少了,笔者去年中旬从0开始建设数据中台的时候,花了大量时间搜集资料。现在也愿意与大家分享一下我收集到的资料。

书籍推荐:数据中台-让数据用起来。

技术图片

博文推荐:
什么是中台,什么不是中台。所有的中台都是业务中台
到底啥是平台,到底啥是中台?
在构建数据中台之前,你需要知道的几个趋势
火热的数据中台对企业的价值是什么?
你真地需要一个中台吗?
阿里的中台战略其实是个伪命题
从平台到中台 | Elasticsearch 在蚂蚁金服的实践经验
七问七答,亲历者讲阿里中台落地的实践我的一年中台实战录
滴滴出行构建业务中台应对软件复杂度的具体对策与实践
10张图解密阿里数据中台

落地推荐
可以参考阿里的DataWorks产品,上面有很多关于数据中台的原型图可以作为参考。
DataWorks

技术图片

笔者也将在公众号【胖滚猪学编程】上分享自己搭建数据中台的亲身经历,不多说无用概念,直接把生产落地方案分享给你!

最后总结:以用户为中心,以愿景为指引,从战略入手,用科学有效的方法,步步为营沉淀企业级能力,付以必要的组织与系统架构调整,方得中台。

技术图片

本文转载自公众号【胖滚猪学编程】 用漫画让编程so easy and interesting!欢迎关注!形象来源于微信表情包【胖滚家族】喜欢可以下载哦~

chia官方池协议正式上线!你需要知道的都在这了!

经过漫长的等待,Chia终于为所有农民正式上线官方池协议,只需将Chia的官方软件升级至1.2.0版本,农民们现在便可开始为新的池协议P盘。如何准备?所有想要使用最新的池协议加入耕种池的农民都需要将他们的Ch... 查看详情

你想知道的前后端协作规范都在这了(代码片段)

一.前言你是否在为如何制定前后端协作规范而发愁?干货来啦,一文带你了解我们团队内部沉淀并践行已久的前后端协作规范,读完本文,回去大胆拒绝你后端的不合理设计!二.为什么需要协作规范?假... 查看详情

chia官方池协议正式上线!你需要知道的都在这了!

经过漫长的等待,Chia终于为所有农民正式上线官方池协议,只需将Chia的官方软件升级至1.2.0版本,农民们现在便可开始为新的池协议P盘。如何准备?所有想要使用最新的池协议加入耕种池的农民都需要将他们的Ch... 查看详情

燃烧技术再升级,适合橱柜安装,你想知道的能率日式采暖炉信息都在这了

8月一过,很快就是秋冬换季的时候了,一场秋雨一场寒,气温下降,冬季采暖问题迫在眉睫。在采暖上,有些地区集中供暖并不方便,转而选择配备采暖炉来保证家居生活的舒适性。特别是在长江流域地... 查看详情

高热faq关于智慧康养物联网加速器,你想知道的都在这

...为云社区《【高热FAQ】关于智慧康养物联网加速器,你想知道的都在这》,作者:技术火炬手。自智慧康养物联网加速器(👉点击报名立享福利)推出以来,受到了广大ISV的热烈关 查看详情

以太坊2.0带火百亿新市场,关于pos质押你需要知道的都在这

这是白话区块链的第1744期原创 作者|白话区块链出品|白话区块链(ID:hellobtc)以太坊信标链昨晚(9月6日)正式更新Bellatrix分叉升级,升级之后ETH价格飙升至1,678美元以上。然而,随后又下跌到... 查看详情

过去这几十年,分布式系统的「数据一致性」精华都在这了!(代码片段)

...系列的第三篇。与前两篇《不知道是不是最通俗易懂的《数据一致性》剖析了》、《烦人的数据不一致到底怎么解决?——通过“共识”达成数据一致性》形成完整的「数据一致性」合集。  一、为什么 查看详情

你想学的黑客(攻击)技术全在这了,一篇打包带走!

...核心在于让Web服务器执行攻击者期望的SQL语句,以便得到数据库中的感兴趣的数据或对数据库进行读取、修改、删除、插入等操作,达到其邪恶的目的。而如何让Web服务器执行攻击者的SQL语句呢?SQL注入的常规套路在于将SQL语句... 查看详情

常用到的photoshop实用设计功能都在这了!

常用到的photoshop实用设计功能都在这了!赶快收藏学起来,需转不谢~?编辑:千锋UI设计 查看详情

swift具体解释之三----------函数(你想知道的都在这里)

函数(你想知道的都在这里)注:本文为作者自己总结。过于基础的就不再赘述,都是亲自測试的结果。如有错误或者遗漏的地方。欢迎指正。一起学习。1、函数的简单定义和调用简单的无參函数就不再赘述,name为形參。也是内... 查看详情

mysql高频面试题,都在这了(代码片段)

...注“终端研发部”设为“星标”,和你一起掌握更多数据库知识作者:呼延十原文链接:https://juejin.cn/post/6844903894351347719前言于哥,最近金九银十面试mysql问的居多,基本什么都问,有很多回答不出来怎么... 查看详情

xcode13.2beta2需要了解的都在这了(代码片段)

👇👇关注后回复 “进群” ,拉你进程序员交流群👇👇来源丨小集(ID:zsxjtip)https://mp.weixin.qq.com/s/ux1mwY2VrBT1sN9-Ss0uwQ苹果在上周发布了Xcode13.2beta2。从官方releasenote来看,这个版本主要还是... 查看详情

豆瓣评分8.6!这本《代码整洁之道》到底牛在哪里?重点都在这了

...两种原因:第一,你是个程序员;第二,你想成为更好的程序员。很好。我们 查看详情

你想学的黑客(攻击)技术全在这了,一篇打包带走!(代码片段)

...在于让Web服务器执行攻击者期望的SQL语句,以便得到数据库中的感兴趣的数据或对数据库进行读取、修改、删除、插入等操作,达到其邪恶的目的。而如何让Web服务器执行攻击者的SQL语句呢?SQL注入的常规套路在于将... 查看详情

整理了10个行业的可视化大屏模板,源文件都在这了

...挺火,我看我们的甲方公司一直都用大屏做企业级的数据展示,还挺唬人的, 查看详情

北京最最最牛的it公司都在这了

     正文  第一梯队1.阿里(北京)2.腾讯(北京)3.百度(总部)4.字节跳动(总部)第二梯队1.京东(总部)2.美团点评(总部)3.网易(北京)4.滴滴出行(总部࿰... 查看详情

因子分析常见问题汇总,你想知道的都在这里

本文以SPSSAU系统为例,针对因子分析的常见问题进行汇总说明。  ①问题一:提取因子个数提取因子的个数是一个综合选择的过程。默认是按“特征根大于1”作为因子提取的标准。特征根不是唯一的判断标准。除此... 查看详情

关于takin-data,你想知道的都在这里trace日志篇

相信大家在使用takin的过程中都见到过压测过程中实时展示的请求流量明细和请求详情了吧,像这样:还有这样:这样的请求流量明细和调用链详情是怎么实现的呢,今天就带大家探究下。在前面的启动命令篇(https://news.shulie.io/?p=3450... 查看详情