数据中台产品的一些思路

author author     2022-12-09     568

关键词:

数据中台系统的一些思路。
* 引言*
企业借助于大数据/数据湖项目,一般同时需要完善对企业数据的梳理:对企业数据资产数据盘点,完善数据治理相关流程。对内便于数据用户使用数据。对外满足部监管对多种数据口径要求。
基本解决思路**
这类问题的基本解决思路是从元数据管理(包括业务,技术)角度完善数据生命周期管理。这里的元数据包含:

  • 传统意义的数据字典 (表单,字段的含有)
  • 业务元数据梳理,包括业务指标,统计口径等 (通常对应 维度数据,业务描述数据code table, mapping table 的梳理)
  • 数据 data lineage, audit

* 挑战及现有问题
这类工具市场上比较多,传统的数仓产品都有元数据管理工具。但多数存在些问题如:

  • 对数据用户不友好。这里数据用户包括a)数据分析人员 b) 数据维护操作人员
  • 落地困难:不能很好的融合到企业现有的开发流程中
  • 传统企业有大量遗留系统,这些系统本身的元数据(数据描述)由于历史原因不太完善。在遗留系统数据集成到大数据/数据湖的过程中,这些元数据需要在项目过程中完善,但缺乏工具,或现有工具不友好。

** 产品化及切入点选择***
基于以上分析,数据平台(中台)产品中元数据管理部分可以采用以下设计思路:

  • 借助图数据库提升前端数据展示
  • 借助NLP及传统元数据数据管理提升数据关联关系分析
  • 开发定制工具针对遗留系统及项目开发流程元数据进行维护。(进一步解释以下,在多数数仓,大数据项目中,业务数据分析人员均需准备Mapping 文档。目前mapping 文档多以 excel 形式存在,不利于维护,共享,进一步挖掘。可以开发定制在线mapping文档工具作为一个切入点)
  • 参照(逻辑)架构图:

技术图片

目前市场上已经用一些类似产品,也可以做个参照:

浅谈企业中台商业模式及建设思路

...台的收入成本企业中台的发展和演进企业中台产品的分类数据中台中台业务线所需要的职能角色企业中台构建的注意点前言其余中台的建设要有整体目标和阶段性建设规划与目标要清楚的认识到中台不是万能药 查看详情

浅谈企业中台商业模式及建设思路

...台的收入成本企业中台的发展和演进企业中台产品的分类数据中台中台业务线所需要的职能角色企业中台构建的注意点前言其余中台的建设要有整体目标和阶段性建设规划与目标要清楚的认识到中台不是万能药 查看详情

数据中台建设思路:“用建治”vs“建治用”

传统数据架构建设思路—“建治用” 传统的数据架构建设模式并不注重与业务部门具体情况的结合,只是单纯地遵循数据“建治用”的思路—先构建数据架构,然后对数据进行治理,最后考虑数据的具体应用。比如,企业会... 查看详情

中台之交付

...迭代版本,并且规划了后续的迭代版本(前台接入和运营数据),确定了度量指标。有了设计,可以进入到立项流程。组织能力模型中台的产品界定要求和对建模的难度比终端产品要复杂。多产品人员和技术人员的要求也更高一... 查看详情

阿里云产品之数据中台架构

...里云不负责实施,基于阿里云产品与客户需求,拟采用的数据中台架构,有类似需求的,可以参考下,拿走不谢!2.解决方案阿里产品大数据架构图:从下到上,简要介绍下各个阿里产品作用及承担的任务:2.1云数据库RDS阿里云... 查看详情

中台产品化是另一个噱头?看这篇文章就懂了

...烟囱式的结构,通过抽象公共模型,实现统一管理,打通数据孤岛,从而提高数据处理效率,避免系统重复建设,快 查看详情

中台产品化是另一个噱头?看这篇文章就懂了

...烟囱式的结构,通过抽象公共模型,实现统一管理,打通数据孤岛,从而提高数据处理效率,避免系统重复建设,快 查看详情

浅谈数据中台安全体系构建思路

作者:王振东来源:绿盟科技 战略规划部 摘要数据中台是大数据业务体系数据规约化建设的核心场景,数据中台既搭建大量数据归集的相关设施,又针对数据开展大量治理、运维、分析、加工、共享、开放等交... 查看详情

马蜂窝数据仓库架构实践

http://km.ciozj.com/Detail.Aspx?AI=98315&CI=2数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后,借助平台化的思路,将数据更好地进行整合与统一,以组件化的... 查看详情

数据中台产品经理面试指南

问题八:什么是用户行为数据,怎么采集用户行为数据?用户无论在哪个客户端(iOS端、安卓端、小程序端、H5端)操作,用户产生的行为数据都分为两种:一种是浏览,一种是点击。这些隐性的行为数据,一般不会存储在业务... 查看详情

数据中台架构体系理解

    目前,大部分企业更倾向于数据集中采集、存储,并应用分层建设。这种方式一方面有利于应用系统的快速部署,另一方面也保证了数据的集中管理与运营,体现数据的资产、资源属性。数据中台的出现弥... 查看详情

中台的演变和理解

...脚手架和积木中台概念不仅仅限于研发领域,衍生的比如数据中台、业务中台等一众的中台产品但是随着中台产品规模的逐渐扩大,中台越来越臃肿,面对技术更新速度非常快的IT领域来说,他明显是不利于发展的,船大难掉头... 查看详情

中台对于中小公司的意义

中台作为一种产品设计思路,或者系统架构思路,并不受限于公司的规模,理论上讲,任何一家即将或者正在面临业务高速增长的状态时,都很值得利用和借鉴中台的思路,将目前业务当中大量可复用的功能和场景进行梳理,为... 查看详情

中台的演变和理解

...脚手架和积木中台概念不仅仅限于研发领域,衍生的比如数据中台、业务中台等一众的中台产品但是随着中台产品规模的逐渐扩大,中台越来越臃肿,面对技术更新速度非常快的IT领域来说,他明显是不利于发展的,船大难掉头... 查看详情

数据中台实战:如何打造可以支撑n条产品线的标签平台

...门到精通MATLAB深入理解高级教程(附源码)tableau可视化数据分析高级教程— 1 —为什么要建设标签平台亚马逊的CEOJeffBezos曾说过他的梦想,「如果我有一百万的用户,我就会做一百万个不同的网站!」。当然现在大型的... 查看详情

什么是数据中台?数据中台带来了哪些价值?_光点科技

数据中台是一套可持续“让企业的数据用起来”的机制,一种战略选择和组织形式,是基于企业独特的商业模式和组织结构,通过有形的产品和实施方法,建立一套不断将数据转化为资产并服务于业务的机制。在政府和企业的数... 查看详情

微服务架构图

...据目前产品存在的问题,针对快速开发、海量用户、大量数据、低延迟等互联网应用的实际需要,通过对业务架构、系统架构、基础架构、技术架构进行设计,彻底解决系统解耦、性能低下等问题,而且支持云计算部署,可以满足高... 查看详情

数据中台-协作流程

...阶段3.2.1研发流程3.2.2示例3.3交付阶段3.4运维阶段一.简介数据中台产品工具很多,管元数据,管开发,管安全等等,中间涉及到角色也很多数据产品、数据架构师、数据开发、应用开发、分析师……多个角色。既... 查看详情