数据架构建设方法及案例

云祁 云祁     2022-12-06     135

关键词:

数据架构的本质是数据模型和数据流(或叫数据分布),《华为数据之道》将数据架构分为数据资产目录、数据标准、数据模型及数据分布,DAMA将数据架构分为数据模型和数据流设计,差不多就是这个意思。

但数据架构到底如何构建?有没有现成的案例可以参考呢?

今天就结合企业管理信息域MSS具体案例跟大家讲一讲数据架构建的建设方法论,主要分为五个步骤:架构现状分析、数据实体梳理、数据主题域划分、数据概念模型及数据分布规划。

1、架构现状分析

每个企业面临的数据架构问题都是不一样的,这里给出某企业管理信息域(MSS)面临的信息架构挑战:

1、MSS域数据缺乏统一的数据分布规划,数据认责不明确,各个部门只负责自己业务范围内的数据管理,对于跨部门,跨系统的数据管理职责没有明确定义。

2、MSS域数据分散在众多小系统中,每个系统都在局部进行数据定义,数据分类,数据主题域划分,数据模型维护,缺乏统一的、全局视角的数据视图,导致多个系统间数据不一致,难以支撑跨系统、跨部门的数据分析。

2、数据实体梳理

根据应用功能架构,列出核心数据实体,描述核心实体的主要信息内容,根据应用框架,考察数据实体完整性,寻找差异点,弥补空白点。

第一步:依据应用蓝图,从功能模块中提炼核心数据实体,同时可参考业界最佳实践,对缺失数据实体做有效补充,如下图所示,如果企业应用蓝图不全面,那这一步的梳理工作就比较艰难。

第二步:依据应用蓝图所划分的领域,对核心数据实体做初步归并,识别MSS域核心实体类别,如下图所示:

3、数据主题域划分

参考行业最佳实践,结合企业实际情况,划分MSS域数据主题域,如下图所示:

下图是针对采购与供应商主题域的详细说明:

4、数据概念模型

数据概念模型描述了数据实体及其关系,通过数据概念模型能够体现企业运营和管理过程中涉及的所有业务概念和逻辑规则,下图是概念模型的示例:

下图是采购与供应商主题域概念模型:

5、数据分布规划

描述企业数据模型在企业IT系统如何分布,通过了解数据分布可以清楚定义企业数据在IT系统中是如何产生和使用。

第一步:明确数据主题域所归属的系统

第二步:明确CRUD(CRUD 是建立 (Create)、读取 (Read)、更新 (Update)及删除(Delete)这四项操作的缩写),即系统中的核心数据由哪些系统产生,哪些系统有权利去读取这些数据,这些数据的更新权和删除权又属于哪些系统,通过数据CRUD规划,确保数据的安全以及在数据不一致时很容易确定以哪个系统的数据为准。下图示例了采购与供应商主题域CRUD规划:

通过以上五步,数据架构的设计就基本完成了,至于逻辑模型、物理模型那就是操作层面的事情了。

干货直达👇

更多精彩👇

🧐分享、点赞、在看,给个3连击呗!👇

数据架构建设方法及案例

数据架构的本质是数据模型和数据流(或叫数据分布),《华为数据之道》将数据架构分为数据资产目录、数据标准、数据模型及数据分布,DAMA将数据架构分为数据模型和数据流设计,差不多就是这个意思。... 查看详情

万字长文详解大数据应用实战案例-万亿级大数据监控平台建设方案

...乃至整个项目及产品生命周期中最重要的一环。百分点大数据技术团队基于大数据平台项目,完成了百亿流量、约3000+台服务器集群规模的大数据平台服务的监控,沉淀了一套适合自身业务和技术特点的监控架构设计思路、设计... 查看详情

关于android移动团队的建设及未来架构的迭代升级思考

文章目录前言1.应用架构1.1技术架构运用阶段1.2架构分层思想1.3为什么要组件化,解决了什么问题?1.3.1组件化目的:解耦、复用、效率1.3.2组件化能带来什么好处?1.3.3组件化架构1.3.4小结1.4示来架构方向:平台化、中台化1.5总... 查看详情

软考论文案例-论微服务架构及其应用

...,该项目主要实现城市级视频图像资源整合及海量多媒体数据的共享交换。在该项目中,我担任系统架构设计师及研发负责人的角色,主要负责视频云系统架构设计及系统开发工作的推进。本文结合我的工作实践,以视频云项目... 查看详情

珍藏版⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构 湖仓一体化 流批一体离线+实时数仓 各种大数据解决方案 各种大数据新技术实践持续输出 敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net/dajiangtai007/art... 查看详情

企业级数据中台的建设方法架构和技术栈

​多数企业都意识到数据的重要性,都希望利用数据来驱动业务发展。但经常会听到这样一句话:“我们企业现在业务都还没做起来,连数据都没有,还不到考虑数据利用的时候。”这句话在某种程度上代表了一部分企业对于数... 查看详情

企业级数据中台的建设方法架构和技术栈

多数企业都意识到数据的重要性,都希望利用数据来驱动业务发展。但经常会听到这样一句话:“我们企业现在业务都还没做起来,连数据都没有,还不到考虑数据利用的时候。”这句话在某种程度上代表了一部... 查看详情

中台方法论及案例收集

...之二)什么是中台?企业为什么要建中台?从数据中台到AI中台罗兰贝格 罗兰贝格带你了解中台组织——成功敏捷型组织的“推进器”强有力的中台是敏捷型组织建设的“推进器”埃森哲中台致胜,”数“创未来... 查看详情

serverless架构落地实践及案例解析

...演进之路。单机部署在单机部署中,将所有的业务和数据库都部署在一台主机中。此架构的优点是:开发、部署以及运维都非常简单。缺点是:一旦遇到流量过大或者机器故障,整个系统瘫痪,甚至丢失业务... 查看详情

数据库拆分案例

...构初期就必须考虑的问题。庞大的用户群以及海量的用户数据意味着基础设施的构建必须兼顾高效与稳定,而按照通用的基础设施建设方案的话,需要面对成本过高、实现复杂、需要投入太多精力等问题,这对 查看详情

dubbo架构设计及入门案例(代码片段)

...能容错和负载均衡,以及服务自动注册和发现。1.1.2运行架构dubbo运行架构如下图示节点角色说明节点角色说明Provider暴露服 查看详情

数据中台应用实战50篇-企业级数据中台的建设方法&架构和技术栈

前言多数企业都意识到数据的重要性,都希望利用数据来驱动业务发展。但经常会听到这样一句话:“我们企业现在业务都还没做起来,连数据都没有,还不到考虑数据利用的时候。”这句话在某种程度上代表了一部分企业对于... 查看详情

中台方法论及案例收集

...的文章必须首推,尤其是阿里的这本中台战略思想和架构实战这本书,系统的总结了中台核心理念。《企业IT架构转型之道 查看详情

数据中台实战课网易一线真实案例

2018年末,数据中台突然出圈,一跃成为新晋网红,它解决了指标口径不一致的问题,节省了资源,提高了数据开发效率。 别着急,在你跃跃欲试之前,先了解一下:什么样的企业适合建设数据中台?数据中台到底要解决什... 查看详情

数仓系列第11篇:实时数仓

目录导读:1.数据仓库简介2.数据仓库的发展3.数据仓库建设方法论4.数据仓库架构的演变5.实时数仓案例6.实时数仓与离线数仓的对比导读:本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例... 查看详情

大型网站技术架构-核心原理与案例分析-阅读笔记3

...系统的耦合性、利用分布式可复用的业务平台、可拓展的数据结构、利用开放平台建设网站生态圈五个方面,作者在讲述前通过微信的成功发布及其中摇一摇功能的加入的开发的快捷引出来的,其中构建网站的可扩展架构中区分... 查看详情

数据仓库建模

       数据仓库建模备课资料目录1什么是数据模型12为什么需要数据仓库模型23如何建设数据仓库模型33.1 数据仓库数据模型架构33.2 数据仓库建模阶段划分43.4数据仓库建模方法64数据仓库建模案... 查看详情

老司机带带我:数仓建模架构|维度建模剖析与案例演示(代码片段)

    作者基于多年的大数据处理经验,当前管理着100PB+数据仓库和2000+节点的集群。持续系统化给大家分享一下关于数据仓库建设的经验总结。本系列既有数据仓库的形而上学理论体系,也有结合公司业务的实践&#... 查看详情