mdm数据血缘设计方案

数通畅联 数通畅联     2023-03-09     708

关键词:

科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所上的应用系统也就越来越多。业务发展的过程中沉淀了大量数据,但这些数据没有为企业带来直观价值,没有形成企业的数据资产,所以越来越多的企业进入到数据治理阶段,对于主数据治理的需求越来越明确

MDM基础数据平台是进行数据清洗和企业治理的主数据,使企业的主数据具有唯一性、准确性、一致性、及时性。但企业数据在展现树形列表的功能时,一般是多对多的关系,为了满足这个需求所有主数据都要进行扩展功能模型,来实现树形关联列表支持多对多数据展现在列表页上的功能。

1整体介绍

主数据治理方案可以将企业的组织、人员、客户、供应商等高度共享的数据进行统一管理;对需要的业务系统进行同步分发,使数据易采集、易理解、易分析,提高部门与部门之间的沟通效率。

1.1产品体系

首先介绍一下我们公司的产品体系:

我们公司的所有产品都是通过K8S云平台进行部署搭建的,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。

MDM主数据管理平台在公司产品体系中是一个重要的一环,主数管理平台可以跟不同产品组合来满足不同的项目需求

1.2产品介绍

MDM主数据管理平台,主数据管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反,它提供了一种方法,使企业能够有效地管理存储在分布系统中的数据。

主数据管理使用现有的系统,它从这些系统中获取最新信息,并提供了先进的技术、流程,用于自动、准确、及时地分发和分析整个企业的数据,并对数据进行验证。

MDM核心数在中间的紫色区域,分别是数据建模,功能建模,流程建模,应用管理,使用这些功能能够自动生成出不同的主数据管理,从而进行数据的治理数据;数据统计,也就是绿色区域的数据管理,流程监控,统计分析功能,并且管理看板也能够进行统计分析,MDM在系统管理中进行添加组织,人员,岗位,并可以配置相应的权限。

1.3功能介绍 

本次开发的是数据血缘功能,这个功能提高MDM的关联性,使客户直观地了解MDM数据的来源和目标,此功能是通过系统的数据建模功能配置来源系统和分发系统进行统计出来的,在质量管理中新增的一个数据血缘功能,并且通过导出Excel报表形式展现出来,Excel通过不同Sheet来展示主数据来源和用途。 

2实现思路 

通过扩展完善数据建模功能配置来源和分发的系统,来构建数据血缘功能,以下是数据血缘的整体思路和考察要点。 

2.1整体思路 

1.主数据来源配置:主数据建模中添加主数据来源配置标签,可以选择来源的系统和关联的来源字段。 

2.主数据分发配置:分发配置有2个位置一个是应用配置里、一个是数据建模中添加一个标签,可以选择要分发的业务系统和分发字段。 

3.主数据数据血缘:是可以通过主数据查看到它的来源系统和分发系统、并且查看到它的字段信息和关联的参考数据。 

2.2配置功能 

主数据建模中添加3个标签:基础信息、来源系统、分发系统。 

1.基础信息:主数据基础信息配置,对主数据表和模型的定义。 

2.来源系统:是主数据来源系统列表,支持对来源系统选择多选,双击弹出来源字段关联添加,需要重新创建一个表。 

3.分发系统:与应用配置根据应用选择主数据一样,只是以主数据角度进行选择应用,使用同一个表即可。 

2.3数据血缘 

数据血缘是本次新增的一个功能,可以整体的、清晰查看到每个主数据来源和去向。 

1.数据血缘整体扩展思路是新增一个数据血缘功能。 

2.通过不同的主数据,查看它的来源系统,查看到来源系统的同步的字段。 

3.通过不同的主数据,查看到主数据的分发系统和分发系统的字段。 

4.通过不同的主数据,查看到主数据所有字段信息和关联的参考数据。 

3扩展设计 

通过上述的思路,进行模型设计、功能设计、写出功能的技术要点。

3.1模型设计

来源系统配置和字段关联是新增的功能,所以需要新增2个数据模型: 

来源系统表:mdm_mentity_sourceapp_rel 

来源字段表:mdm_metadata_sourceapp_rel 

3.2配置功能 

主数据建模中添加3个标签:基础信息、来源系统、分发系统。 

基础信息页面: 

来源系统页面: 

点击添加应用,弹出下面的页面: 

点击选择后,弹出同步来源类型页面: 

双击进行关联字段页面,选择关联的主数据: 

分发系统页面: 

双击进行关联字段页面,选择关联的主数据: 

3.3数据血缘 

1.新增一个数据血缘功能,是左树右表功能。 

(1)左侧是主数据树形。 

(2)右侧上面是主数据与应用系统关联。 

①中间是主数据上下是来源系统和分发的系统。 

②不点击图表,右右侧是主数据信息。 

③点击图表的应用系统,右右侧是应用信息。 

(3)右侧下面有2个标签 

①一个标签表格:统计主数据字段信息。 

②一个标签表格:统计主数据关联的参考数据信息。 

③点击应用只显示一个标签,标签下是系统关联的字段信息。 

2.右侧上方新增一个导出功能,点击导出对应主数据的Excel表格。 

点击中间的主数据显示如下:

绿色红色代表是来源系统,其他颜色代表是分发系统,右侧信息栏显示主数据基本信息,下面是统计信息(来源系统、分发系统、字段个数、参考数据)。 

图表下面是字段信息和关联主数据信息。 

点击上下的应用显示如下: 

右侧信息栏显示应用系统基本信息,下面是统计信息(来源系统、分发系统、字段个数、参考数据),图表下面是字段信息。 

数据血缘统计也要显示同步来源和清洗来源系统用不同颜色区分。 

如果是既时来源还是同步系统下面字段显示2个标签。 

导出功能Excel设计:3个Sheet 

第一个是来源和分发系统: 

第二个是主数据的字段: 

第三个参考数据: 

4心得总结 

平台是主数据治理方案落地的重要工具,平台在功能上满足主数据治理需求的同时,具备快速扩展能力,以适应不同业务场景的变化。并根据技术发展及业务演变,不断迭代升级。通常选择的主数据管理平台要预置典型的模型功能和样例数据,在项目中复用,节省时间。 

4.1开发心得 

通过这次开发了解在开发过程中要考虑全面,就像这次功能就是整体现出MDM的来源和目标,让业务清晰了解主数据生命周期,所以在以后设计功能时要考虑全面,要按照不同的角度来思考如何开发功能,要考虑产品的实用性,考虑产品的整体性,考虑客户的使用性,这样客户使用时候才能更加满意。 

4.2设计优先 

通过这次的多对多功能开发,我意识到团队的重要性,一个人不可能完成的任务,多个人可以快速地完成。团结就是力量。像上述所说一个人可能考虑没有那么全面,所以要在设计后一定要进行技术评审,来收集大家的意见完善自己的设计,在开发不明确时也要及时去向领导同事进行请教,这样才能交付出最完美的工作成果。 

4.3灵活组合 

可以跟公司的产品相互组合使用的,相辅相成,灵活组合,满足绝大多数应用场景,更加灵活地适应企业业务需求的变化,解决不同企业面临的困境,可以和不同步产品组合形成不同的解决方案。 

根据不同方案起到不同的作用,如果是业财一体化项目,MDM就担任基础数据映射作用;如果是数据治理项目,就是针对对业务系统中的共享主数据进行治理、完善、统一;如果是数据分析项目,就是抽取整合业务系统中的主数据,保证数据准确、完整后进行数据分析使用。使得企业能够集中化管理数据,在众多系统中保证主数据的一致性,改进数据合规性、快速部署新应用、充分了解客户并提高推出新产品的速度。 

mdm授权管理设计方案

...,所上的应用系统也就越来越多,业务发展中沉淀了大量数据,但这些数据没有为企业带来直观价值,也没有形成企业的数据资产,所以越来越多的企业进入到了数据治理阶段,对于主数据治理的需求越来越明确。MDM基础数据管... 查看详情

mdm数据分析设计方案

...使用的应用系统也就越来越多。业务发展中沉淀了大量的数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产。因此越来越多的企业进入到了数据治理阶段,对于主数据治理的需求越来越明确。... 查看详情

数据血缘设计想法(初稿)

参考技术A一、背景:数据血缘贯穿数据产生到应用的整个流程,在数据采集中,需要从清楚埋点后续使用情况,以统计使用率,避免冗余的数据上报;在数据计算中,调度需要清楚数据的执行状态,确保上层数据执行完成;在... 查看详情

mdm授权管理设计方案

...上的应用系统也就越来越多,业务发展中沉淀了大量数据,但这些数据没有为企业带来直观价值,也没有形成企业的数据资产,所以越来越多的企业进入到了数据治理阶段,对于主数据治理的需求越来越明确... 查看详情

数据血缘构建及应用

...果五、字段级别血缘关系5.1传输工具DataX5.2计算引擎5.3图数据库JanusGraph5.4覆盖范围5.5局限5.6效果六、实际应用场景6.1数据治理6.2元数据管理6.3调度系统6.4敏感等级标签七、总结一、前言数据血缘是元数据管理、数据治理、数据质... 查看详情

全链路数据血缘在满帮的实践

摘要:全链路数据血缘,指在数据的全生命周期内,数据与数据之间会形成各式各样的关系,贯穿整个数据链路中。本文分享自华为云社区《全链路数据血缘在满帮的实践》,作者:你好_TT。什么是全链路... 查看详情

基于maxcomputeinformationschema进行血缘关系分析

一、需求场景分析在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关... 查看详情

数据血缘构建及应用

...果五、字段级别血缘关系5.1传输工具DataX5.2计算引擎5.3图数据库JanusGraph5.4覆盖范围5.5局限5.6效果六、实际应用场景6.1数据治理6.2元数据管理6.3调度系统6.4敏感等级标签七、总结一、前言数据血缘是元数据管理、数据治理、数据质... 查看详情

数仓设计

数据仓库设计方案一.概述 数据仓库的特征在于面向主题、集成性、稳定性和时变性,用于支持管理决策。数据仓库的存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供统一的、规范的数据出口。数据仓库在... 查看详情

如何在开发环境中构建 mdm 解决方案。

】如何在开发环境中构建mdm解决方案。【英文标题】:Howtobuildmdmsolutionindevelopmentenvironment.【发布时间】:2017-12-3005:21:33【问题描述】:在生产环境中我们可以连接APNS,但在开发环境中一些端口仍然阻塞,导致我们无法连接到APNS... 查看详情

火山引擎dataleap数据血缘技术实现与具体用例

目录01数据血缘模型02数据血缘优化03数据血缘用例04未来展望01数据血缘模型数据血缘模型–挑战首先介绍一下字节内部数据血缘遇到的挑战。随着公司业务扩张、用户数量持续增长以及数仓建设不断完善,元数据种类和数量... 查看详情

转载主数据管理(mdm)与元数据管理

主数据(MasterData)和元数据(MetaData)是两个完全不同的概念。元数据是指表示数据的相关信息,比如数据定义等,而主数据是指实例数据,比如产品目录信息等。比如,某省地税开发了一套征收管理软件,以市为单位部署了17套,每... 查看详情

数据血缘分析工具sqlflow视频介绍

SQLFlow是一个功能强大的数据血缘分析工具,通过分析各种数据库的SQL脚本、对象定义语句(DDL)、DML语句、ETL/ELT中使用的存储过程(Procedure,Function)、触发器(Trigger),给出完整的数据血缘关系。在大型数据仓库/数据湖中,... 查看详情

mdm数据分析功能说明

MDM基础数据平台的设计理念在于保证主数据在各个系统中的正确性、重用性和通用性。通过基础数据平台将企业的主数据进行整合,集中进行数据的清洗和标准化,并以集成服务的方式把统一的、完整的、准确的、具有... 查看详情

顺丰基于hook机制实现数据血缘系统(代码片段)

1.背景一个完整的数据生命周期,包含从数据源头的数据采集、计算、加工、转换和展示等多个核心步骤以及到最终的数据销毁、归档的全部流程。我们用一种类似人类社会的血缘关系来描述这种数据之间的流转关系——即... 查看详情

顺丰基于hook机制实现数据血缘系统(代码片段)

1.背景一个完整的数据生命周期,包含从数据源头的数据采集、计算、加工、转换和展示等多个核心步骤以及到最终的数据销毁、归档的全部流程。我们用一种类似人类社会的血缘关系来描述这种数据之间的流转关系——即... 查看详情

如何在 iPhone 中安装 MDM 配置文件?

...时间】:2012-08-0610:24:10【问题描述】:我想开发一个解决方案管理器iPhone。据我所知MDM可以接受。但是我如何制作MDMServer。如何生成/安装iPhoneMDM配置文件。我该怎么办?请帮助我。最好的问候!【问题讨论】:【参考方案1】:... 查看详情

sparksql字段血缘扩展实践!(代码片段)

...段血缘呢?有了字段间的血缘关系,便可以知道数据的来源去处,以及字段之间的转换关系,这样对数据的质量,治理有很大的帮助。SparkSQL相对于Hive来说通常情况下效率会比较高,对于运行时间、资源的... 查看详情