转载主数据管理(mdm)与元数据管理

一日一学! 一日一学!     2022-08-01     159

关键词:

主数据(Master Data)和元数据(Meta Data)是两个完全不同的概念。元数据是指表示数据的相关信息,比如数据定义等,而主数据是指实例数据,比如产品目录信息等。比如,某省地税开发了一套 征收管理软件,以市为单位部署了17套,每套征收管理软件中的元数据都是一样的,但是主数据还是需要进行管理的。主数据管理和传统数据仓库解决方案不是一 个概念,数据仓库会将各个业务系统的数据集中在一起在进行业务的分析,而主数据管理系统不会把所有数据都管理起来,只是把需要在各个系统间共享的主数据进 行采集和发布。相对于传统数据仓库解决方案的单向集成,主数据管理更注重将主数据的变化同步发布到各个关联的业务系统中(主数据管理数据是双向的)。

以下为常见的六大数据形式:

  • 元数据:数据的数据,平时我们设计表时,大部分属性字段就是元数据。比如,性别,国籍,出生省份等。这个是最接近自然意义的的数据。
  • 引用数据:元数据的可能取值范围,我们设计表时所说的数据字典往往就是引用数据。比如,性别只能是男和女,男和女就是引用数据。国家的引用数据就是世界上这100多个国家和地区;
  • 主数据:在我们数据库设计中最重要的一些实体,是由元数据和引用数据实例的集合。DMReview 专栏作家 Jane Griffin 将主数据定义为“...用于为核心业务实体创建和维护全企业‘记录系统’,以记录业务交易并评定这些实体的业绩所需的信息。”平时我们常碰到的客户信息, 产品信息都属于主数据。对于主数据的介绍,我们会在后面详细展开说明。
  • 企业结构化数据:企业业务中所需的数据实体 ,可能是多个主数据的集合。不同行业的结构化数据会有很大不同。
  • 交易活动数据:主数据之间活动产生的数据。比如客户购买产品的交易记录就是交易活动数据,工厂生产产品,生产记录也是交易活动数据。
  • 交易审计数据:我们对数据的所有活动都通过交易审计数据进行记录。比如我们对客户信息修改的操作,对交易的增加和删除操作,这些活动在很多关键系统(比如银行)都需要记录,以合符相应法规的要求(如 Basel II、萨班斯—奥克斯利法案)。


下图中数据模型中的蓝色越深代表语义相关性越强和数据质量越重要,而黄色越深代表数据的数据数量越多、更新的频率越快、实时抓取的数据越快、数据的生命越短。下图可以看到,元数据的数据语义性最强,几乎不更新,数据量最少,生命周期最长。

技术分享

 

主数据是企业应用系统中最基本的业务单元,下面是一段英文的原文:Master Data are the fundamental business data in the company, typically long-lived and used across multiple applications。Core Master Data are operational entities, supporting all fundamental business activity transactions being executed on this level. The Core Master data are common and shareable within the organization。

我觉得很好理解,比如一个产品系统,它处理的基本数据就是生产数据。HR系统处理的基本数据是雇员;CRM 系统是客户。一般来说核心主数据包含:Customers, Contracts, Suppliers, Distributors/Partners,Employees等等。另外,各个行业对于主数据的管理的需求和期望会有很大不同,因此行业经验对于主数 据管理也是很重要的。(注:能否直接理解为系统的基础数据就是主数据?这里一般不能这样理解,主数据一定是基础数据。但是如果该基础数据没有跨业务系统边界,往往不作为主数据。主数据的一个重点是跨越了业务流程边界,在诸多业务流程的不同阶段会使用到。)

主数据管理的概念

从 上面的介绍可以了解,主数据并不是什么新的概念,但为什么之前没有主数据管理的产品呢?其实,解释这个问题和解释数据集成出现的原因很类似。因为之前主数 据依附于各个单独的业务系统,比如HR, ERP,SCM,企业的网站,商业合作伙伴的系统都可能对某一个主数据有存储,比如某个产品。问题随之来了,如系统间数据编码不一致;数据的冗余;某些系 统数据的不完整。举个实际的例子,如果我们新建一个BI的系统,那么有可能我需要从生产系统,财务系统,物流系统,企业合作伙伴系统多个系统拿到一个完整 的关于主数据的信息。显然,需要一种解决方案,能够提供一个单一的主数据访问接口,以提高主数据访问的效率;为企业的市场、销售、客户关系管理等活动提供 可靠的数据,提高企业的敏捷性。(对问题分析的不够,提供单一完整视图仅仅是主数据的一个作用。另外重要作用包括数据质量管理,统一数据源头和编码体系,统一数据的创建申请和变更流程,实现数据的集中收集和分发等。)

主数据管理:主数据管理是数据管理的一种高级形式,它必须构建于ETL或者EII(Enterprise Information Integration)等技术之上,因此很多主数据管理平台本身就包含了数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能。也有 某些厂商把MDM作为数据集成产品的一个模块交付给客户。

mdm主数据管理

MDM主数据管理:MDM主要是提供两个:一个就是数据的采集过程,一个就是数据的分发和数据服务能力的提供过程。1、主数据生产者:主要指主数据的产生源,即谁录入谁就是生产者。以员工为例,一般在HRP中登记和维护,即可... 查看详情

主数据管理(mdm)的成熟度

MDM全写MasterDataManagement,翻译为主数据管理或元数据管理。什么是MDM企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部... 查看详情

[sap-mdm]mdm的基本概念--主数据管理详解

...性(controlled),为了达成这一目标,就需要进行主数据管理(MasterDataManagement,MDM)。什么是主数据管理(MasterDataManagement,MDM)主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数... 查看详情

mdm授权管理设计方案

...据治理阶段,对于主数据治理的需求越来越明确。MDM基础数据管理平台是对主数据进行同步、清洗、治理、分发全生命周期的一次管理,帮助各个业务系统的主数据统一,保障它们的完整性、一致性,同步就是从主数据 查看详情

mdm主数据平台使用总结

...阶段,对于主数据治理的需求也越来越明确。MDM基础数据管理平台是进行清洗 查看详情

mdm主数据管理平台开发精要

  随着企业业务迅速发展,需要支撑业务运转的信息系统越来越多,各系统之间数据分散、重复,未完全形成业务闭环,数据孤立不能互通,数据统计不一致,企业主数据(组织、人员、项目、客户... 查看详情

mdm数据巡检设计方案

...;使用的应用系统越来越多,业务发展中沉淀了大量的数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产。因此越来越多的企业进入到了数据治理阶段,对于主数据治理的需求日益强烈。MDM... 查看详情

mdm数据分析功能说明

...程并提高业务的响应速度。 1.1功能架构 MDM产品分为主数据管理平台和MDC控制台。主数据管理平台分为:数据管理、质量管理和统计分析。MDC控制台主要功能为:数据建模,功能建模,流程建模,应用管理... 查看详情

mdm属性跳转功能说明

MDM基础数据管理平台是进行清洗和治理企业的主数据,使企业的主数据具有唯一性、准确性、一致性、及时性,通过主数据数据清洗功能将错误数据和重复数据进行清洗,从而保证企业数据能够做到以上那几点,... 查看详情

mdm属性跳转功能说明

MDM基础数据管理平台是进行清洗和治理企业的主数据,使企业的主数据具有唯一性、准确性、一致性、及时性,通过主数据数据清洗功能将错误数据和重复数据进行清洗,从而保证企业数据能够做到以上那几点,... 查看详情

mdm主数据清洗和编码集成说明

...,而多系统共同协作的时候往往又会出现系统割裂、数据难以统一的问题,所以通过数据治理保证基础数据一致是系统建设与集成的关键内容。而保证基础数据一致的核心内容就是数据清洗和编码统一,数据清洗保证... 查看详情

如何进行mdm的产品测试

...的正确性、重用性和通用性。从系统应用度而言,主数据管理是把企业的多个业务系统中最核心的、最需要共享的数据(主数据)进行整合,集中进行数据清洗和标准化,并且以集成服务的方式把统一的、完... 查看详情

浅谈企业数字化转型之主数据管理系统(mdm)

...越来越多的企业开始向数字化、数智化方向转型,主数据管理系统是转型过程中的基石,在后期能够为企业提供基础数据服务,保证企业往更好的方向去运营。在数字化转型 查看详情

mdm授权管理设计方案

...理阶段,对于主数据治理的需求越来越明确。MDM基础数据管理平台是对主数据进行同步 查看详情

esb+mdm同步分发流程开发总结

MDM主数据管理是把企业的多个业务系统中最核心的、最需要共享的主要数据进行整合,集中进行数据清洗和标准化,并且以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给需要使用这些数据的应... 查看详情

esb+mdm同步分发流程开发总结

MDM主数据管理是把企业的多个业务系统中最核心的、最需要共享的主要数据进行整合,集中进行数据清洗和标准化,并且以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给需要使用这些数据的应... 查看详情

mdm数据血缘设计方案

...的不同信息化困境,帮助企业完善信息化发展。MDM主数据管理平台在公司产品体系中是一个重要的一环,主数管理平台可以跟不同产品组 查看详情

mdm三权分立及分类分级权限说明

...理阶段,对于主数据治理的需求越来越明确。MDM基础数据管理平台是对主数据进行 查看详情