数据治理--数据管理标准规范的初步认识

架构师忠哥 架构师忠哥     2023-01-30     146

关键词:

什么是数据治理

维基百科针对数据治理的定义是:
数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加收入和利润。

数据管理是把业务和信息技术融合起来所必需的一整套技术、方法及相应的管理和治理过程。数据管理涵盖数据治理,是数据管理活动的中心。

数据治理的需求层次及治理阶段

治理的概念及需求层次

  • 数据治理的内涵逐步泛化是业界共识
  • 企业数据治理,涵盖数据发现可用、数据及时稳定产出、数据质量保障、数据安全合规和数据生产的经济性等多个层次。企业数字化转型阶段不同,治理关注的核心需求存在差异
  • 数据管理管理中,要保证一个组织已经将数据转换成有用的信息,这项工作所需要的流程和工具就是数据治理的工作

治理的阶段

数据治理发展实施阶段

数据治理的范畴

数据治理在国际、国内都有标准规范:

  • 国际:DAMA的DMBOK2 即《DAMA-DMBOK2数据管理知识体系指南(第2版)》,定义了10大职能领域
  • 国内:DCMM 定义了 8大过程域

DCMM

DCMM全称Data Management Capability Maturity Assessment Model, 数据管理能力成熟度评估模型

是我国首个数据管理领域国家标准,将组织内部数据能力划分为八个重要组成部分,描述了每个组成部分的定义、功能、目标和标准。

工信部信软司、国家市场监管总局标准技术管理司于2014年成立全国信标委大数据标准工作组从事国家大数据领域标准化工作。工作组成立当年,DCMM国家标准立项,正式启动研制工作,经过近4年的标准研制、试验验证,2018年3月15日正式发布,是我国数据管理领域最佳实践的总结和提升。

下图的链接地址

DCMM结合数据生命周期管理各个阶段的特征,按照组织、制度、流程、技术对数据管理能力进行了分析、总结,提炼出组织数据管理的八大过程域,并对每项能力域进行了二级过程项(28个过程项)和发展等级的划分(5个等级)以及相关功能介绍和评定指标(441项指标)的制定。

DAMA数据管理知识体系

DAMA国际通过对业界数据管理最佳实践的分析总结,出版了《DAMA-DMBOK2数据管理知识体系指南(第2版)

DAMA数据管理知识体系是DAMA集业界数百专家的经验于一体,编写了数据管理知识体系。

该体系是业界数据管理最佳实践的结晶,成为从事数据管理工作的经典参考和指南

DAMA-DMBOK2理论框架由车轮图(由11个数据管理职能领域)和环境因素六边形图(由7个基本环境要素)”共同构成“DAMA数据管理知识体系”,每项数据职能领域都由环境因素六边形图中定义的7个基本环境要素进行描述,并在环境要素的约束下开展工作,并由语境关系图描述了知识领域的细节,包括与人员、流程、技术相关的细节

详见参见DAMA-DMBOK 数据管理知识体系指南

DAMA车轮图

  • DAMA车轮图定义了数据管理知识领域。因为数据治理是实现功能内部一致性和功能之间平衡所必需的,故将数据治理放在数据管理活动的中心。
  • 其他知识领域(数据体系结构、数据建模等)围绕车轮平衡。它们都是成熟数据管理功能的必要组成部分,但根据各组织的需求,它们可能在不同的时间实现。

环境因素六边形图

  • 显示了人、流程和技术之间的关系,是理解DMBOK语境关系图的关键。因为目标和原则为人们如何执行活动、有效地使用工具来成功进行数据管理提供了指导,所以将它放在中心
  • 整个知识体系的每一个知识领域,都将按照环境六边形图进行展开。

语境关系图

  • 描述了知识领域的细节,包括与人员、流程、技术相关的细节。它们基于产品管理(供应者、输入、活动、交付成果和消费者)的SIPOC图的概念。因为这些活动生产了满足利益相关者需求的可交付成果,所以将活动放在中心
  • 每个语境关系图都以知识领域的定义和目标开始。驱动目标(中心)的活动分为4个阶段:计划、开发、运营、控制即PDOC
    • 最上面是这个知识领域的定义和目标
    • 在左侧流入活动中的输入和供应者
    • 右侧从活动中流出交付成果和消费者
    • 参与者列在活动下方
    • 底层是影响知识领域各个方面的工具、技术和度量标准。

其它形式视图

实施路径视图

业务视图

参考

阿里巴巴数据治理实践
DAMA-DMBOK 数据管理知识体系指南

数据标准:数澜科技之标准管理

这篇文章主要从数据治理中的重要基础内容:数据标准入手,从以下几个角度展开具体讲解:对数据标准的认识误区数据标准的定义企业如何制定数据标准数据标准化过程中出现难题的原因以及解决方案1.大数据治理... 查看详情

数据中台与数据治理方案

...标准、数据质量、元数据、数据安全方面,持续应用数据管理的工 查看详情

初步认识数组

1.理解数组 Java提供了数组这种数据结构,主要可以将大量的数据存储起来 定义:数组是用来存储相兼容数据类型的定长的容器 2.数组的特点 a.数组中只能存放相兼容类型的数据,不能存放多种类型的数据 b.数组中既可以存储... 查看详情

初识数据库(代码片段)

数据库文章目录数据库MySQLMySQL的安装与初步认识初步认识:MySQL服务器安装数据库基础库的操作表的操作基础增删改查MySQL  MySQL的安装与初步认识  库和表的操作以及MySQL中的数据类型  基础增删改查  进阶增删改查 ... 查看详情

谈谈对数据治理的理解

...的数据治理工作包含了数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据生命周期管理等内容。数据标准是数据治理的一项基础工作内容,数据模型依赖于数据标准用于指导数据... 查看详情

初步认识数据库

  查看详情

html的初步认识(代码片段)

HTML的初步认识Web开发的标准Web应用开发需要遵守的标准就是Web标准,是一系列标准的集合。网页主要由三部分组成:结构标准(XML、HTML和XHTML),表现标准(CSS),行为标准(DOM、Javascript)... 查看详情

数据治理三大模式详解,治理新范式释放数据潜能

随着世界经济由工业经济向数字经济转型,数据逐步成为关键的生产要素,企业开始将数据作为一种战略资产进行管理。数据从业务中产生,在IT系统中承载,要对数据进行有效治理,需要业务充分参与,IT系统确保遵从,这是... 查看详情

腾讯数据治理技术实践

...大的数据是一个值得思考的问题。本次分享结合腾讯内部数据管理方法,围绕数据治理技术实践,展开介绍腾讯在数据治理领域中做的相关工作,本次分享围绕以下三点展开:1. 数据治理简介2. 腾讯数据治理体... 查看详情

nosql数据库初步认识(代码片段)

目录为什么学NoSQL数据库技术的分类:session问题的解决方案NoSQL数据库概述NoSQL适用场景NoSQL不适用场景各种版本MemcacheRedisMongoDB行式存储数据库行式数据库列式数据库为什么学NoSQL数据库技术的分类:1、解决功能性的问题... 查看详情

网口扫盲一:网卡初步认识(转)

...器.网卡(NIC)插在计算机主板插槽中,负责将用户要传递的数据转换为网络上其它设备能够识别的格式,通过网络介质传输.数据在计算机总线中传输是并行方式即数据是肩并肩传输的,而在网络的物理缆线中说数据以串行的比特流方... 查看详情

网口扫盲一:网卡初步认识

...器.网卡(NIC)插在计算机主板插槽中,负责将用户要传递的数据转换为网络上其它设备能够识别的格式,通过网络介质传输.数据在计算机总线中传输是并行方式即数据是肩并肩传输的,而在网络的物理缆线中说数据以串行的比特流方... 查看详情

数据标准化:数据资产化从0到1的起点

随着信息社会不断向纵深发展,数据和信息作为战略性资源的价值正在快速提升。管理大师汤姆·彼得斯早在2001年就指出:“一个组织如果没有认识到管理数据和信息如同管理有形资产一样极其重要,那么它在新经济时代将无法... 查看详情

pyecharts初步认识(代码片段)

...yecharts:    Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而Python是一门富有表达力的语言,很适合用于数据处理。当数据分析遇上数据可视化时,... 查看详情

数据治理方案

目录数据治理方案1.为什么要做数据治理2.需要治理哪些问题3.目前数据现状4.怎么做数据治理4.1数据治理策略4.2标准化和组织保障4.2.1标准化4.2.2组织保障5.技术系统5.1统一数仓规范建模(OneModel)5.1.1制定标准-数仓规范5.1.... 查看详情

数据结构:算法的初步认识(代码片段)

算法是解决特定问题求解步骤的描述,在计算机中表现为指令的有限序列,并且每条指令表示一个或多个操作。什么是算法要求你写一个求1+2+3+…+100结果的程序,你应该怎么写呢?大多数人会马上写出下面... 查看详情

数据结构:算法的初步认识(代码片段)

算法是解决特定问题求解步骤的描述,在计算机中表现为指令的有限序列,并且每条指令表示一个或多个操作。什么是算法要求你写一个求1+2+3+…+100结果的程序,你应该怎么写呢?大多数人会马上写出下面... 查看详情

数据治理知识体系学习笔记

...价体系、技术体系几方面的内容,主要包含:元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。元数据管理元数据管理主要涉及元数据分类、元数据管理成熟度评估、元数据管理系统架构... 查看详情