关键词：
目录
1 范围
本标准规定了XX公司数据质量管理内容、管理机制和工作流程。本标准适用于XX所有项目整个生命周期的数据质量管理，非项目可参照使用。
2 术语和定义
下列术语和定义适用于本文件
数据质量data quality
客观反映业务数据固有特性的程度。
注：“固有的” (其反义是“赋予的”)就是指在某事或某物中本来就有的，尤其是永久的特性。
数据质量管理 data quality management
对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、监控、预警、处理等一系列管理活动，并通过改善和提高管理水平使得数据质量获得进一步提高。
技术评估 technology assessment
科技主管部门对已审批的业务需求，组织相关部门和人员进行技术可行性评估，并作出评估结论的活动。
数据质量监控 data quality control
获取业务各环节的数据质量信息，结合有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量管理实施部门报告的活动。
数据质量评估 data quality assessment
由数据质量管理实施部门根据需要发起，得到评估结果并作为依据评估指标和评估方法进行评价，数据质量改进的参考和依据。
数据质量报告 data quality report
对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程。
数据质量知识 data quality knowledge
在数据质量管理活动中获取的有关数据质量问题处理的经验和成果。
3 数据质量管理内容与评价原则
3.1管理目标与内容
数据质量管理目标
数据质量分为绝对质量和过程质量，绝对质量是指业务数据的真实性、完备性和自洽性，过程质量指业务数据的使用质量、存储质量和传输质量。数据质量管理目标包括：
a)建立稳定运行的数据质量测控体系，及时发现并改正数据质量问题；
b)建立可靠的数据质量评估流程，判断改进趋势,衡量数据质量改进效果；
c)建立一套改进、提升数据质量的管理机制。
数据质量管理内容
数据质量管理内容包括：
a)制定、修订数据质量管理遵循的标准；
b)确立、修订数据质量管理工作流程、优化部门协同机制；
c)制定数据质量管理决策机制；
d)监督日常数据质量管理的有序进行；
e)数据质量的核查。
数据质量影响要素
数据质量影响要素包括：
a)信息类要素：由于对数据本身的描述、理解及其度量标准偏差而造成数据质量问题的影响要素；
b)技术类要素：由于具体数据处理的各技术环节异常而造成数据质量问题的影响要素，技术实现上的某种缺陷是其产生的主要原因；
c)流程类要素：由于系统作业流程和人工操作流程设置不当造成数据质量问题的影响要素；
d)管理类要素：指由于人员素质及管理机制方面的原因造成数据质量问题的影响要素。
3.2 数据质量评价原则
数据质量评价原则包括：
a)完整性：数据是充分的，任何有关操作的数据都没有被遗漏。主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失；
b)唯一性：数据值被约束成一组独特的条目，每个值都是唯一的。主要包括主键唯一和候选键唯一；
c)准确性 ：数据必须真实准确的反映实际发生的业务；
d)精确性：计量误差、度量单位等方面的精确度应符合业务需求；
e)一致性：描述数据结构、数据值和他们的相互关系符合逻辑规则的程度。如统一数据来源、统一存储和统一数据口径；
f)及时性：数据更新、修改和提取等的快速性程度，应符合业务需求；
g)合规性：数据格式、类型、域值和业务规则的有效性。
4 相关部门职责
4.1概述
相关部门包括以下部门：业务主管部门、技术主管部门、技术承办单位和数据质量管理实施部门。
4.2业务主管部门职责
主要职责包括：
a)对于拟开发的应用项目，对相关业务提出数据质量约束性需求；
b)对于在开发的应用项目，从业务角度提供数据质量检测方法和验收标准；
c)对于已运行的应用项目，根据应用状况提出数据质量问题和改进建议；
d)受理与本部门业务相关的数据质量管理协同通告，并作出处理反馈。
4.3技术主管部门职责
技术主管部门是数据质量的主管部门，主要职责包括：
a)组织制定、颁布数据质量管理、保障、控制和维护流程；
b)组织制定、颁布数据质量管理和技术相关标准；
c)监督数据质量问题处理的整个流程并对数据质量的监控结果进行评估；
d)组织、协调相关部门，解决数据质量管理活动中的异常问题；
e)受理、审批数据质量需求变更；
f)针对已处理的数据质量问题发起处理效能评估；
g)数据质量管理其他有关事项。
4.3技术承办单位职责
主要职责包括：
a)协助数据质量管理实施部门解决业务应用系统数据质量问题；
b)协助业务主管部门提出数据质量管理的业务需求；
c)协助数据质量管理实施部门处理数据质量需求变更评估。
4.4数据质量管理实施部门职责
受技术主管部门委托，负责数据质量管理的具体实施。主要职责包括：
a)监控数据质量问题；
b)提出数据质量问题改进建议；
c)依据数据质量管理处理流程，负责数据质量管理系统运维；
d)处理数据质量监控系统告警，并向相关部门通告数据质量问题；
e)经主管部门授权后，负责组织解决相关的数据质量问题；
f)组织处理数据质量需求变更的评估；
g)形成报告并报技术主管部门；
h)协助业务主管部门提出数据质量管理的业务需求。
5 数据质量管理工作流程
工作流程图，数据质量管理流程工作流程见图 1。
图 1：数据质量管理流程工作流程
注：图中虚线表示为可选流程。
关键环节说明
业务需求提出
业务主管部门依据业务工作的实际情况，向技术主管部门提出相关业务系统的业务需求。需求提出过程中，技术承办部门和数据管理实施部门应协助业务主管部门，就特定业务应用系统，归纳并提出业务需求。
业务需求审批
技术主管部门在受理业务主管部门提交的业务需要后，应对业务需求在规定时限内进行审批，并将审批意见告知业务需求提出部门。
技术评估
对于审批通过的业务需求，数据质量管理实施部门应在规定时限内，组织相关部门和人员，对业务需求进行技术评估，并给出评估结论。
技术承办单位，应协助科技主管部门开展业务需求的技术评估。
系统设计开发
技术承办单位对已完成技术评估的业务需求，应依据业务需求组织并实施应用系统的设计与开发。
测试验收
对于技术承办单位已完成开发的应用系统，其业务主管部门应在规定时限内组织测试与验收。
技术承办单位和数据质量管理实施部门应协助业务主管部门，完成测试与验收。
系统上线运维
对业务主管部门已验收的应用系统，数据质量管理实施部门应组织实施应用系统的上线和日常运维工作。
技术承办单位应协助、配合数据质量管理实施部门开展应用系统的上线工作。
数据质量监控
对已上线的应用系统，数据质量管理实施部门应利用数据质量管理系统，开展数据质量监控，并定期提供数据质量监控报告。
告警分析与问题通告
在数据质量监控过程中产生的告警信息，数据质量管理实施部门应在规定的时限内开展告警信息分析，并对告警产生的原因作出判定。
对于一般性告警信息，数据质量管理实施部门可直接按照操作规程给予处理，如：系统断电等原因产生的告警；对于严重告警信息，应将告警产生的问题通告技术主管部门和相关业务部门。
注：一般性告警是指系统运行环境异常或操作失误等导致的、具有偶发性、在短期内恢复且不产生严重后果的数据质量监控告警。
问题处理授权
技术主管部门在受理数据质量管理实施部门通告的数据质量问题后，应组织协调问题所涉及的相关部门，协同确认并授权数据质量管理实施部门解决问题。
问题解决
数据质量管理实施部门在获得授权后，应组织开展解决问题的工作并予以完成。
技术承办单位应协助数据质量管理实施部门解决问题的工作。
处理结果确认
对已处理的数据质量问题，数据质量管理实施部门应将问题处理结果在规定时限内通告技术主管部门、业务主管部门和技术承办单位。
处理结果反馈
各相关部门收到数据质量问题处理结果后，应在规定时限内对问题处理结果给予确认，并将确认结果和建议反馈数据质量管理实施部门和其他相关部门。
数据质量管理报告
数据质量管理实施部门应定期编写数据质量监控报告，归档备查。
数据质量问题处理解决后应编写数据质量问题分析报告，报送相关部门。
对数据质量监控报告和问题分析报告进行总结，编写数据质量定期总结报告，报送相关部门。
6 数据管理管理活动
数据质量管理活动主要如下：
数据资源变更管理
数据资源变更会引起系统内部和系统外部的数据质量问题。数据资源变更管理主要是利用元数据管理的分析功能对系统变更信息进行影响评估，并将变更信息及时告知数据质量管理相关部门，协同各部门完成数据资源变更处理工作，避免变更引起的数据质量问题。
数据质量监控
数据质量管理业务应在HG业务系统数据处理相关环节采集数据，供数据质量监控分析使用并存档。
数据质量分析
根据监控数据对象性质的不同，采用多种定性或定量预警分析方法进行数据质量评价。
告警管理
根据告警所反映的数据质量现象的严重程度、影响范围，设定严重性程度不同的告警级别。每一级别告警信息的发送都应具备多种送达手段。从数据采集、预警分析到告警生成，每个阶段都需进行程序化管理。
数据质量问题处理
指对数据质量管理中产生的各类问题进行分析，并根据分析结果，方法进行处理，选择适当的方式、并根据处理效果归纳总结的处理过程。关键环节包括：问题发现、问题分析、问题通告、问题解决指派、问题处理方法设计、审评、实施和问题总结。
数据质量评估
指利用各种评估方法（如：直接评估法和间接评估法），根据数据质量问题影响程度的不同，以评估报告等形式，对数据质量的给以评价和改进建议。
数据质量报告
数据质量报告是对数据资源变更管理、数据监控、数据质量分析、问题处理以及数据质量评估等过程积累的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程。数据质量报告的发布具有一定的时效性。用户应在所赋权限范围内查看质量报告，防止信息泄露。数据质量报告的归档要求将相关报告按照分类,作为后续数据质量问题处理和分析的参照。
数据质量知识管理
历史数据质量知识的积累为数据质量问题的解决提供参考方法。数据质量知识主要来源于对数据质量问题的记录与总结，以及对问题解决过程自身的知识评价。数据质量知识的产生与利用过程是一个互相促进改良的过程，为数据质量管理的其他活动提供重要的支撑。
数据质量管理工具预研——griffinvsdeequvsgreatexpectationsvsqualitis
开源数据质量管理工具预研——GriffinVSDeequVSGreatexpectationsVSQualitis。概述 数据质量监控（DQC）是最近很火的一个话题,也是数据治理中最重要的一环。有一句话说得好。数据质量未必是数据治理中最重要的一部分,但是数据质量... 查看详情
数据质量治理与数据质量评价体系（术）
目录01数据治理问题场景02数据质量的重要性03数据质量常见问题04数据质量问题原因05数据质量治理06数据质量评价体系最后附上数据质量治理思维导图数据质量人人有责，这不仅仅只是一句口号，更是数据工作者的生命... 查看详情
谈谈对数据治理的理解
谈谈对数据治理的理解一、什么是数据治理？为什么要做数据治理？1、数据标准2、数据模型3、元数据4、主数据5、数据质量管理二、怎样做数据治理一、什么是数据治理？为什么要做数据治理？数据治理可以理... 查看详情
企业进行高质量数据管理，实施数据治理的关键是什么？
随着数据通过各种方式创造了巨大价值，各领域的企业开始不断挖掘数据的作用，数据的重要性得到了社会各界的共同认可。像我们熟知的数据治理、数据管理、数据标准以及数据资产都是因为数据地位不断提升，企... 查看详情
数据治理系列7：企业数据治理的七把利剑
目录前言：一、竞星剑：数据模型管理二、游龙剑：元数据管理三、日月剑：数据质量管理四、天瀑剑：数据标准管理五、青干剑：主数据管理六、莫问剑：数据安全管理七、舍神剑：数据服务平... 查看详情
数据治理系列5：浅谈数据质量管理
目录一、数据质量问题盘点二、数据质量问题根因分析三、数据质量管理的方法论四、总结题外话：看过之前的文章的小伙伴不难发现，文章开篇几乎都是定义、概念，这已成了笔者写文章的一个习惯。本着对专业知... 查看详情
数据质量建设(代码片段)
数据仓库之数据质量建设数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。... 查看详情
数据质量建设(代码片段)
数据仓库之数据质量建设数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。... 查看详情
什么是数据治理？（目的方法流程）
文章目录1、什么是[数据治理]2、数据治理的目的3、数据治理的方法4、数据质量8个衡量标准5、数据治理流程1、什么是[数据治理]数据治理（DataGovernance）是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发... 查看详情
对话抖音电商：量级庞大参差不齐，“数据质量治理”有妙招！
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 经过近年发展，抖音电商的体量和规模已经相当可观。基于数据驱动思路，在数仓建设、数据管理等层面的工作，推动抖音电商... 查看详情
数据治理（datagovernance）
数据治理（DataGovernance） 简单来讲，数据治理就是要约束输入，规范输出。根据DAMA(国际数据管理协会)的定义，数据治理(DataGovernance)是指对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)... 查看详情
数据治理知识体系学习笔记
数据治理涉及组织体系、标准体系、流程体系、评价体系、技术体系几方面的内容，主要包含：元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。元数据管理元数据管理主要涉及元数据分... 查看详情
数据仓库之数据质量建设（深度好文）(代码片段)
...f0c;而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的治理是什么？当... 查看详情
顺丰科技数据治理实践
导读：本文介绍顺丰科技在数据治理方面的实践。分享分为两个部分，第一部分总体介绍顺丰科技在整个数据治理过程中的心路历程：我们做了哪些工作，在数据治理各个领域，分别做了什么事情。第二部分... 查看详情
顺丰科技数据治理实践
导读：本文介绍顺丰科技在数据治理方面的实践。分享分为两个部分，第一部分总体介绍顺丰科技在整个数据治理过程中的心路历程：我们做了哪些工作，在数据治理各个领域，分别做了什么事情。第二部分... 查看详情
数据质量专项治理在政务大数据中的应用实践
根据我们的研究和实践，我们认为数据资产管理活动可以分为三个方面：第一是让数据用起来第二是让数据用得放心第三是让数据创造价值我们的政府部门，尤其是政府的大数据管理部门，在过去十几年中，... 查看详情
腾讯数据治理技术实践
... 随着公司业务方规模的增长，面对大量不同类型的数据，如何治理这些来源不同、数据量大的数据是一个值得思考的问题。本次分享结合腾讯内部数据管理方法，围绕数据治理技术实践，展开介绍腾讯在数据治... 查看详情
（数据质量管理）
...容结构三、主要内容1.引言2.活动3.工具4.方法5.实施指南6.数据质量与数据治理四、思考与总结一、前言本文是《DAMA数据管理知识体系指南》第13章的读书笔记，主要讲述数据质量相关的内容（之前数据治理-数据质量管理&... 查看详情