关键词：
目录
跑了几场面试，数据质量怎么监控是经常被问到的问题，仅次于自我介绍。
因为数据行业发展了几年，数仓大体都建设成型了，数仓建设的方法论大家总结的也都差不多了，现在大家都开始关心数据质量。
在大家心目中，一个合格的数仓要能产出及时、准确的数据，且对数据的质量有自检的过程，做到没问题，或先于别人发现问题。
所以数据质量监控是数仓建设的一个重要部分。
之前的工作中，我总结了一套数据质量监控方法论，在这记一下。
监控分为多个层次，从大到小说。
一、任务基线级别
凡是数仓ETL任务，都有上游和下游，就像B表必须依赖于A表产出，C表又依赖于B表产出。
所有的任务，按上下游的关系组织起来，会形成一个有向无环图，举个例子如下图：
假如E表非常重要（例如是线上服务表），需要对它进行基线级别的监控，把E表配置进基线监控任务后，E表的所有上游就都会进入基线的监控范围。
在上图中，
如果是E表配置基线，基线会同时监控根节点及ABCD表。
如果是D表配置基线，基线同时会监控根节点及AB表。
基线要监控什么呢？主要分为两个方面，所有任务运行时长及结果任务产出时间。
所有任务运行时长：假如A表每天的运行时长是1h，今天突然变成3h了，那么监控系统则会标志此 任务运行异常，会报警给基线负责人和任务负责人。
结果任务产出时间：如果和下游签订了SLA协议，规定E表每天7点前产出，那么如果E表今天6点30还没产出，基线直接预警给基线负责人和任务负责人，预警时间一般会比产出时间要提前一点，给检修任务留出时间。
二、任务级别 & 表级别
对于一个成熟的数仓来说，绝大多数情况下，表和ETL任务都是一一对应的。
上一点中，基线监控了一条任务流，监控强度是最大的，那么仅次于基线的就是单个任务的监控。
单个任务监控什么呢？主要三方面：任务运行时长、任务产出时间、表产出大小。
任务运行时长：某任务平时1h能运行完，今天突然变成3h，那么认为异常，告警给任务负责人。
任务产出时间：某任务平时7点产出，今天7点没产出，那么认为异常，告警给任务负责人。
表产出大小：某表平时每天产出大小1T，今天突然变成500G了，那么认为异常，告警给表负责人。
三、字段级别
任务定时产出，表大小也符合预期，那接下来，我们就要做更细致的监控了。
即字段级别的监控。
字段级别的监控一般通过DQC任务实现（ DQC = Data Quality Center，数据质量中心），可监控的内容细致也琐碎，我把字段监控分为两种类型，对指标字段的监控和对维度字段的监控。
1. 对指标字段的监控
对于指标字段，我们一般关心它的均值、最大、最小、中位数等。
指标字段，我们关心它的波动程度，一般来说，会把今天的指标与昨天（日）、近7天的平均值（周）、近30天的平均值（月）做比较，看波动率，波动率超过某个阈值，则告警给DQC任务配置的人（因为配置任务的人最关心这个指标数据的质量）。
2. 对维度字段的监控
维度字段，我们监控三个方面：维度覆盖率、维度占比、维度下指标的波动。
维度覆盖率：例如性别字段，男女，预期覆盖率90%，如果某天数据低于90%，则预警给DQC任务配置的人。
维度占比：例如男女对应的记录条数占比，如果今天男性40%、女性50%、未知10%，以往男性占60%、女性占30%、未知占10%（以往可能是昨天、7天平均、30天平均等）我们有理由怀疑数据质量有问题，预警给DQC任务配置的人。
维度下指标的波动：例如某应用（如微信）男女的平均使用时长，同样可与昨天、7天平均、30天平均作对比，有问题预警给DQC任务配置的人。
四、报表级别监控
报表级别监控一般是把上述的某些监控内容可视化，并广播给项目组所有的人，让大家更直观地看到数据的变化。
报表监控一般用趋势图，陡升陡降在趋势图中会非常明显地看到。
五、总结
总结一下，列个表：
————————————————
版权声明：本文为CSDN博主「疯狂的土豆1652」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_33310807/article/details/129016896
数据质量监控griffin——使用
一、环境生产环境数据质量监控griffin：地址：http://XXXXXXXXX:4200/#/health账号：admin密码：123456二、Griffin是干什么的？官方介绍大数据模块是大数据平台中数据方案的一个功能组件，Griffin（以下简称Griffin）是一个开源的大数据数据... 查看详情
对话抖音电商：量级庞大参差不齐，“数据质量治理”有妙招！
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 经过近年发展，抖音电商的体量和规模已经相当可观。基于数据驱动思路，在数仓建设、数据管理等层面的工作，推动抖音电商... 查看详情
griffin调研笔记---数据质量监控服务
...Apache孵化器。并于2018年毕业，称为Apache顶级项目。 数据质量模块是大数据平台中必不可少的一个功能组件，ApacheGriffin（以下简称Griffin）是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式... 查看详情
爱奇艺数据质量监控的探索和实践
本文主要介绍数据治理平台中的规则引擎模块，包括当前规则引擎面临的问题、目标、异常检测的方法以及对后续规则引擎功能的探索。01问题和目标：为什么要进行数据质量监控？数据质量监控其实跟当前疫情的防... 查看详情
爱奇艺数据质量监控的探索和实践
本文主要介绍数据治理平台中的规则引擎模块，包括当前规则引擎面临的问题、目标、异常检测的方法以及对后续规则引擎功能的探索。01问题和目标：为什么要进行数据质量监控？数据质量监控其实跟当前疫情的防... 查看详情
spark数据监控实战
转载请注明出处。更多文章请访问http://bigdataer.net1.概述数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力，所以一个好的数据监控系统或者... 查看详情
数据质量
参考技术A浅谈数据质量管理：为了更清醒的数据数据质量管理的一些思考大数据Clouder认证：使用MaxCompute进行数据质量核查度量的两个方面：1、设计质量度量数据资产目录数据标准数据模型数据分布2、执行质量度量完整性准确... 查看详情
数据质量监控griffin——打包方式安装部署(代码片段)
...sticSearch（5.0或更高版本）二、安装1、MySQL：在MySQL中创建数据库quartz，然后执行Init_quartz_mysql_innodb.sql脚本初始化表 查看详情
数据质量（dq）的建设方法论！离线实时通用
目录基础概念数据质量问题根源数据质量四个保障原则数据质量六大基本要素数据质量管理的方法数据分析的方面数据质量检核和监控数据质量的监控指标一般有哪些数据质量问题分析及报告基础概念什么是数据质量？按照... 查看详情
污染物在线自动监控(监测)系统数据传输标准(hj212-2017)-空气质量监测数据包构造
一、协议格式二、数据段标识按照“标准”构造大气六参（缺臭氧）和气象五参实时采样数据，外加噪声和TSPa21004-Rtd=112,a21004-Flag=N;//NO2二氧化氮a21005-Rtd=1.1,a21005-Flag=N;//CO一氧化碳a21026-Rtd=58,a21026-Flag=N;//SO2二氧化硫a34002-Rtd=2... 查看详情
腾讯wetest小程序异常监控：解决异常问题，为高质量用户体验护航
...企业经营矩阵中不可或缺的一环。阿拉丁研究院及小程序数据库相关数据显示，2022年H1微信、支付宝、抖音、快手等多个平台小程序数量超过750万，日活用户超过7.8亿。如何保障小程序上线前后的稳定、安全运行，已... 查看详情
数据质量管理工具预研——griffinvsdeequvsgreatexpectationsvsqualitis
开源数据质量管理工具预研——GriffinVSDeequVSGreatexpectationsVSQualitis。概述 数据质量监控（DQC）是最近很火的一个话题,也是数据治理中最重要的一环。有一句话说得好。数据质量未必是数据治理中最重要的一部分,但是数据质量... 查看详情
在 Javascript 中监控 WebRTC 视频（媒体）流质量
】在Javascript中监控WebRTC视频（媒体）流质量【英文标题】：MonitorWebRTCvideo(media)streamqualityinJavascript【发布时间】：2014-09-2200:20:23【问题描述】：我正在使用WebRTC在对等方之间流式传输视频，但某些客户端的网络条件变化通常会导... 查看详情
浅谈实时语音质量监控系统
今天小王学长跟大家谈谈实时语音质量监控系统的前世今生，实时语音想必大家都不陌生，微信语音聊天、视频直播，生活中的例子比比皆是。在过去的语音通信系统中，影响语音质量的因素有很多，包括但... 查看详情
10-28质量监控elk(代码片段)
质量监控平台ELK1.安装方法：ELK镜像https://store.docker.com/community/images/sebp/elk文档：https://elk-docker.readthedocs.io/方法1:dockerpullsebp/elk方法2:dockerpullregistry.docker-cn.com/sebp/elk2..启动elksysctl-wvm.max_ma 查看详情
实时语音质量监控
今天主要想介绍下，实时语音的质量到底是什么样的，大概介绍一下这个领域的一些已有的一些方法，然后会再介绍一下现有的方法，并且介绍一下未来想做的一些事情。语音质量评估方法首先，大概介绍一... 查看详情
smokeping--监控网络质量
搭建：http://www.cnblogs.com/binleelinux/p/5872067.html 过程中遇到的问题：1、配置文件中“+”后面的名字不能相同，否则会报错2、配置文件中修改了step和pings后要删除rrd文件再重启Smokeping服务（rrd文件的路径根据错误提示来找... 查看详情
前端质量之灰度监控的有效实践
...顾过去3年，前端故障总量并不算太大，但背后的数据反映出经济体前端的安全生产，特别是高可用这个子域，正处于一个相对比较低的水位：经济体故障监控发现率46.8%，但其中前端故障的监控发现率仅为... 查看详情