关键词：
简介：基于报告，ARMS 能快速的整合上下文，包括 Prometheus 监控进行监控。还有前端监控的相关数据，都会整合到报告里面，进行全方位检测来收敛相关问题。
作者：延福
在开始正式内容前，我想跟大家聊一聊为什么要做告警平台。
随着越来越多企业上云，会用到各种监控系统。这其中，用 Skywalking 做 tracing，Prometheus 做 matches，ES 或者云上日志服务，做日志相关监控，随便算算就至少有三套系统了，这其中还不包括云监控等云平台自身的监控平台。这么多监控平台如果没有统一配置告警的地方，就需要在每个系统中都维护一套联系人，这会是一个复杂的管理问题。与此同时，会非常难以形成上下文关联。比如，某一个接口出现问题，那可能云监控的拨测在报警，日志服务的日志也在报警，甚至 ARMS 应用监控也在报警。这些报警之间毫无关联，这是在云上做告警云很大的痛点。
其次无效告警非常多。什么叫无效告警？当业务系统出现严重故障时，关联系统也可能出现相关告警。而且关联告警会非常多，进而将关键信息淹没在告警海洋中，导致运维人员没办法及时对告警进行处理。最后，现在很多报警经常发生，但是没有人处理，就算有人处理了，但处理情况怎么样，关键性告警从发生到修复的时间到底有多长，每天有多少人在处理，企业的 MTTR 能不能算出来？这也是我们要做统一告警平台要解决的问题。
为了解决以上三个问题，ARMS 的智能告警平台应用而生。
首先，集成了众多监控系统包括 ARMS 本身的应用监控、云监控、日志服务等十几家监控系统，并提供开箱即用的智能降噪能力。同时，为了更高效的协作，整个协同的工作流都可以放在钉钉、企业微信等 IM 工具上，用户可以更加便捷的去处理和运维相关的告警。最后，提供告警分析大盘帮助用户来分析告警是不是每天都有人在处理，处理情况是什么样的。
告警要在脑海里形成抽象的概念，到底分成哪些步骤？
第一、从事件源产生告警事件，事件是告警发送之前的状态。事件并不会直接发送进来，它需要和告警的联系人匹配完成以后，才能生成告警流程。这张图简单的介绍了告警的过程。这也是很多同学用系统时候会经常出现的问题：配置了事件，却不知道怎么样产生告警。必须要事件加联系人才能产生告警。
第二、很多同学用的告警系统默认没有接入。我们也提供了灵活告警事件源的接入方式。可以按照自定义的接入方式，将事件传进来，我们来清洗字段，最后接入形成告警平台可以理解的告警。
工单系统举例，希望系统里产生很重要的事件也往告警平台去传时，可以把工单系统的报警事件通过 webhook 的方式发送到告警平台。识别并设置相关内容，再通过电话或短信方式通知到相应联系人。告警平台本质上是接受事件，把告警团队相关信息配到告警平台，帮用户把事件给这些团队的联系人进行匹配发送。
接下来，展示一下这部分能力是怎么实现的，在界面上是什么样的功能。
首先，打开 ARMS 控制台，拉到最下面告警管理模块。我们可以看到概览，其中包括大部分接入过程、事件处理流程等等。
现在已经用 ARMS 应用监控的用户,可以直接在其中先创建一个告警的规则。条件是应用响应时间，调用次数大于一次的时候，它就会产生一个事件。
如果是开源 Skywalking 或其他服务，需要到其中去把告警规则设好，把相应的事件传递过来。传递进来以后，在报警事件列表里面就能看到对应报警的事件了。
报警事件发送进来以后。首先会对告警事件进行降噪处理，识别告警目前最多关键词是什么样，哪些关键词高度重复，或者哪些内容是高度匹配的。同时，根据我们给出的关键词进行压缩。比如，不希望能收到来自于测试环境的告警，可以把“测试”这两个字作为屏蔽词，这样带“测试”相关屏蔽词的功能，告警事件就不会进行二次报警。
告警事件传递过来后，整个数据都会放在事件大池子里面。需要对这些事件进行分配，这个事件到底谁去接收他，谁来对这些事件做通知和排班管理。按照告警名称或者其他的字段等在告警里面预制的字段去匹配，对 Pod 状态的异常做匹配，那它会生成告警。
生成告警以后，可以在联系人里面去配置相关联系人，其中包括导入通讯录或配钉钉机器人等等。在通用策略里面，进一步配置，让用户配一个机器人或者真实的人去接受告警。也可以是对工单系统，比如 Jira 等平台里面去做对接，保证信息可以传递到他们那边。
配完通知策略以后，一旦产生告警，就可以收到相关的告警了。比较推荐您使用的是通过钉钉来接收相关的报警。
这里展示一下怎么样通过钉钉来接收相关的告警。比如，这是我们接收到钉钉相关告警。在接收到这个告警以后，对这条告警消息，只需有一个钉钉账号，不需要有理解这些相关信息，或者登录到系统，直接对这个告警进行认领。因为和钉钉系统深度集成，可以去认领告警，也可以在认领完以后点解决这条告警。
我们会把过程记录在活动里面。用户就会知道认领和关闭告警的整个过程。同时，每天会针对情况做统计，比如今天发生告警的数量，是否有处理，哪些没有处理，整体处理情况是怎么样的。如果团队比较大，有非常多运维同学，而且会有 L1 和 L2 分层运维同学的时候，可以使用排班功能进行线上排班。比如，这一周是某个同学接受告警，下一周是另外的同学。同时，也可以做升级策略的排班管理。重要告警在十分钟内没有人去做认领时，对重要告警做相应升级。
作为运维主管或运维总监，需要了解每天发生的这么多告警，经过一段时间后，它是不是有收敛或平均 MTTR 用了这些工具以后，有没有提升。我们提供了告警大盘，通过这个告警大盘可以了解到每天告警平均响应时间以及大家处理情况。MTTx 相关时间等统计数据会在这个大盘里面给用户进行展示，同时这个大盘是集成在 Grafana 上面，可根据实际需求，把相关数据放 Grafana 上，或者您的 Prometheus 数据源里面做二次的开发。
告警不仅是管理和收集的过程。很多时候虽然发现了告警。在告警处理过程中，阿里云是否可以提供一些建议参考。对此，我们也提供了相应功能来增强这一块的能力。
首先，基于类似应用监控的产品，提供一系列默认报警能力。一旦产生相关报警，我们会提供相关诊断能力。在如上图 20 多种场景下，会提供自动诊断报告。
举一个例子，应用的响应时间做突增，我们会生成一个直观的报表。在这个报表中，会告诉你当前突增的原因是什么。然后会整体的检测这个应用突增以后到底是哪些因素导致的。一般来说，这个诊断逻辑和普通的诊断逻辑是一样的。应用突增会去先检测一下多个主机是不是有突增，然后是不是接口有突增。这些接口如果它响应时间的数据特征是和整个应用一致，会在进一步分析这个接口里面到底又是哪些方法有突增，他传递的入参是什么，为什么有这样的突增？同时我们也会给出来一些特征请求告诉用户，慢的请求是怎样运行的。
以这个 version.json 接口为例，它是在对应的这个时刻，与应用有类似的突增。主要的核心方法就是这样一个方法，导致了接口缓慢。
同时我们结合当时打出来的堆栈可以再次确认，当时就是个 handler 方法导致了它的缓慢，那接下来我们就可以结合代码进一下进一步的优化了。
这就是 ARMS insight 针对常见问题深入分析的一个 case。基于报告，ARMS 能快速的整合上下文，包括 Prometheus 监控进行监控。还有前端监控的相关数据，都会整合到报告里面，进行全方位检测来收敛相关问题。
本文为阿里云原创内容，未经允许不得转载。
面对疾风吧，如何搭建高协同的精准告警体系？
简介：想要实现AiOps，智能告警少不了。Arms告警运维中心让面向告警的组织协同更加便捷高效！作者｜九辩世上没有一个系统是百分之百尽善尽美的。如果想要保证可用性，那么技术团队就得对服务的各种状... 查看详情
智能运维解决方案：toc-it技术运行中心
...对大数据分析计算场景，缺少的是数据汇聚、数据融合、告警关联分析、数据统一展现等。总结起来就是整个运维环境中缺少最具有价值的“连接者”角色。而TOC在整个的智能运维生态中扮演的就是数据连接者的角色。TOC.png面... 查看详情
prometheus告警处理(代码片段)
在PrometheusServer中定义告警规则以及产生告警，Alertmanager组件则用于处理这些由Prometheus产生的告警。Alertmanager即Prometheus体系中告警的统一处理中心。Prometheus告警简介告警能力在Prometheus的架构中被划分成两个独立的部分。如下所... 查看详情
直播回顾|告警全生命周期管理的思路与落地实践
...能设计和生态打造。本次主要和大家分享可观测领域内，告警事件管理系统的设计思路与落地实践。扫码查看直播回放（关注公众号获取PTT免费下载链接）企业告警管理面临的挑战在数字化转型过程中，很多企业已经建设了多套... 查看详情
案例|睿象云助力借贷宝运维效能倍速提升
...决方案睿象云在借贷宝运维团队中部署了自身研发的智能告警平台CloudAlert（以下简称CA平台），助力其更高效地完成运维工作。统一事件接入接口：CA平台能够接入十几种常见的监控工具，同时也支持通过API调用方式接入告警，... 查看详情
想要快速实现告警管理？来看这一篇就够了！
当下IT运维人员的一大问题，就是对于大量的告警难以进行精准的通知，以及无法在大批量的告警中快速的定位到问题的所在，再加上时不时出现的告警风暴，加大了告警处理的难度，这就需要一款完善的告警管理平台来针对告... 查看详情
运维告警管理——告警的灵活分派
当下IT运维人员的一大头疼事，便是复杂而凌乱的告警，无法将告警信息进行灵活分类，通知给不同的人，这样就加大了运维人员对告警信息的判断难度，进而无法快速的的定位到根因，也就无法快速的解决问题。睿象云智能告... 查看详情
运维告警管理——告警的灵活分派
当下IT运维人员的一大头疼事，便是复杂而凌乱的告警，无法将告警信息进行灵活分类，通知给不同的人，这样就加大了运维人员对告警信息的判断难度，进而无法快速的的定位到根因，也就无法快速的解决问题。睿象云智能告... 查看详情
通过可视化运维配置，实现故障秒级自愈
急促的告警铃声响彻寂静的夜晚。对运维人来说，晚间值守耗费更大的精力，往往一个简单的磁盘使用率告警通知，就不得不爬起来进行处理，毕竟告警无小事，对于小问题，运维人也不能心存侥幸心理。... 查看详情
运维监控一般告警方式有哪些？
...能时候盯着服务器，所以系统发生故障时候一般都会发出告警的，这样运维人员才能及时处理，保障服务器正常运行。那你知道运维告警方式有哪些？华汇数据DCOM监控平台涵盖了网络、服务器硬件、虚拟化平台、操作系统、数... 查看详情
datasophon——国产开源大数据管理运维平台
...富，基于生产实践展示用户最关心的监控指标灵活便捷的告警服务，可实现用户自定义告警组和告警指标可扩展性强，用户可通过配置的方式集成或升级大数据组件5、DataSophon架构图6、DataSophon架构简介集群分为三大部分：管理... 查看详情
运维告警管理——告警的灵活分派
当下IT运维人员的一大头疼事，便是复杂而凌乱的告警，无法将告警信息进行灵活分类，通知给不同的人，这样就加大了运维人员对告警信息的判断难度，进而无法快速的的定位到根因，也就无法快速的解决问题。睿象云智能告... 查看详情
运维告警管理——告警的灵活分派
当下IT运维人员的一大头疼事，便是复杂而凌乱的告警，无法将告警信息进行灵活分类，通知给不同的人，这样就加大了运维人员对告警信息的判断难度，进而无法快速的的定位到根因，也就无法快速的解决问题。睿象云智能告... 查看详情
告警监控系统的构建(代码片段)
[toc]告警监控系统开发一、需求分析[]需求：使用shell定制各种个性化告警工具，但需要统一化管理、规范化管理。[]思路：指定一个脚本包，包含主程序、子程序、配置文件、邮件引擎、输出日志等。[]主程序：作为整个脚本的... 查看详情
6.prometheus监控技术与实践---告警处理(代码片段)
第6章 告警处理 在prometheus监控体系中，指标的采集存储于告警是分开的。告警规则是在prometheusserver端定义的，告警规则被触发后，才会将信息发送给独立组件Alertmanager上，经过对告警的处理后，最终通过接... 查看详情
运维太难？说说故障自愈的那些事儿~
背景最近晚上23:00甚至是凌晨总收到告警通知：磁盘可用量低于20%，这个时候不得不爬起来处理告警。当然这里要提醒大家：对于小问题，运维也绝不要抱着侥幸的心理，因为只有痛过才知道。磁盘类告警只是我们诸多告警中的... 查看详情
运维工程师如何做好告警分析与汇报？
智能告警平台（CloudAlert） CA，能快速接入各类告警信息，通过自动去重、规则压缩、算法降噪，实现告警降噪，帮助IT运维团队减少告警，避免告警风暴；同时通过分派、排班、通知等功能，快速实现告警流程化管理，帮助... 查看详情
快速实现钉钉告警通知处理告警关闭告警
...公司第一手消息，从而有效的加快工作的效率。对于实现告警通知到钉钉群当中，目前部分主流监控系统可以通过编写代码的方式实现，但是通知的告警内容不够明显，导致寻找关键问题原因的时间过长，并且也无法判定告警是... 查看详情