关于监控系统的一些想法心得

congshen congshen     2022-09-17     601

关键词:

我这篇文章[http://blog.csdn.net/u014654002/article/details/54345381]里写过的kairosdb,那是我开始接触监控系统的第一步,它帮助我了解了时序数据库在监控端的优秀表现。
kairosdb算是相当优秀的监控系统存储后端,并且支持使用grafana(一款可视化效果极佳的数据可视化软件)作为数据展示端。同时也支持使用Tcollector(openTSDB专用的数据采集工具,集成了大量的数据采集脚本,覆盖面很广泛)作为数据采集端,并且在我学习kairosdb的过程中,发现其api很清晰,适合配合各种插件进行二次开发。
如果仅仅是做数据展示,那么kairosdb无疑是很合适的,但是监控系统往往还需要对监控的数据做告警监控,这样才是一个完整的监控系统,而在当时我学习kairosdb的过程中,没有发现有合适的插件能完成这样一个功能,自己去写的话无疑会耗费很长的时间。grafana自身也带有一些告警功能,但是功能很单一,配置起来也不方便,所以也放弃了这个方法。

后来想到可以使用与kairosdb很相似的时序数据库OpenTSDB,因为OpenTSDB的实际存储是HBase,可以使用大数据的一些插件完成数据计算从而实现报警。使用OpenTSDB,因为之前没有接触过大数据相关的东西,所以Hbase的部署、配置给我带来不少问题。最后使用OpenTSDB的过程中,发现grafana对OpenTSDB的支持和对接更友好,使用起来很方便,Tcollector更不用说了,这个采集器本身就是为OpenTSDB写的。所以数据展示这部分实现起来很高效。
在使用OpenTSDB实现报警功能的阶段,发现并没有像想象中那么简单···
最后是找到了open-falcon来实现我们监控系统的报警功能。open-falcon是近两年出现的监控系统,其发展势头和功能、架构都很不错,并且其支持使用 OpenTSDB作为存储后端,这样使得我们前面做的事情都没有白费。我们数据展示端使用原来的Tcollector+OpenTSDB+grafana的形式,本来是想直接使用Tcollector将数据发到open-falcon的数据转接组件transfer中,但是open-falcon只允许其他插件将数据传给Falcon-agent,再由agent传给transfer,所以我们Tcollector需要修改传输协议,是的数据格式与agent端对应。
最后形成的结果是Tcollector+agent+OpenTSDB+(grafana、open-falcon),从而构成整个监控系统。
而使用Tcollector+agent两个采集端,会显得结果有点冗余,这个只能后面再进行优化。
就目前部署的情况来看,这个系统架构基本能实现对系统、机器、数据库服务等的监控。但是由于监控需求的不同,需要花费一定的时间去修改Tcollector采集器,需要花费时间去制作grafana的Dashboard。
grafana毕竟是模板化的工具,在使用上比之自行开发会存在一些限制,但胜在部署方便、快速,也基本能满足需求。

关于秒杀系统的一些想法

关于秒杀系统      在学习过程中,经常遇到关于秒杀系统的文章,但查阅各种资料,总觉得没一篇文章能完整的讲解秒杀系统是如何实现的。      秒杀功能常见,但完整的秒杀系统却... 查看详情

一些关于slg手游的想法

目前,市面上RPG手游产品已处于成熟的阶段,不管是游戏中的战斗模块还是其他玩法,在RPG手游中变化不大,因而同质化现象比较严重。相比之下,SLG手游还处于成长阶段,各个方面都还有很大的提升空间,比如战报式的战斗系... 查看详情

关于新光源束测工作的一些想法

...仅仅自己一枝独秀,不管有意还是无意,更是大忌。在“关于新光源建设的一些想法”中,我粗略的把束测系统需掌握的技能分了下类:加速器束测理论及公式推导探测器结构设计和理论分析电磁场计算光路设计和计算嵌入式系... 查看详情

关于程序可维护性的一些想法

SAP系统作为企业的信息系统,其生命周期通常是漫长的,比单个程序员的在职时间要长得多。早期实施阶段花大力气开发的自定义程序,通常会托付给企业内部或外部的运维团队来维护——不管怎么样,一般不是最初的开... 查看详情

01_关于car_hmi2的一些想法

...帮助,如果觉得不错,请点赞搜藏哈。文章目录关于CAR_HMI2的一些想法1历史版本2新版构想3写在最后的话关于CAR_HMI2的一些想法哈哈这篇文章将是我《CAR_HMI2》的第一篇文章。将简单和大家交代一下关于这个新坑的一下想... 查看详情

关于新光源建设的一些想法

一些建议:对大批量使用的设备、模块、器件、材料以及基础软件架构等不要对进口产生依赖,尽可能选用国产,助力产业,方案公开评价提意见,要让我们做的每个系统拿出去都可以当个标杆推广才好,依赖进口的部分是硬伤... 查看详情

关于spring源码的一些心得

   总结:通过前面的一些认识,可以大致认为,ioc容器就是获取一些需要使用的对象如pojo等的引用,相当于new而ioc容器的作用也就是用于此处,用于获取或者读取对象实例,它的含义是经过继承或者实现接口后,来获... 查看详情

关于自制的思维导图的一些想法

先看图再啰嗦:花了不少时间去弄。     很久以来就想弄一个能够快速实现自己想法的逻辑分析系统结构软件。相信很多人都在不得已的情况下,采用什么Excel、Word,或者其他类型的思维导图之类的玩意。其实... 查看详情

关于元类的一些使用心得

作廖老师的Python实战作业时,对元类这个魔法方法有些小心得。元类这个黑魔法和linux中root都是bug般的存在,不想纠缠概念性东西,试着从Python解释器的角度分析下元类的执行过程。其实,元类的主要作用尽在这三句话中:1.拦... 查看详情

关于代码的一些心得体会(大神勿喷)

关于代码的一些心得体会 前 言Lms   入行也有很久了,一直都只是忙着工作学习,却一直没能好好静下心来好好整理一下自己。时间久了,慢慢的代码越来越熟悉,敲起来也越来越顺手,自己缺总感觉有些不对。我总... 查看详情

关于测绘类软件的学习心得

关于测绘工程所学要的计算机辅助软件需求还较为多,在两年多的学习中我们所使用的软件有Cass,MATLAB,mapinfo,科傻平差,一系列的有关的软件,其中我对mapinfo这个软件有一些浅见的看法,希望在以后的想学习过程中我能够更... 查看详情

关于卷积的一些理解

    信号与系统课程中的一个比较核心的思想就是把信号分解成为由很多移位的单位脉冲信号的线性累积,在根据一个单位脉冲通过LTI系统的响应,计算出输入信号对于的输出。这样的一个好处在于,对于所有的LTI系统... 查看详情

关于整屏滚动的一些想法

一,其中元素的尺寸大小    html结构:        <html>            <body>                <ul>                    <li></li>      ... 查看详情

建议我一些关于使用反应点符号的文本输入的想法

】建议我一些关于使用反应点符号的文本输入的想法【英文标题】:SuggestmesomeideasonTextinputusingreactdotnotation【发布时间】:2021-05-2523:53:10【问题描述】:如何使用reactdotnotation编写文本输入组件?例如。我想在功能组件中这样访问... 查看详情

我需要一些关于 SRT 字幕文本处理的想法

】我需要一些关于SRT字幕文本处理的想法【英文标题】:IneedsomeideaontextprocessingforSRTsubtitles【发布时间】:2020-01-1308:58:26【问题描述】:标题说明了我真正需要的ATM。基本上我已经创建了一个基于Tesseract和ImageMagick的OCR工具链。... 查看详情

关于敏捷开发的一些想法

  一、积极。不用等待别人分配任务,在划分任务卡后,按个人实际能力及想法来领取任务,把个人主观能动性发挥至最强。虽然不可避免某些人偷奸耍滑,打鱼晒网,但至少最大程度上的避免了任务超出能力范畴而导致项目... 查看详情

关于软件开发的一些想法

一、自己的想法1.软件开发是在创造新的事物,目标是使生活更美好,时刻抱有敬畏之心,从设计、编码、测试、上线和后期维护整个过程要十二分谨慎,保证做的东西符合设计预期,没有bug,安全可控。 2.软件开发前期的... 查看详情

关于场景服务的一些想法

最近由于遇到一些问题,老大们决定把场景显示相关的代码拆分出来用一个独立的线程去做(大概是实现一个独立的场景服务吧),感觉这样挺好的,毕竟这部分功能本来就较为独立。我对这部分内容还挺感兴趣的,思考了一下... 查看详情