阿里p9架构师谈:高并发网站的监控系统选型比较核心监控指标

author author     2023-01-19     780

关键词:

技术分享图片
在高并发分布式环境下,对于访问量大的业务、接口等,需要及时的监控网站的健康程度,防止网站出现访问缓慢,甚至在特殊情况出现应用服务器雪崩等场景,在高并发场景下网站无法正常访问的情况,这些就会涉及到分布式监控系统,对于核心指标提前监控,防患于未然。

常见的开源监控系统

1.Zabbix

Zabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级开源运维平台,也是目前国内互联网用户中使用最广的监控软件。
技术分享图片

入门容易、上手简单、功能强大并且开源免费。

Zabbix易于管理和配置,能生成比较漂亮的数据图,其自动发 现功能大大减轻日常管理的工作量,丰富的数据采集方式和API接口可以让用户灵活进行数据采集,而分布式系统架构可以支持监控更多的设备。

2.Nagios

Nagios是一款开源的企业级监控系统,能够实现对系统CPU、磁盘、网络等方面参数的基本系统监控,以及 SMTP,POP3,HTTP,NNTP等各种基本的服务类型。另外通过安装插件和编写监控脚本,用户可以实现应用监控,并针对大量的监控主机和多个对象 部署层次化监控架构。

技术分享图片
Nagios最大的特点是其强大的管理中心,尽管其功能是监控服务和主机的,但Nagios自身并不包括这部分功能代码,所有的监控、告警功能都是由相关插件完成的。

3.开源监控工具比较
技术分享图片

4.建议首选Zabbix,免费开源监控首选,以下我主要以Zabbix为例,主要谈监控流程和核心监控指标。

Zabbix监控流程

Zabbix的监控流程可以简单描述为:

数据采集-->数据存储-->数据分析-->数据展示-->监控报警

数据采集:Zabbix通过SNMP、Agent、ICMP、SSH、IPMI等进行数据采集

数据存储:Zabbix存储在MySQL上,也可以存储在其他数据库

数据展示:web界面展示、(移动APP、java_php开发一个web界面也可以)

数据报警:邮件报警、微信报警、短信报警、报警升级机制

Zabbix的监控配置流程可以简单描述为:

告警是由一系列的流程组成,首先是触发器达到阀值,产生一个事件,接下来由Action对事件信息进行处理,其中包括两部分:

第一部分是发送消息,即将告警信息发送给用户。

第二部分是执行命令,即将事件用命令进行处理,达到对事件故障自动尝试恢复的效果。

Host groups(主机组)→Hosts(主机)→template(模板)→Applications(监控项组)→Items(监控项)→graph(图形) →screen (图形分组)→Triggers(触发器)→Event(事件)→Actions(处理动作)→Media types(告警升级|1.执行远程命令2.发送告警邮件)→User groups(用户组)→Users(用户)→Medias(告警邮件)

在实际生产使用的时候,Items、Trigger、Graph采用模板来进行监控,模板特点就是可以重复的事情一次完成,修改了模板等于修改了所有调用此模板的主机。

Zabbix监控功能

1.监控指标

主机的性能监控

网络设备性能监控

数据库性能监控

多种告警方式

详细的报表图表绘制

监控主机zabbix有专用的agent,可以监控Linux,Windows,FreeBSD等 。

监控网络设备zabbix通过SNMP,ssh(不多用)

2.可监控对象

设备:服务器,路由器,交换机

软件:OS,网络,应用程序

主机性能指标监控

故障监控: down机,服务不可用,主机不可达

3.基础监控数据

主要包括以下几个类别:

CPU

Load

内存

磁盘

IO

网络相关

内核参数

ss 统计输出

端口采集

核心服务的进程存活信息采集

关键业务进程资源消耗

NTP offset采集

DNS解析采集

对于这些基础监控选项全部理解透彻的时刻,也就是对Linux运行原理及命令进阶的时刻。

4.JVM监控

对于Java作为主要开发语言的大多数公司,对于JVM的监控不可或缺。

每个JVM应用的参数,比如:
技术分享图片

GC

类加载

JVM内存

进程

线程等

而这些参数的获得,都可以通过MxBeans实现。

5.mysql四大性能指标

查询吞吐量

查询执行性能

连接情况

缓冲池使用情况

6.业务应用监控

对于业务需要监控的接口,比如响应时间等。

以上就是分布式监控系统总结。
技术分享图片

微服务架构技术选型

...SpringCloud三、SpringCloudAlibaba四、定制开发 参考资料:阿里P8架构师谈:微服务Dubbo和SpringCloud架构设计、优劣势比较最新版Dubbo和SpringCloud生态对比SpringCloudAlibaba简介SpringCloudAlibaba新一代微服务解决方案SpringCloudAlibaba架构实战S 查看详情

阿里p9架构师讲解从单机至亿级流量大型网站系统架构的演进过程

阶段一、单机构建网站网站的初期,我们经常会在单机上跑我们所有的程序和软件。此时我们使用一个容器,如tomcat、jetty、jboos,然后直接使用JSP/servlet技术,或者使用一些开源的框架如maven+spring+struct+hibernate、maven+spring+springmvc... 查看详情

架构高可用高并发系统的设计原则

通过学习《亿级流量网站架构核心技术》及《linux就该这么学》学习笔记及自己的感悟:架构设计之高可用高并发系统设计原则,架构设计包括墨参考技术A通过学习《亿级流量网站架构核心技术》及《linux就该这么学》学习笔记... 查看详情

《亿级流量网站架构核心技术》---高并发

1、应用级缓存    1.1、缓存简介:          让数据 更接近 使用者;          目的让访问速度更快;          工作机制:从缓存读取数据,如果没有,再从慢速设备读取实际... 查看详情

springcloudalibaba分布式微服务高并发数据平台化(中台)思想+多租户saas企业开发架构技术选型和设计方案

...并发数据平台化(中台)思想+多租户saas设计的企业开发架构,支持源码二次开发、支持其他业务系统集成、集中式应用权限管理、支持拓展其他任意子项目。一、架构技术选型 核心框架   SpringBoot   SOA   SpringCloud   ... 查看详情

简谈9种高性能高可用高并发的技术架构

...能一次又一次地使用该方案而不必做重复工作。所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行等一系列问题与挑战。为此,在实践中提出了许多解决方案,以实现网站高性能、高可靠性、易伸... 查看详情

302|高并发架构设计方法:面对高并发,怎么对症下药?

你好,我是李智慧。我们知道,“高并发”是现在系统架构设计的核心关键词。一个架构师如果设计、开发的系统不支持高并发,那简直不好意思跟同行讨论。但事实上,在架构设计领域,高并发的历史非常短暂,这一架构特性... 查看详情

大型网站的架构设计问题----大型高并发高负载网站的系统架构

...擎前端平台开发,又在猫扑处理过大型社区猫扑大杂烩的架构升级等工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。一个小型... 查看详情

大型网站技术架构:核心原理与案例分析阅读笔记之二

网站架构模式   首先模式的关键在于模式的可重复性,问题和场景的可重复性带来解决方案的可重复使用。而网站架构模式是用来解决高并发访问,海量数据处理,高可靠运行等一系列问题与挑战的。 而且主要通... 查看详情

大型高并发高负载网站的系统架构

1.HTML静态化  使用信息发布系统实现最简单的信息录入自动生成静态页面,将网站的帖子、文章进行实时的静态化。  也可在一定的策略下进行定时静态化和定时判断调用。2.图片服务器分离3.数据库集群和库表散... 查看详情

说说大型高并发高负载网站的系统架构(转载)

...果,所有的页面均存放在一个目录下,这样的网站对系统架构、性能的要求都很简单,随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉... 查看详情

大型网站技术架构演化

...并发、大流量a.什么是高并发?高并发是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理多个请求。b.高并发的衡量指标有哪些?(1)响应时间:系统对请求做出响应。例如系统处... 查看详情

读《大型网站技术架构核心原理与案例分析》

读《大型网站技术架构核心原理与案例分析》1人们对于网站的期望是:高可用、高性能、易扩展、可伸缩且安全的网站。大型网站软件系统的特点:高并发,大流量看,高可用,海量数据,用户分布广泛,网络情况复杂,安全... 查看详情

《大型网站技术架构核心原理与案例分析》读书笔记

一、大型网站架构演化1、大型网站特点高并发,大流量高可用海量数据用户分布广泛,网络情况复杂安全环境恶劣需求快速变更,发布频繁渐进式发展2、大型网站架构发展历程文件服务器,数据库服务器,应用服务器分离应用... 查看详情

基于springcloudalibaba+mybatis分布式微服务高并发架构数据平台化(中台)思想+多租户saas企业开发架构技术选型和设计方案

...并发数据平台化(中台)思想+多租户saas设计的企业开发架构,支持源码二次开发、支持其他业务系统集成、集中式应用权限管理、支持拓展其他任意子项目。一、架构技术选型二、架构全景业务图 需要架构源码的朋友可以... 查看详情

扛住阿里双十一高并发流量,sentinel是怎么做到的?(代码片段)

Sentinel承接了阿里巴巴近10年的双十一大促流量的核心场景本文介绍阿里开源限流熔断方案Sentinel功能、原理、架构、快速入门以及相关框架比较基本介绍1名词解释服务限流:当系统资源不够,不足以应对大量请求,对系统按照... 查看详情

基于springcloudalibaba前后端分离架构分布式微服务高并发架构数据平台化(中台)思想+多租户saas企业开发架构技术选型和设计方案

...并发数据平台化(中台)思想+多租户saas设计的企业开发架构,支持源码二次开发、支持其他业务系统集成、集中式应用权限管理、支持拓展其他任意子项目。一、架构技术选型二、架构全景业务图 需要架构源码的朋友可以... 查看详情

做了两年java,这些高性能高可用高并发的技术架构你都知道吗?

...能一次又一次地使用该方案而不必做重复工作。所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行等一系列问题与挑战。为此,在实践中提出了许多解决方案,以实现网站高性能、高可靠性、易伸... 查看详情