关键词：

大家好，我是阿里云云原生应用平台的炎寻，很高兴能和大家一起在 Kubernetes 监控系列公开课上进行交流。本次公开课期望能够给大家在 Kubernetes 容器化环境中快速发现和定位问题带来新的解决思路。
 

为什么需要 Kubernetes 监控？

​
很多同学对应用性能监控应该并不陌生，这类监控主要关注业务应用逻辑、应用框架和语言运行时，监控对象有线程池满，数据库连接无法获取，MySQL， 内存溢出，还有各种调用链异常栈等。随着 Kubernetes 容器化技术带来的云原生技术演进，上层应用的开发和运维变得更加简单，但复杂度是恒定的，上层的复杂度降低必然伴随着底层的复杂度提升。如下图所示，复杂度逐渐转移到容器虚拟化层以及系统调用内核层对各种虚拟化技术的支持。每一层都可能出现问题，且这些问题会影响上层应用。比如容器虚拟化层的 Kubernetes 组件异常，如果调度器异常，Pod 将无法调度影响应用；比如文件系统相关的系统调用异常，上层应用无法读取文件，造成应用问题；比如内核异常，应用进程无法调度完成工作。
​

​
应用想要健康稳定的运行，需要的是软件栈端到端的健康稳定，虽然现在很多运维团队都搭建了应用监控和系统监控体系，但没有一个监控能够自顶向下、端到端的串联起来各层软件的行为，导致棘手的问题发生时，无从下手处理。在应用层，一个网络请求超时，在客户端和服务端看起来似乎都没有问题，但实际上是网络层包发送 RTT 过高，重传率过高，亦或是 DNS 解析慢，或者是 CNI 插件慢。如何在 Kubernetes 容器化环境下做到端到端的可观测性是Kubernetes 监控出现的意义。
​
Kubernetes 监控立足于应用监控之下的 Kubernetes 容器界面和底层操作系统。在容器虚拟化层，我们通过以下五个数据源获取观测数据，通过 Kubernetes 管控组件 exporter 来获取 Kubernetes 管控组件的观测数据；通过 cAdvisor 获取容器的资源观测数据；通过 kube-state-metrics 获取 Kubernetes 资源的状态数据，还有事件和 Kubernetes 资源的状态以及条件数据。在系统调用层，我们通过 Kprobe/tracepoints 等 Linux tracing 技术获取观测数据；在内核层，我们通过内核可观测模块获取观测数据，然后 Kubernetes 监控通过进程、容器、Kubernetes 资源和业务应用的关联关系向上关联打通应用性能监控，打造端到端的可观测性。所以 Kubernetes 监控是 Kubernetes 集群软件栈端到端可观测性的一体化解决方案，在 Kubernetes 监控中可以同时看到关联的所有层的观测数据。我们希望通过 Kubernetes 监控的一系列最佳实践，让大家能够使用 Kubernetes 监控解决 Kubernetes 环境下棘手的可观测问题。
​
我们也将从两个类型去讲解，第一类是发现问题，主要包含五类问题的发现：应用架构问题、性能问题、资源问题、调度问题和网络问题。第二类是定位问题，主要包含对以上五类发现的问题进行根因定位，并且提供修复建议。
​

​

探索应用架构，发现预期外的流量

​
Kubernetes 监控系列公开课第一节课的主题是“如何使用 Kubernetes 监控进行应用架构探索，发现预期外的流量”，包含以下三点内容：
​

• 背景介绍：应用架构探索的挑战；
• 典型场景：在哪些场景下，我们需要进行应用架构的探索；
• 最佳实践：介绍一种应用架构探索的模式，高效的发现定位问题。
  ​

  一、应用架构探索的挑战

  ​​
  （1）混沌的微服务架构
  在 Kubernetes 容器化环境里，微服务架构是最普遍的架构模式。在这种架构下，随着业务发展，一定会有越来越多的微服务，他们之间的关系也会越来越复杂。在复杂度不断增长的情况下，一些常见架构问题就变得困难，比如应用当前运行架构是怎样的，应用下游依赖服务是否正常，应用上游客户端流量是否正常，应用 DNS 解析是否正常，两个应用之间的连通性是否有问题等。因此，我们要进行应用架构探索，往往变得十分困难。
  ​
  （2）多语言
  在微服务架构里面，各个微服务通常可以使用不同编程语言，只要暴露出标准的服务即可。那么不同语言如何进行监控，是否有相同的埋点模式，是否对应语言有好用高效的埋点工具呢？代码侵入对性能有什么影响，是否埋点代码会影响业务运行呢？这是多语言场景下面临的观测难题。
  ​
  （3）多通信协议
  在微服务架构里面，各个微服务之间的通信可以使用不同通信协议，比如 HTTP、gRPC、Kafka、Dubbo 等，往往我们需要识别这些协议才能快速发现对应依赖服务的问题，但是识别协议意味着理解各个协议，在合适的地方需要进行埋点，不同通信协议如何统一埋点代码侵入，是否会影响业务性能，这是通信协议场景下面临的观测难题。
  ​

  二、典型场景

  ​
  （1）架构感知
  架构感知是根据真实的网络调用，将微服务作为节点，微服务之间的调用作为边，绘制出一张拓扑图。通过对比静态设计的期望架构，我们可以发现问题，比如是不是多了或少了某个微服务，微服务之间的关系是不是正确，通常在新应用上线、新地区开服、整体链路梳理等需要关注结构大图的场景使用。
  ​
  （2）架构异常发现
  架构异常发现是指通过自定义架构拓扑图中节点和边的异常规则显示对应的异常颜色，能够快速发现异常的节点和边，通常在整体链路梳理和健康巡检等关注节点和边状态的场景下使用。
  ​
  （3）关联分析
  通过异常发现定位到某个节点或者边异常之后，我们通常需要关联关系的切换，快速查看相关节点或者边的上下游以及对应的自身服务实例，一步一步缩小问题范围。
  ​

  三、最佳实践

  ​​
  以上三个典型场景构成了完整的实践流程：通过架构感知观测应用实际运行架构是否和预期一致，如果有结构性问题，需要进一步排查结构异常的服务，如果没有结构性问题，我们可以进行下一步。通过异常发现观测是否有颜色异常的节点和边，如果没有其异常节点和边就最好，否则我们进行下一步，定位到特定的节点和边之后，开始进行关联分析，先分析自身实例是不是有问题，再看上下游是不是有问题。
  ​
  Kubernetes 监控是如何支持最佳实践的呢？首先是Kubernetes监控集群拓扑的架构感知能力。Kubernetes 监控通过关联真实的网络请求绘制出了应用架构拓扑。当前提供 Service 和 Workload 两种视图，前者是 Service 之间的服务调用，后者是 Deployment 、Daemonset、Statefulset 之间的服务调用。
  ​
  进入拓扑图，默认对节点进行分组收敛，集群内按命名空间分组，集群外按服务类型进行分组。展开分组之后可以看到对应的节点和节点关系，点击节点可以看到选定时间范围内的性能指标聚合值和时序值，这些值会按网络协议进行划分，点击边可以看到选定时间范围内的性能指标聚合值和时序值，这些值会按网络协议进行划分，再配合节点过滤，比如查看两个特定命名空间的架构关系，以及节点查询，快速查看一个节点，可以很好的对架构进行探索。
  ​
  
  ​
  再看 Kubernetes 监控的异常发现能力，Kubernetes 监控通过三个维度的异常条件，将节点和边绘制成异常的黄或者红的颜色。具体来说，这三个维度是性能指标异常，比如说错误率大于 10%，平均响应时间大于 500 毫秒；第二，资源指标异常，比如 CPU 使用率大于 70%，内存使用率大于 70%；第三，K8S 管控状态异常，比如 POD 一直无法到达 ready 状态，在分组收起的状态下会显示节点分组的异常占比，展开分组可以看到特定的节点变得异常。通过该能力，我们可以快速发现特定的微服务或者微服务关系的异常。
  ​
  
  ​
  Kubernetes 监控还具备关联分析能力，支持查看特定节点的上下游，提供 3D 视图同时查看节点关联的上下游关系和自身的实力状态，可以在一张图进行所有关联数据的探索，极大提升问题定位的效率。
  ​
  
  ​

  四、Kubernetes 监控的产品价值

  ​​
  阿里云 Kubernetes 监控是一套针对 Kubernetes 集群开发的一站式可观测性产品，它会关联起 Kubernetes 名下的所有指标、链路、日志和事件。主要具备六大特性：
  ​

• 代码无侵入：阿里云 Kubernetes 监控通过旁路技术，不需要对代码进行埋点即可获取到丰富的网络性能数据。
• 语言无关：阿里云 Kubernetes 监控在内核层进行网络协议解析，支持任意语言、任意框架。
• 高性能：阿里云 Kubernetes 监控基于 eBPF 技术，能以极低的消耗获取丰富的网络性能数据。
• 资源关联：阿里云 Kubernetes 监控通过网络拓扑、资源拓扑展示相关资源的关联。
• 数据多样：阿里云 Kubernetes 监控支持可观测的各种类型数据（监控指标、链路、日志和事件），涵盖端到端的软件栈。
• 整体性：阿里云 Kubernetes 监控通过控制台的场景设计、关联起架构感知拓扑、应用监控、Prometheus 监控、云拨测、健康巡检、事件中心、日志服务和云服务。
  ​

那么 Kubernetes 监控、应用性能监控、Prometheus 监控有什么异同点呢？下图清晰的表达了这三者的关系和区别，应用性能监控主要关注应用逻辑，框架与编程语言，而 Kubernetes 监控关注的是系统网络和容器界面，同时会向上关联应用性能监控。Prometheus 监控是基础设施，Kubernetes 监控和应用性能监控的指标类数据将会存储在 Prometheus 监控中。
​

​
所以，想要快速解决 Kubernetes 监测问题，那就立刻开始试用吧！目前 Kubernetes 监测全面免费公测中，点击链接（https://www.aliyun.com/activity/middleware/container-monitoring?spm=5176.20960838.0.0.42b6305eAqJy2n）即可开通试用！也欢迎大家加入答疑交流群进行交流，我们下节课再见。
​

通过kubernetes监控探索应用架构，发现预期外的流量

简介：Kubernetes监控立足于应用监控之下的Kubernetes容器界面和底层操作系统，是Kubernetes集群软件栈端到端可观测性的一体化解决方案，在Kubernetes监控中可以同时看到关联的所有层的观测数据。我们希望通过Kubernetes监... 查看详情

01-kubernetes介绍，基础组件，原理，架构。

1.Kubernetes介绍：Kubernetes主要用于自动化部署，扩展和管理容器应用，提供资源调度，部署管理，服务发现，扩容缩容，监控等一整套功能。 2.Kubernetes主要功能：Kubernetes是开源容器集群管理系统，是基于Docker构建的调度服务... 查看详情

devops架构师--04kubernetes集群的日志及监控-更新版

文章目录第四天Kubernetes集群的日志及监控k8s日志收集架构使用节点级日志代理使用sidecar容器和日志代理方式一：sidecar容器将应用程序日志传送到自己的标准输出。方式二：sidecar容器运行一个日志代理，配置该日志代理以便从... 查看详情

kubernetes-整体概述和架构详解

一、Kubernetes是什么Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes... 查看详情

prometheus详解——prometheus原理与架构

...文本等进行动态配置；另一种是支持Zookeeper、Consul、Kubernetes等方式进行自动发现。以Kubernetes为例，Prometheus使用Kubernetes的API查询和监控容器信息的变化，并且动态的更新监控对象，容器的创建、删除等都可以被Pro... 查看详情

kubernetes编排工具(代码片段)

Kubernetes编排工具K8S是一种以容器未中心的基础架构,提供集群内：容器部署、容器扩展、容器管理的开源平台Kubernetes是一个以容器为中心的基础架构,可以实现在物理集群或虚拟机集群上调度和允许容器,提供容器自动部署、扩展... 查看详情

kubernetes相关组件监控指标采集

 线上部署了kuberneter集群环境，需要在zabbix上对相关组件运行情况进行监控。kuberneter组件监控指标分为固定指标数据采集和动态指标数据采集。其中，固定指标数据在终端命令行可以通过metrics接口获取,在zabbix里"自动发现"；... 查看详情

使用 VisualVM 通过 Kubernetes 集群后面的 JMX 监控 dockerised Spring Boot 应用程序内部

】使用VisualVM通过Kubernetes集群后面的JMX监控dockerisedSpringBoot应用程序内部【英文标题】：MonitordockerisedSpringBootapplicationinternalsviaJMXbehindaKubernetesclusterwithVisualVM【发布时间】：2020-10-0315:18:16【问题描述】：我想在Docker中为我的SpringBo... 查看详情

系统架构面临的三大挑战，看kubernetes监控如何解决？

简介： 随着Kubernetes的不断实践落地，我们经常会遇到负载均衡、集群调度、水平扩展等问题。归根到底，这些问题背后都暴露出流量分布不均的问题。那么，我们该如何发现资源使用，解决流量分布不均问... 查看详情

系统架构面临的三大挑战，看kubernetes监控如何解决？

简介：随着Kubernetes的不断实践落地，我们经常会遇到负载均衡、集群调度、水平扩展等问题。归根到底，这些问题背后都暴露出流量分布不均的问题。那么，我们该如何发现资源使用，解决流量分布不均问题... 查看详情

024.微服务之服务注册与发现（基于kubernetes/springcloud）

微服务　　微服务是一种架构模式，一种分布式的架构风格。　　顾名思义，microservice，将一个庞大的单体应用拆分成若干个“微小”的服务，服务间通过进程通讯完成原本在单体应用中的调用。　　其中必要的六个基本... 查看详情

资深架构师分享：1天落地的kubernetes容器化方案

参考技术AKubernetes是趋势Kubernetes是一个全新的基于容器技术的分布式架构领先方案。Kubernetes(k8s)是Google开源的容器集群管理系统（谷歌内部:Borg）。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动... 查看详情

kubernetes从中心走向边缘

参考技术A1.Kubernetes从中心走向边缘Kubernetes是以应用为中心的技术架构与思想理念，以一套技术体系支持任意负载，运行于任意基础设施之上；向下屏蔽基础设施差异，实现底层基础资源统一调度及编排；向上通过容器镜像标准... 查看详情

云原生时代，微服务到底应该怎么玩儿？

...能让其他语言体系的开发者们羡慕不已。在云原生时代，Kubernetes快速普及，除了解决微服务所需要的应用编排、伸缩、保活等功能外，Kubernetes里本身还带了服务发现、配置管理、负载均衡和网关。既然这样，那么是否就可以不... 查看详情

kubernetes在生产环境中常用架构

Kubernetes在生产环境中常用架构首先，我们来梳理下Kubernetes生产架构，其设计适用于绝大多数环境。如下图所示 在该架构中，我们可以将其分为四层，如下：Client层：即Kubernetes集群外部用户、客户端等；服务访问层：即由Tra... 查看详情

携程框架团队对于应用监控系统的探索与思考

...weixin.qq.com/s/I6KDloBiQOfqWthDckKbGg干货|携程框架团队对于应用监控系统的探索与思考原创： 鄞劭涵 携程技术中心 昨天  作者简介鄞劭涵，携程框架架构研发部高级软件工程师，爱丁堡大学高性能计算专业硕士。目... 查看详情

微服务架构&servicemesh(代码片段)

...微服务架构实施服务治理的方法和技术：容器化：Docker+Kubernetes服务注册发现：ZooKeeper、Consul、Etcd负载均衡：HAProxy、Nginx、AmazonELBAPI网关：Kong、ShenYu,中大厂一般自研监控和日志：ELKStack、Prometheus、Grafana分布式跟踪：SkyWalking、Ja... 查看详情

kubernetes如何比较浅显的描述kubernetes的架构

文章目录Kubernetes如何比较浅显的描述Kubernetes的架构1、通过一个例子来理解2、获取状态和配置Kubernetes如何比较浅显的描述Kubernetes的架构1、通过一个例子来理解我们部署一个应用，并设置--replicas=2，在这个过程中࿰... 查看详情