监控持久卷性能

     2023-02-16     217

关键词:

【中文标题】监控持久卷性能【英文标题】:Monitoring persistent volume performance 【发布时间】:2019-07-14 07:43:15 【问题描述】:

用例

我在 Kubernetes 中运行一个 kafka 集群,它在很大程度上依赖于适当的磁盘性能(IOPS、吞吐量等)。我正在使用 Google 的计算引擎磁盘 + Google kubernetes 引擎。因此我知道我创建的磁盘有以下近似限制:

IOPS(读/写):375 / 750 吞吐量(以 MB/s 为单位)(读/写):60 / 60

问题

尽管我知道大约 IOPS 和吞吐量限制,但我不知道我目前实际使用的是什么。我想用 prometheus + grafana 监控它,但我找不到任何可以导出持久卷的磁盘 io 统计信息的东西。我发现最好的是来自 kubelet 的磁盘空间统计信息:

kubelet_volume_stats_capacity_bytes
kubelet_volume_stats_available_bytes

问题

我必须监控(最好通过 prometheus)附加在 Kubernetes 中的我的 kafka 持久卷的磁盘 io 使用情况?

编辑:

我发现的另一个发现是使用 node-exporter 的 node_disk_io 指标:

rate(node_disk_io_time_seconds_total[5m]) * 100

不幸的是,结果不包含节点名,甚至不包含持久卷(声明)名称。相反,它有device(例如'sdb')和instance(例如'10.90.206.10')标签,它们是唯一可以让我以某种方式监控特定持久卷的标签。这些标签的缺点是它们是动态的,并且可以随着 pod 重启或类似情况而改变。

【问题讨论】:

【参考方案1】:

您应该能够使用 Stackdriver 获得您正在寻找的指标。检查新的Stackdriver Kubernetes Monitoring。

您可以使用此QWikiLab 来测试工具,而无需在您的环境中安装。

【讨论】:

【参考方案2】:

您可以使用Stackdriver monitoring查看实例的I/O磁盘。您可以使用 Cloud Console 并进入虚拟机实例--> 监控页面找到它。

【讨论】:

我可以在堆栈驱动程序监控中看到所需的图表,并且可以在 Grafana 中使用堆栈驱动程序,但是我找不到这些指标在堆栈驱动程序中的存储位置。因此我无法将它与 Grafana 一起使用。 GCP 定义的指标存储在我们的内部平台中。您可以将此文档 [cloud.google.com/blog/products/management-tools/… 用于 Grafana 或将此 [cloud.google.com/monitoring/kubernetes-engine/prometheus] 用于 Prometheus 用于 Stackdriver。

k8s基础学习-介绍持久卷和持久卷声明

在POD中使用PersistentVolume(持久卷,简称PV)要比使用常规的pod复杂一些。当集群用户需要在其pod中使用持久化存储时,他们首先创建持久卷声明(PersistentVolumeClaim,简称PVC)清单,指定所需要的最低容量要求和访问模式,用户将... 查看详情

服务性能监控指标

Apache性能监控支持以下指标:Apache吞吐率Apache并发连接数Apache并发连接数详细统计,包括读取请求、持久连接、发送响应内容、关闭连接、等待连接 Lighttpd性能监控支持以下指标:Lighttpd吞吐率Lighttpd并发连接数Lighttpd并发连... 查看详情

为啥匹配的持久卷不绑定到匹配的持久卷声明(使用 k3s)?

】为啥匹配的持久卷不绑定到匹配的持久卷声明(使用k3s)?【英文标题】:WhydoesamatchPersistentVolumenotbindtoamatchPersistentVolumeClaim(usingk3s)?为什么匹配的持久卷不绑定到匹配的持久卷声明(使用k3s)?【发布时间】:2021-05-0813:05:18... 查看详情

磁盘模式

...简卷。创建性能上:精简卷>普通延时置零>普通卷。持久化磁盘在虚拟机复位后,上面的修改数据会保存。但是非持久化磁盘在虚拟机复位后所有对磁盘的修改都回丢掉(例如在网吧或者呼叫中心的使用的场景)。磁盘配置... 查看详情

更新 K8 机密时更新 K8 存储类、持久卷和持久卷声明

】更新K8机密时更新K8存储类、持久卷和持久卷声明【英文标题】:UpdateK8storageclass,persistentvolume,andpersistentvolumeclaimwhenK8secretisupdated【发布时间】:2022-01-2319:33:45【问题描述】:我有一个K8集群,它的smb挂载驱动器连接到AWS存储网... 查看详情

如何识别持久卷声明中剩余的存储空间?

】如何识别持久卷声明中剩余的存储空间?【英文标题】:Howtoidentifythestoragespaceleftinapersistentvolumeclaim?【发布时间】:2019-04-1113:17:11【问题描述】:我在GoogleCloudPlatform上有一个Kubernetes集群。它具有容量为1GB的持久卷声明。持久... 查看详情

k8sk8s存储之持久卷(pv)持久卷声明(pvc)nfs持久化存储示例(代码片段)

一、pv与pvc01_区别持久卷(PersistentVolume,PV)是集群中的一块存储,可以由管理员事先供应,或者使用存储类(StorageClass)来动态供应。持久卷是集群资源,就像节点也是集群资源一样。PV持久卷和... 查看详情

k8sk8s存储之持久卷(pv)持久卷声明(pvc)nfs持久化存储示例(代码片段)

一、pv与pvc01_区别持久卷(PersistentVolume,PV)是集群中的一块存储,可以由管理员事先供应,或者使用存储类(StorageClass)来动态供应。持久卷是集群资源,就像节点也是集群资源一样。PV持久卷和... 查看详情

rancher添加nfs持久卷

参考技术ANFS目录配置vim/etc/exports添加持久卷部署nginx服务,并挂载nfs,在nfs服务器目录建立nginx/html 查看详情

无法使用持久卷启动 Redis 容器

】无法使用持久卷启动Redis容器【英文标题】:UnabletostartRediscontainerwithpersistencevolume【发布时间】:2018-11-1908:59:44【问题描述】:使用以下配置启动redis容器时:redis:image:redisports:-"6379:6379"volumes:-"/data:/data"deploy:placement:constraints:[no... 查看详情

如何声明 NFS 持久卷? [关闭]

】如何声明NFS持久卷?[关闭]【英文标题】:HowtoclaimanNFSpersistentvolume?[closed]【发布时间】:2021-06-0805:21:41【问题描述】:作为Kubernetes的初学者,我需要:创建部署要遵循的步骤指南,已声明nfspv。请提供每一步要应用的yaml文件... 查看详情

Openshift Container Storage - 将文件复制到持久卷

】OpenshiftContainerStorage-将文件复制到持久卷【英文标题】:OpenshiftContainerStorage-copyfiletopersistentvolume【发布时间】:2021-05-2923:02:21【问题描述】:我正在尝试将一些文件复制到一个持久卷中,该卷稍后将安装在一个pod上。在示例中... 查看详情

docker数据卷-docker容器数据持久化方式(代码片段)

...除时,我们所上传的文件就丢失了。这就造成了数据无法持久化的问题。那么数据卷是如何解决这个问题的呢?首先演示一下数据卷的使用方式:创建index.html文件,并写入helloDocker!root@ubuntu_server:/usr/local/docker/tomcat/ROOT#echohelloDo... 查看详情

mesos:数据库使用的持久化卷

...为很多不同的用户场景都提供了精妙的,考虑周全的API。持久化卷是由新的acceptOffersAPI引入的特性。持久化卷让用户可以为Mesos构建数据库框架,Mesos可以在任何不可预见的故障和错误发生并且影响整个系统时,使数据持久化。... 查看详情

如何将一个持久卷声明的数据与另一个隔离

】如何将一个持久卷声明的数据与另一个隔离【英文标题】:Howtoisolatedataofonepersistentvolumeclaimfromanother【发布时间】:2020-01-0714:30:38【问题描述】:我使用以下YAML创建了一个持久卷apiVersion:v1kind:PersistentVolumemetadata:name:dq-tools-volume... 查看详情

将主机路径用于具有限制的持久卷

】将主机路径用于具有限制的持久卷【英文标题】:Usinghostpathsforpersistentvolumeswithrestrictions【发布时间】:2019-01-0806:00:34【问题描述】:有什么方法可以配置k8s以便工作节点上预定义的主机路径仅适用于属于特定命名空间的pod,... 查看详情

为啥我的持久性卷声明处于待处理状态?

】为啥我的持久性卷声明处于待处理状态?【英文标题】:Whyismypersistentvolumeclaimpending?为什么我的持久性卷声明处于待处理状态?【发布时间】:2022-01-2110:23:50【问题描述】:我现在已经60分钟了,我的持久性音量要求仍在等待... 查看详情

Docker 持久卷没有权限(Apache Solr)

】Docker持久卷没有权限(ApacheSolr)【英文标题】:Dockerpersistedvolumhasnopermissions(ApacheSolr)【发布时间】:2021-01-0715:36:12【问题描述】:我的docker-compose.yml:solr:image:solr:8.6.2container_name:myproject-solrports:-"8983:8983"volumes:-./data/so 查看详情