磁盘性能指标--iops理论

zengkefu zengkefu     2022-07-30     311

关键词:

 

机械硬盘的连续读写性很好, 但随机读写性能很差。这是因为磁头移动至正确的磁道上需要时间,随机读写时,磁头不停的移动,时间都花在了磁头寻道上,所以性能不高。  如下图:
技术分享
在存储小文件(图片)、OLTP数据库应用时,随机读写性能(IOPS)是最重要指标。

学习它,有助于我们分析存储系统的性能互瓶颈。
下面我们来认识随机读写性能指标--IOPS(每秒的输入输出次数)。

 


磁盘性能指标--IOPS
----------------------------------------------------------
        IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。

    随机读写频繁的应用,如小文件存储(图片)、OLTP数据库、邮件服务器,关注随机读写性能,IOPS是关键衡量指标。

    顺序读写频繁的应用,传输大量连续数据,如电视台的视频编辑,视频点播VOD(Video On Demand),关注连续读写性能。数据吞吐量是关键衡量指标。

IOPS和数据吞吐量适用于不同的场合:
读取10000个1KB文件,用时10秒  Throught(吞吐量)=1MB/s ,IOPS=1000  追求IOPS
读取1个10MB文件,用时0.2秒  Throught(吞吐量)=50MB/s, IOPS=5  追求吞吐量

磁盘服务时间
--------------------------------------
传统磁盘本质上一种机械装置,如FC, SAS, SATA磁盘,转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间,即磁盘完成一个I/O请求所花费的时间,它由寻道时间、旋转延迟和数据传输时间三部分构成。

寻道时间 Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短,I/O操作越快,目前磁盘的平均寻道时间一般在3-15ms。
旋转延迟 Trotation是指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速,通常使用磁盘旋转一周所需时间的1/2表示。比如,7200 rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms,而转速为15000 rpm的磁盘其平均旋转延迟为2ms。
数据传输时间 Ttransfer是指完成传输所请求的数据所需要的时间,它取决于数据传输率,其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB/s,SATA II可达到300MB/s的接口数据传输率,数据传输时间通常远小于前两部分消耗时间。简单计算时可忽略。

 

常见磁盘平均物理寻道时间为:
7200转/分的STAT硬盘平均物理寻道时间是9ms
10000转/分的STAT硬盘平均物理寻道时间是6ms
15000转/分的SAS硬盘平均物理寻道时间是4ms

 

常见硬盘的旋转延迟时间为:

7200   rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms

10000 rpm的磁盘平均旋转延迟大约为60*1000/10000/2 = 3ms,

15000 rpm的磁盘其平均旋转延迟约为60*1000/15000/2 = 2ms。



最大IOPS的理论计算方法
--------------------------------------
IOPS = 1000 ms/ (寻道时间 + 旋转延迟)。可以忽略数据传输时间。

7200   rpm的磁盘 IOPS = 1000 / (9 + 4.17)  = 76 IOPS
10000 rpm的磁盘IOPS = 1000 / (6+ 3) = 111 IOPS
15000 rpm的磁盘IOPS = 1000 / (4 + 2) = 166 IOPS


影响测试的因素
-----------------------------------------
实际测量中,IOPS数值会受到很多因素的影响,包括I/O负载特征(读写比例,顺序和随机,工作线程数,队列深度,数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时,必须在同样的测试基准下进行,即便如此也会产生一定的随机不确定性。


队列深度说明 
NCQ、SCSI TCQ、PATA TCQ和SATA TCQ技术解析 
----------------------------------------
    是一种命令排序技术,一把喂给设备更多的IO请求,让电梯算法和设备有机会来安排合并以及内部并行处理,提高总体效率。
SCSI TCQ的队列深度支持256级
ATA TCQ的队列深度支持32级 (需要8M以上的缓存)
NCQ最高可以支持命令深度级数为32级,NCQ可以最多对32个命令指令进行排序。
    大多数的软件都是属于同步I/O软件,也就是说程序的一次I/O要等到上次I/O操作的完成后才进行,这样在硬盘中同时可能仅只有一个命令,也是无法发挥这个技术的优势,这时队列深度为1。
    随着Intel的超线程技术的普及和应用环境的多任务化,以及异步I/O软件的大量涌现。这项技术可以被应用到了,实际队列深度的增加代表着性能的提高。
在测试时,队列深度为1是主要指标,大多数时候都参考1就可以。实际运行时队列深度也一般不会超过4.


IOPS可细分为如下几个指标:
-----------------------------------------
数据量为n字节,队列深度为k时,随机读取的IOPS
数据量为n字节,队列深度为k时,随机写入的IOPS


IOPS的测试benchmark工具
------------------------------------------
         IOPS的测试benchmark工具主要有Iometer, IoZone, FIO等,可以综合用于测试磁盘在不同情形下的IOPS。对于应用系统,需要首先确定数据的负载特征,然后选择合理的IOPS指标进行测量和对比分析,据此选择合适的存储介质和软件系统。

[yj]磁盘的iops和吞吐量(throught)指标

...ut/OutputPerSecond)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。随机读写频繁的应用... 查看详情

[记录]fio测试磁盘iops性能

FIO测试磁盘iops性能 1.SATA和SAS盘原生IOPS如下: 2.RAID磁盘阵列对应的写惩罚级别: 3.计算功能性IOPS公式如下:功能性IOPS=(((总原生IOPS×写%))/(RAID惩罚))+(总原生IOPS×读%) 4.根据公式和测试磁盘(两块15000RPMSAS组成的RAID1)... 查看详情

磁盘i/o性能监控的指标

指标1:每秒I/O数(IOPS或tps)对于磁盘来说,一次磁盘的连续读或者连续写称为一次磁盘I/O,磁盘的IOPS就是每秒磁盘连续读次数和连续写次数之和。当传输小块不连续数据时,该指标有重要参考意义。指标2:吞吐量(Throughput)指... 查看详情

linux主机性能测试工具

...数点后的位数为3000,测试耗时越短则表明性能越好 磁盘性能IOPS和IO时延作为衡量磁盘性能的重要指标,理论上,IOPS越大越好,时延越低越好。FIO:libaio引擎测试 网络性能使用了Netperf网络性能测试工具 查看详情

linux主机性能测试工具

...,小数点后的位数为3000,测试耗时越短则表明性能越好磁盘性能IOPS和IO时延作为衡量磁盘性能的重要指标,理论上,IOPS越大越好,时延越低越好。FIO:libaio引擎测试网络性能使用了Netperf网络性能测试工具,使用UDP协议+小包,... 查看详情

磁盘性能压测二三事之——性能参数和指标

参考技术A摘要:本文就将通过对磁盘性能测试指标及参数的介绍,来理解以上两个原因为什么会对测试结果有影响。近日工作中遇到了一个磁盘压测时性能上不去的问题,经排查,发现原因有以下几个方面:1测试参数的选择2业... 查看详情

块存储性能(代码片段)

性能指标衡量块存储产品的性能指标主要包括:IOPS、吞吐量和访问时延。IOPSIOPS是Input/OutputOperationsperSecond,即每秒能处理的I/O个数,用于表示块存储处理读写(输出/输入)的能力。如果要部署事务密集型应用,典型场景比如数... 查看详情

硬盘iops与读写速度

...ut/OutputPerSecond)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。随机读写频繁的应用... 查看详情

磁盘iops计算与测量(代码片段)

...Input/OutputPerSecond)即每秒的输入输出量(读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。随机读写频繁的应用... 查看详情

linux磁盘i/o是怎么工作的(下)

掌握了磁盘I/O的工作原理,怎么才能衡量磁盘的I/O性能?一、磁盘性能指标​说到磁盘性能的衡量标准,必须要提到五个常见指标,也就是我们经常用到的,使用率、饱和度、IOPS、吞吐量以及响应时间等。这五个指标,是衡量... 查看详情

测试理论--性能测试相关概念及重要指标

----------------------------------------------------------------------------性能测试相关概念----------------------------------------------------------------------------性能测试:负载测试:压力测试:------------------------- 查看详情

prometheus常用指标

...pi的时候,要对参数进行urlencode 编码;各类指标:所有磁盘空间已经使用的磁盘空间根目录大小内存可用大小包含cache内存总量内存空闲notincludecachecpuutil磁盘读速度磁盘readiops磁盘每秒读占用时间磁盘writeiops磁盘写带宽磁盘读... 查看详情

mysql性能调优与诊断(代码片段)

...Second)每秒处理的I/O请求次数需要说明的一点,通常提到磁盘读写能力,比如形容它每秒读300M写200M这个说的是数据吞吐量(I/O能力的另一个关键指标),但是IOPS指的不是数据吞吐量,它指的是每秒能够处理的I/O请求次数。什么是... 查看详情

阿里无影云电脑磁盘性能测试

使用ASSSDBenchmark的IOPS测试可以看到iops4K写超过1000,基本上可以确定底层是SSD了,不像阿里云的服务器普通云盘还在使用机械硬盘做底层。4K随机写1Giops<1000机械硬盘iops>1000SSDiops>10000最近两年的SSD 查看详情

磁盘io和网络io该如何评估监控性能定位和优化

磁盘IO和网络IO该如何评估、监控、性能定位和优化生产中经常遇到一些IO延时长导致的系统吞吐量下降、响应时间慢等问题,例如交换机故障、网线老化导致的丢包重传;存储阵列条带宽度不足、缓存不足、QoS限制、RAID级别设... 查看详情

性能测试性能测试之性能测试指标详解(性能指标cpu内存负载磁盘)

...务器性能指标2.1CPU使用率2.2内存占用率2.3系统平均负载2.4磁盘IO2.5linux常用性能命令2.5.1CPU2.5.2内存2.5.3负载2.5.4磁盘2.5.5整体性能测试指标是衡量系统性能的评价标准,常用的系统性能测试指标包括 查看详情

监控持久卷性能

...ernetes中运行一个kafka集群,它在很大程度上依赖于适当的磁盘性能(IOPS、吞吐量等)。我正在使用Google的计算引擎磁盘+Googlekubernetes引擎。因此我知道我创建的磁盘有以下近似限制:IOPS(读/写):375/750吞吐量(以M 查看详情

性能测试基础理论知识(代码片段)

...是性能测试?系统在一定的压力情况下,查看cpu,内存,磁盘,网络带宽,TPS、响应时间、并发用户数、等各项指标,通过模拟生产运行的业务压力量和使用场景组合,测试系统的性能是否满足生产性能要求,就是在特定的运行... 查看详情