关键词：
【中文标题】NFS v4 具有快速网络和平均 IOPS 磁盘。大文件传输时负载增加高【英文标题】：NFS v4 with fast network and average IOPS disk. Load increase high on large file transfer 【发布时间】：2015-12-04 11:51:08 【问题描述】：具有快速网络和平均 IOPS 磁盘的 NFS v4。大文件传输时负载增加高。 问题似乎是 IOPS。
测试用例：
/etc/exports
server# /mnt/exports 192.168.6.0/24(rw,sync,no_subtree_check,no_root_squash,fsid=0)
server# /mnt/exports/nfs 192.168.6.0/24(rw,sync,no_subtree_check,no_root_squash)
client# mount -t nfs 192.168.6.131:/nfs /mnt/nfstest -vvv
(or client# mount -t nfs 192.168.6.131:/nfs /mnt/nfstest -o nfsvers=4,tcp,port=2049,async -vvv)
它在带有“同步”标志的情况下运行良好，但传输器从 50MB/s 下降到 500kb/s
http://ubuntuforums.org/archive/index.php/t-1478413.html 该主题似乎通过将 wsize 减小到 wsize=300 来解决 - 小幅改进但不是解决方案。
使用 dd 进行简单测试：
client# dd if=/dev/zero bs=1M count=6000 |pv | dd of=/mnt/nfstest/delete_me
server# iotop
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1863 be/4 root 0.00 B/s 14.17 M/s 0.00 % 21.14 % [nfsd]
1864 be/4 root 0.00 B/s 7.42 M/s 0.00 % 17.39 % [nfsd]
1858 be/4 root 0.00 B/s 6.32 M/s 0.00 % 13.09 % [nfsd]
1861 be/4 root 0.00 B/s 13.26 M/s 0.00 % 12.03 % [nfsd]
server# dstat -r --top-io-adv --top-io --top-bio --aio -l -n -m
--io/total- -------most-expensive-i/o-process------- ----most-expensive---- ----most-expensive---- async ---load-avg--- -NET/total- ------memory-usage-----
read writ|process pid read write cpu| i/o process | block i/o process | #aio| 1m 5m 15m | recv send| used buff cach free
10.9 81.4 |init [2] 1 5526B 20k0.0%|init [2] 5526B 20k|nfsd 10B 407k| 0 |2.92 1.01 0.54| 0 0 |29.3M 78.9M 212M 4184k
1.00 1196 |sshd: root@pts/0 1943 1227B1264B 0%|sshd: root@1227B 1264B|nfsd 0 15M| 0 |2.92 1.01 0.54| 44M 319k|29.1M 78.9M 212M 4444k
0 1365 |sshd: root@pts/0 1943 485B 528B 0%|sshd: root@ 485B 528B|nfsd 0 16M| 0 |2.92 1.01 0.54| 51M 318k|29.5M 78.9M 212M 4708k
你知道在不改变配置的情况下限制负载的任何方法吗？
我确实考虑使用 Wondershaper 或 iptables 来限制网络速度，但这样做并不好，因为其他流量也会受到损害。
有人建议 cgroups - 可能值得解决 - 但它仍然不是我的“风水” - 我希望在 NFS 配置中找到解决方案 - 因为问题就在这里，很高兴能在一个地方-解决方案。
如果可以将“同步”速度提高到 10-20MB/s，那对我来说就足够了。
【问题讨论】：
【参考方案1】：我想我成功了：
在服务器上，更改磁盘调度程序：
for i in /sys/block/sd*/queue/scheduler ; do echo deadline > $i ; done
另外（小改进 - 为您找到最佳价值）：
/etc/default/nfs-kernel-server
# Number of servers to start up
-RPCNFSDCOUNT=8
+RPCNFSDCOUNT=2
重启服务
/etc/init.d/rpcbind restart
/etc/init.d/nfs-kernel-server restart
ps： 我当前的配置
服务器：
/etc/exports
/mnt/exports 192.168.6.0/24(rw,no_subtree_check,no_root_squash,fsid=0)
/mnt/exports/nfs 192.168.6.0/24(rw,no_subtree_check,no_root_squash)
客户：
/etc/fstab
192.168.6.131:/nfs /mnt/nfstest nfs rsize=32768,wsize=32768,tcp,port=2049 0 0
【讨论】：
[记录]fio测试磁盘iops性能
FIO测试磁盘iops性能 1.SATA和SAS盘原生IOPS如下： 2.RAID磁盘阵列对应的写惩罚级别： 3.计算功能性IOPS公式如下：功能性IOPS=(((总原生IOPS×写%))/(RAID惩罚))+(总原生IOPS×读%) 4.根据公式和测试磁盘(两块15000RPMSAS组成的RAID1)... 查看详情
磁盘io和网络io该如何评估监控性能定位和优化
磁盘IO和网络IO该如何评估、监控、性能定位和优化生产中经常遇到一些IO延时长导致的系统吞吐量下降、响应时间慢等问题，例如交换机故障、网线老化导致的丢包重传；存储阵列条带宽度不足、缓存不足、QoS限制、RAID级别设... 查看详情
nfs
1.nfs简介1.1nfs特点NFS（NetworkFileSystem）即网络文件系统，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样，也就是说客... 查看详情
prometheus常用指标
...秒读占用时间磁盘writeiops磁盘写带宽磁盘读每秒占用时间网络容器层面容器启动时间容器内存限制容器cpu限制容器磁盘读速度容器写带宽容器读iops容器写iops容器占用磁盘空间(不包括挂载)容器所有内存使用容器内存rss容器内存 查看详情
[yj]磁盘的iops和吞吐量(throught)指标
...ut/OutputPerSecond)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用... 查看详情
nfs网络文件系统介绍
NFS网络文件系统介绍什么是NFS系统？NFS是NetworkFileSystem的缩写，它的主要功能是通过网络让不同的机器系统之间可以彼此共享文件和目录。NFS服务器可以允许NFS客户端，将远端NFS服务器端的共享目录，挂载到本地NFS客户端中。（... 查看详情
磁盘i/o性能监控的指标
...块不连续数据的数据，该指标有重要参考作用。指标3：平均I/O数 查看详情
如何快速实现canopen网络的组建与配置
1.CANopen从站/主站特点 具有网络管理（NetworkManagement：简称NMT）主机功能的设备通常被称为CANopen主站设备，通常也具有服务数据（ServiceDateObject：简称SDO）客户端功能。反之具有网络管理（NMT）从机功能的设备通常被称为CAN... 查看详情
nfs(代码片段)
...的格式。4.nfs管理1.nfs简介1.1nfs特点●NFS(NetworkFileSystem)即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/P网络共享资源●在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务... 查看详情
nfs共享存储服务(代码片段)
NFS是NetworkFileSystem的简写,即网络文件系统,网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS.NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件。... 查看详情
nas网络存储
...阵列的所有主要特征：高容量、高效能、高可靠。1、NAS具有安装容易、快速的特点2、易于维护3、非常好的可扩展性4、具有更快的响应速度和更高的数据带宽5、对 查看详情
磁盘性能指标--iops与吞吐量(代码片段)
磁盘性能指标--IOPS---------------------------------------------------------- IOPS(Input/OutputPerSecond)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数... 查看详情
存储-nfs
...网络存储。 nfs本身只是一种文件系统（只具有文件管理的功能），并不具备网络功能。 所以nfs必须借助rpc进行网络通信。 大致的客户端和服务端的交互过程如下： NFS服 查看详情
linux,nfs服务,是啥啊
用处广泛吗，有更好的替代方式吗NFS（NetworkFileSystem）即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，... 查看详情
网络服务—nfs
... NFS是NetworkFileSystem的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程... 查看详情
文件服务之一：概述
...件服务器通常比一般的个人电脑拥有更大的存储容量，并具有一些其他的功能，如磁盘镜像、多个网络接口卡、热备援多电源供应器。到后来文件服务器逐渐进化成带有RAID存储子系统和其他高可用特性的高性能存储系统。ftp：... 查看详情
网络文件系统nfs的作用?
对Windows有何做作用? NFS是NetFileSystem的简写,即网络文件系统. 网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS.NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一... 查看详情
具有最小值/最大值的平均值和阴影的线图
】具有最小值/最大值的平均值和阴影的线图【英文标题】：Lineplotwithaverageandshadowformin/max【发布时间】：2014-10-0408:07:17【问题描述】：我在下面为此制作了一个快速示例数据框。基本上我想创建一个线图，平均值为一条线，该线... 查看详情