关于AIX挂载NFS写入效率低效的解决方法

 更新时间:2018年11月02日 10:10:33   作者:AlfredZhao  
这篇文章主要给大家介绍了关于AIX挂载NFS写入效率低效的解决方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

NFS提供的服务

Mount: 通过在服务端启用/usr/sbin/rpc.mountd伺服进程,在客户端使用mount命令,mounted伺服进程是一个RPC来回应客户端的请求

Remote File access:通过在服务端启用/usr/sbin/nfsd和在客户端启用/usr/sbin/biod,来出来客户端对文件的请求。但客户端一个用户要来读或写一个在服务器端的文件时,biod伺服进程发送这个请求到服务端。

Boot parameters: 通过在服务端启用/usr/sbin/rpc.bootparamd伺服进程来提供无盘SunOS客户端的启动参数。

PC authentication: 通过在服务端启动/usr/sbin/rpc.pcnfsd来提供PC-NFS的用户认证服务

一个NFS服务是无状态的(stateless),也就是说,NFS的传输是原子级的,一个单一的NFS传输对应了一个单一完整的文件操作。

背景:

Linux是NFS的Server端,AIX是NFS的Client端(此外,有一个Linux也作为Client端对比测试)。

1.NFS对应的底层设备是闪存卡,本地测试I/O写性能可达2GB/s;

2.服务器是千兆网卡,FTP测试传输可达到100MB/s;

3.AIX成功挂载NFS,dd测试写入速度只有10MB/s;

4.Linux成功挂载NFS,同样dd测试写入速度可达到100MB/s;

说明:以上速度主要是体现数量级的差异,实际测试会有少许偏差。

具体环境:

  • NFS Server:RHEL 6.8
  • NFS Client:AIX 6.1、RHEL 6.8

挂载参数均依据MOS文档配置:

Mount Options for Oracle files for RAC databases and Clusterware when used with NFS on NAS devices (文档 ID 359515.1)

根据本次实际需求,提炼一下需要配置的参数:

--MOS建议(AIX):
cio,rw,bg,hard,nointr,rsize=32768,
wsize=32768,proto=tcp,noac,
vers=3,timeo=600

--MOS建议(Linux):
rw,bg,hard,nointr,rsize=32768,
wsize=32768,tcp,actimeo=0,
vers=3,timeo=600

AIX NFS的挂载参数:

mount -o cio,rw,bg,hard,nointr,rsize=32768,wsize=32768,proto=tcp,noac,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts

直接挂载提示如下错误:

# mount -o cio,rw,bg,hard,nointr,rsize=32768,wsize=32768,proto=tcp,noac,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts
mount: 1831-008 giving up on:
10.xx.xx.212:/xtts
vmount: Operation not permitted.

查资料确认AIX需要额外设置网络参数:

# nfso -p -o nfs_use_reserved_ports=1

再次尝试挂载成功:

mount -o cio,rw,bg,hard,nointr,rsize=32768,wsize=32768,proto=tcp,noac,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts

可dd测试的速度非常不理想,只有10MB/s:

--test performance; AIX NFS
# time dd if=/dev/zero of=/xtts/test-write bs=8192 count=102400
102400+0 records in.
102400+0 records out.

real 0m43.20s
user 0m0.79s
sys  0m5.28s
# time dd if=/xtts/test-write of=/dev/null bs=8192 count=102400
102400+0 records in.
102400+0 records out.

real 0m30.86s
user 0m0.84s
sys  0m5.88s

所有参数都是根据实际需求,按照MOS的建议设置的。有什么问题吗?

  • 尝试去掉cio参数测试,发现结果几乎没变化;
  • 尝试去掉hard参数测试,发现结果几乎没变化;
  • 尝试协议从tcp改为udp测试,发现结果几乎没变化;

几乎能试的参数都试了,结果都不理想,马上都准备协调资源找主机工程师定位了。

此时,灵感乍现,突然想到一个可能性。有没有可能AIX上的NFS限制了单个进程的I/O吞吐能力?带着这个猜测,进行并行测试:

开5个窗口同时开始dd:

time dd if=/dev/zero of=/xtts/test-write1 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write2 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write3 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write4 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write5 bs=8192 count=102400

惊喜的发现5个窗口都在55s同时完成,这相当于800M*5=4000M,都在55s完成,每秒达到72MB/s,通过这种并行的方式已满足提升效率的需求。

而且看起来只要继续尝试多开窗口测试,基本也能达到网络上限100MB/s(千兆网卡限制)。

附:测试同样的NFS挂载到另一台Linux服务器上,无需并行,dd写入速度就可达100MB/s,这也是之前影响自己思考的因素。
Linux NFS的挂载参数:

# mount -o rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,actimeo=0,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts

Linux NFS的测试结果:

--test performance; Linux NFS
# dd if=/dev/zero of=/xtts/test-write bs=8192 count=102400
102400+0 records in
102400+0 records out
838860800 bytes (839 MB) copied, 6.02451 s, 139 MB/s
# dd if=/xtts/test-write of=/dev/null bs=8192 count=102400
102400+0 records in
102400+0 records out
838860800 bytes (839 MB) copied, 8.55925 s, 98.0 MB/s

对AIX不熟悉,没有进一步深究底层原理。开始解决问题过程中的主要困惑在于,为何Linux作为client时,无需并行就可以dd测试达到100MB/s的速度,使自己陷入了固有思维中。从这件事情得到的思考是:有些时候,要跳出常规思维去思考方可有所突破。

最后把NFS Server端本地测试的结果也贴出来,感叹下闪存卡的I/O能力:

# dd if=/dev/zero of=/dev/test-write2 bs=8192 count=1024000
1024000+0 records in
1024000+0 records out
8388608000 bytes (8.4 GB) copied, 4.19912 s, 2.0 GB/s

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

相关文章

  • 解决Centos7下crontab+shell脚本定期自动删除文件问题

    解决Centos7下crontab+shell脚本定期自动删除文件问题

    小编最近遇到这样的需求,就是rsync每次同步的数据量很多,但是需要保留的数据库bak文件,保留7天就够了,所以需要自动清理文件夹内的bak文件。这篇文章主要介绍了解决Centos7下crontab+shell脚本定期自动删除文件问题,需要的朋友可以参考下
    2018-11-11
  • Apache Shiro 使用手册(二) Shiro 认证

    Apache Shiro 使用手册(二) Shiro 认证

    认证就是验证用户身份的过程。在认证过程中,用户需要提交实体信息(Principals)和凭据信息(Credentials)以检验用户是否合法。最常见的“实体/凭证”组合便是“用户名/密码”组合
    2014-06-06
  • Linux mysql-5.6如何实现重置root密码

    Linux mysql-5.6如何实现重置root密码

    这篇文章主要介绍了Linux mysql-5.6如何实现重置root密码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • Linux (Ubuntu)休眠,挂起,待机,关机的命令详细介绍

    Linux (Ubuntu)休眠,挂起,待机,关机的命令详细介绍

    这篇文章主要介绍了Linux 休眠,挂起,待机,关机的命令详细介绍的相关资料,需要的朋友可以参考下
    2016-10-10
  • CentOS添加和删除用户以及用户组的方法

    CentOS添加和删除用户以及用户组的方法

    本篇文章主要介绍了CentOS添加和删除用户以及用户组的方法,具有一定的参考价值,有兴趣的可以了解一下
    2017-09-09
  • Linux Apache+Proftpd构建虚拟主机时要注意的几个安全问题

    Linux Apache+Proftpd构建虚拟主机时要注意的几个安全问题

    Linux下Apache+Proftpd构建虚拟主机时要注意的几个安全问题,大家可以参考下,有其它未完整的地方,大家可以补充下。
    2009-08-08
  • Centos 7.2中双网卡绑定及相关问题踩坑记录

    Centos 7.2中双网卡绑定及相关问题踩坑记录

    最近在工作中遇到了关于双网卡绑定的需求,在绑定中发现了不少的问题,所以这篇文章主要给大家介绍了关于Centos 7.2中双网卡绑定及相关问题踩坑的相关资料,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-10-10
  • ubantu 16.4下Hadoop完全分布式搭建实战教程

    ubantu 16.4下Hadoop完全分布式搭建实战教程

    这篇文章主要给大家介绍了关于在ubantu 16.4下Hadoop完全分布式搭建的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-10-10
  • linux使用lsof命令查看文件打开情况

    linux使用lsof命令查看文件打开情况

    这篇文章主要给大家介绍了关于在linux中利用lsof命令如何查看文件打开情况的相关资料,文中通过示例代码以及图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-03-03
  • linux安装php7的方法详解

    linux安装php7的方法详解

    在本篇文章里小编给大家整理了一篇关于linux安装php7的方法以及步骤,需要的朋友们可以学习下。
    2019-10-10

最新评论