linux下如何实现快速拷贝大文件

 更新时间:2020年05月09日 15:00:55   作者:COOLOPS  
这篇文章主要介绍了linux下如何实现快速拷贝大文件,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

拷贝数据

远程拷贝数据的时候,我们一般使用rsync命令,但是如果拷贝大量的小文件,会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输,可以解决这问题,使用这个方法,等同于使用scp、rsync传输大文件。

实测,使用rsync传输1200G,单个文件大小为几十KB~2GB,千兆网卡,需要同时跑6个rsync才能把带宽跑满,每个速度20MB左右,速度波动大。每分钟可以拷贝4.5GB左右。

但是,使用tar pv lz4,跑一个就可以了,而且速度波动小。每分钟可以拷贝6.8GB左右。

rsync使用例子

rsync安装:yum install -y rsync

# 推送
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" mssh.tar.gz root@192.168.176.11:/data/
sending incremental file list
mssh.tar.gz
     1,977 100%  0.00kB/s  0:00:00 (xfr#1, to-chk=0/1)
sent 2,069 bytes received 35 bytes 4,208.00 bytes/sec
total size is 1,977 speedup is 0.94

# 拉取
[root@vm5 ~]# rm -f mssh.tar.gz
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" root@192.168.176.11:/data/mssh.tar.gz .
receiving incremental file list
mssh.tar.gz
     1,977 100%  1.89MB/s  0:00:00 (xfr#1, to-chk=0/1)
sent 43 bytes received 2,069 bytes 4,224.00 bytes/sec
total size is 1,977 speedup is 0.94

参数auvzP解释:参数a是归档传输,保留文件属性,u是更新传输,源文件修改时间较新,则传输。v是显示详细过程,z是压缩传输,P是断点传输。

注意:rsync 传输文件夹时候,folder/ 带/则是传输目录下的文件,不带/是把文件夹也传输过去。

使用压缩传输

安装pv、lz4工具

注意:服务器两端都要安装。

pv在yum源里面没有,可以到pv官网找

# 去pv官网,搞到个rpm包链接,直接rpm命令安装
[root@vm5 ~]# rpm -ivh http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm
获取http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm
警告:/var/tmp/rpm-tmp.mFbA6u: 头V3 DSA/SHA1 Signature, 密钥 ID 3fc56f51: NOKEY
准备中...             ################################# [100%]
正在升级/安装...
  1:pv-1.6.6-1            ################################# [100%]
  
# lz4 可以直接yum安装  
[root@vm5 ~]# yum install -y lz4

使用

[root@vm5 ~]# time tar -c go |pv |lz4 -B4 |ssh -p22 -c aes128-ctr 192.168.176.11 "lz4 -d |tar -xC /data/"
using blocks of size 64 KB
18.1MiB 0:00:00 [49.5MiB/s] [  <=>                                                                                   ]
real    0m0.376s
user    0m0.080s
sys    0m0.108s
# 对比rsync
[root@vm5 ~]# time rsync -auvzP -e "ssh -p22" go 192.168.176.11:/data/
......
sent 11,741,677 bytes received 10,451 bytes 7,834,752.00 bytes/sec
total size is 18,502,481 speedup is 1.57
real 0m1.130s
user    0m0.797s
sys    0m0.160s
[root@vm5 ~]#

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Linux安装Jenkins步骤及各种问题解决(页面访问初始化密码)

    Linux安装Jenkins步骤及各种问题解决(页面访问初始化密码)

    这篇文章主要介绍了Linux安装Jenkins步骤及各种问题页面访问初始化密码,需要的朋友可以参考下
    2019-12-12
  • Linux下rz/sz安装及使用方法示例

    Linux下rz/sz安装及使用方法示例

    这篇文章主要介绍了Linux下rz/sz安装及使用方法示例,详细的介绍了如何使用和安装rz/sz,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-06-06
  • Linux中如何查看文件的创建时间详解

    Linux中如何查看文件的创建时间详解

    这篇文章主要给大家介绍了关于Linux中如何查看文件的创建时间的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Linux具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-12-12
  • linux环境下安装 openOffice 并启动服务 的方法

    linux环境下安装 openOffice 并启动服务 的方法

    这篇文章主要介绍了linux环境下安装 openOffice 并启动服务 的方法,需要的朋友可以参考下
    2018-06-06
  • 浅谈互斥锁为什么还要和条件变量配合使用

    浅谈互斥锁为什么还要和条件变量配合使用

    下面小编就为大家带来一篇浅谈互斥锁为什么还要和条件变量配合使用。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-01-01
  • Centos7.5配置IP地址的实现

    Centos7.5配置IP地址的实现

    这篇文章主要介绍了Centos7.5配置IP地址的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • CentOS 7下修改默认网卡名为eth0的两种方法

    CentOS 7下修改默认网卡名为eth0的两种方法

    今天又从Centos 6.5装回了Centos 7,毕竟还是要顺应潮流嘛。安装完成之后,发现发现CentOS 7默认的网卡名称是eno16777736,所以想着改回eth0,下面这篇文章主要介绍了CentOS 7下修改默认网卡名为eth0的两种方法,需要的朋友可以参考借鉴。
    2017-02-02
  • 对linux下软件(库)的更新命令详解

    对linux下软件(库)的更新命令详解

    今天小编就为大家分享一篇对linux下软件(库)的更新命令详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • hbase 简介

    hbase 简介

    HBase是基于GoogleBigTable模型开发的,典型的key/value系统;下面通过本文给大家介绍hbase的相关知识,感兴趣的朋友一起看看吧
    2017-09-09
  • Ubuntu下安装和卸载软件的方法分享

    Ubuntu下安装和卸载软件的方法分享

    这篇文章主要介绍了Ubuntu下安装和卸载软件的方法,文中介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友下面来一起看看吧。
    2017-03-03

最新评论