rsync备份海量文件时占用大量内存的解决方法

更新时间：2016年07月21日 17:02:09 投稿：mdxy-dxy

这篇文章主要介绍了rsync备份海量文件时占用大量内存的解决办法,需要的朋友可以参考下

linux发行版中大多都自带rsync，不过版本比较低，一般都是2.6.X
在2.X的版本中，rsync备份时都是先列表再备份(添加或者删除)，在处理大量文件时，会耗费比较多的内存。
备份的时候，rsync扫描到的每个文件(目录也一样)，在它的列表中约占100字节的内存，如果加了--delete参数的话，占用的内存会更多。
例如我这里一台服务器，约800万的图片，而且更新比较频繁，文件数增长比较快，差不多每天增加约10万张。备份的时候，rsync大约占用了将近2G的内存，大量内存的占用，造成服务器物理内存不足，进而使用到swap，然后产生更高的iowait(交换内存)，进而造成rsync列表更慢，并且影响到服务器上的业务。
对于这样的情况，在rsync 3.X出现之前，人们普遍给出的建议是把备份操作给拆分成若干个小的备份操作。比如原来有10个图片目录一起备份，现在拆成10个备份操作，每次只备份其中一个。另外，还有人建议减小目录的深度，这样可以减小目录的数量，可以减少rsync占用的内存。另外还有个叫做digisync的软件，是专门用来备份G级数量的文件的。

rsync 3.X采用的是incremental file list，与原来的 2.X相比，现在是一边列表一边备份(添加或删除)。这对于大量文件的备份操作来说，无疑节省了很多时间。
实测发现，rsync 3.0.4备份时占用的内存大约时4M，跟一个apache进程占用的内存差不多。

rsync 的主页在http://samba.anu.edu.au/rsync/ 目前最新稳定版本为 rsync-3.1.1

复制代码代码如下:

cd /usr/src/

wget http://samba.anu.edu.au/ftp/rsync/src/rsync-3.1.1.tar.gz

tar xzvf rsync-3.1.1.tar.gz 

cd rsync-3.1.1

./configure --prefix=/usr

make

make install

然后运行 rsync --version 来看看版本号

需要注意的是，源主机和目的主机必须都升级到 rsync 3.X 才能使用到rsync 3.X的新特性。

值得一提的是，自从 2006年11月6号发布 version 2.6.9以后，一直到08年3月才发布3.0，使得很长一段时间内，大家不得不找各种各样的办法来处理大量的文件备份操作

如何快速搭建一个自己的服务器的详细教程（java环境）
这篇文章主要介绍了如何快速搭建一个自己的服务器的详细教程（java环境）,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2020-06-06
DNSLOG平台搭建及其原理解析
DNSlog就是存储在DNS Server上的域名访问信息,它记录着用户对域名littlehann.com等的访问信息,类似日志文件,这篇文章主要介绍了DNSLOG平台搭建及其原理分析 ,需要的朋友可以参考下
2024-01-01
教你一招一键搭建zerotier planet服务器脚本
ZeroTier 是一个加密的虚拟骨干网,它的客户端和服务端都是开源且免费的,对于一般的用户,可以用它做内网穿透,将处于不同内网中的主机组成虚拟局域网,这篇文章给大家介绍一键搭建zerotier planet服务器脚本的相关知识,感兴趣的朋友一起看看吧
2023-12-12
rsync相对于其他同步工具的优缺点介绍
rsync是linux与windows下常用的同步工具，以前的版本都是免费的，配置也不复杂，主要是当前确实没有多好的替代工具，我自己也是一直用的这个工具，刚好看到这篇文字特分享下
2013-11-11
TCP服务器实现数据通信
今天我们要介绍的是使用TCP协议实现数据通信，相比于之前写的UDP服务器实现数据信，在主体逻辑上并没有差别，下面，我们具体来看看UDP和TCP在编码的实现上有什么不同，感兴趣的朋友一起看看吧
2023-08-08
DELL DOSA 6.X 服务器引导光盘Dell Systems Build and Update Utility I
戴尔系统构建和更新实用程序是可引导的实用程序，适用于单一服务器操作系统安装、预加载操作系统固件更新和预加载操作系统系统配置
2016-04-04
阿里云服务器部署RabbitMQ集群的详细教程
本文是对 RabbitMQ 进阶阿里云服务器部署RabbitMQ集群简单的概述，搭建集群达到消息的高可用，高可靠，可以提高吞吐量，集群部署是一个很不错的选择，镜像队列集群，这个我们可以根据配置来进行同步规则，根据需求来定制化我们的规则，感兴趣的朋友一起看看吧
2022-05-05
阿里云mysql空间清理的方法
今天小编就为大家分享一篇关于阿里云mysql空间清理的方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2019-03-03
阿里云盾网站安全防御(WAF)的使用方法(图文)
这篇文章主要介绍了阿里云盾网站安全防御(WAF)的正确使用方法,需要的朋友可以参考下
2015-09-09
TeamCenter12登陆报404/503问题解决方案
这篇文章主要介绍了TeamCenter12登陆报404/503问题解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-10-10