Linux服务器间文件实时同步的实现

 更新时间:2018年11月21日 09:32:47   作者:AlienPaul  
这篇文章主要介绍了Linux服务器间文件实时同步的实现,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

使用场景

现有服务器A和服务器B,如果服务器A的指定目录(例如 /home/paul/rsync/ )中的内容发生变更(增删改和属性变更),实时将这些变更同步到服务器B的目标目录中(例如 /home/paul/rsync/ )。

数据镜像备份工具Rsync

Rsync是一个非常快速和灵活的文件复制工具。它支持本机或者是和远程服务器间的文件复制。Rsync使用了delta-transfer算法,它只需要传送源端和目标端的文件差异部分,大大减少了网络带宽的消耗和复制耗费的时间。Rsync多用于数据备份和镜像。

Rsync使用了快速检查算法,通过比较文件大小或最后修改时间的变化来判断文件是否需要同步。

Rsync连接远程主机有两种方式:使用ssh或rsync daemon。这里使用Rsync方式来实现远程文件备份。

Rsync的安装与操作

安装Rsync

分别在服务器A和服务器B的terminal执行:

sudo yum install rsync

安装完毕后,会发现rsync的配置文件位于 etc/rsyncd.conf 。该文件使用daemon方式同步时需要使用,此处暂不介绍。

配置服务器A和B之间的免密登录

服务器A执行:

ssh-keygen
ssh-copy-id 服务器B的IP地址

创建源端目录和目标端目录

在服务器A中:

mkdir /home/paul/rsync

在服务器B中:

mkdir /home/paul/rsync

在服务器A创建测试文件

echo "Hello from Server A" >> /home/paul/rsync/demo.txt

执行文件传送命令

在服务器A运行:

# (1)
rsync -avPz --progress /home/paul/rsync 192.168.100.130:/home.paul/rsync
# (2)
rsync -avPz --delete --progress /home/paul/rsync 192.168.100.130:/home.paul/rsync

会发现在demo.txt也出现在了服务器B中/home/paul/rsync目录。

命令解析:

(1) 将服务器A中的/home/paul/rsync目录内的文件复制到服务器B(192.168.100.130)的/home.paul/rsync中。

(2) 比较目标端和源端的文件,如果目标端的文件在源端不存在,在目标端删除该文件。

Rsync存在的问题

Rsync仅是一个文件复制工具,它无法对源端文件的增删改操作进行监听。在源端做出更改后,需要执行rsync命令才能将变更同步到目标端。

Rsync在每次同步前需要扫描整个目录。如果源目录内的文件数量比较多,扫描可能需要耗费较多的时间。
为了满足实时监听的要求,我们需要引入另一个工具:inotify。

文件系统事件监听工具inotify

inotify-tools为inotify提供一个简单接口。它是一个c语言编写的库,同时也包含命令行工具。

inotify-tools的详细介绍请点击: https://github.com/rvoicilas/inotify-tools/wiki

inotify-tools的安装

对于centos7系统,依次执行:

yum install -y epel-release
yum --enablerepo=epel install inotify-tools

使用inotifywait命令进行事件监听

监听脚本如下(inotifywait-rsync.sh):

inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib /home/paul/rsync/ | while read file
do
rsync -avPz --progress /home/paul/rsync/ 192.168.100.130:/home/paul/rsync/
rsync -avPz --delete /home/paul/rsync/ 192.168.100.130:/home/paul/rsync/
echo "${file} was synchronized"
done

参数解析

  • -m 保持持续监听状态,如果不写该参数,inotifywait会在监听到一次事件之后退出。
  • -r 递归方式监听目录。
  • -q 安静模式,打印输出较少的内容。
  • --timefmt 指定时间的输出格式。
  • --format 指定事件输出的格式。
  • -e 设置监听的事件类型。这里监听增删改和metadata的变更。

对于每次触发的监听时间,inotifywait会执行do和done之间的代码。在这里,我们调用之前所说的rsync命令进行文件同步。

监听脚本加入crontab

crontab -e
* * * * * sh /home/paul/inotifywait-rsync.sh

参考资料
https://rsync.samba.org
https://github.com/rvoicilas/inotify-tools/wiki

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • apache无法启动的可能原因分析及对策

    apache无法启动的可能原因分析及对策

    在遇到apache无法启动时,可以参照如下可能的原因进行分析与解决,有类似情况的朋友可以参考下哈
    2013-05-05
  • CentOS下安装python3.5+scrapy的方法步骤

    CentOS下安装python3.5+scrapy的方法步骤

    本篇文章主要介绍了CentOS下安装python3.5+scrapy的方法步骤,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-12-12
  • Linux 6 下编译安装 PHP 5.6实例详解

    Linux 6 下编译安装 PHP 5.6实例详解

    这篇文章主要介绍了Linux 6 下编译安装 PHP 5.6实例详解的相关资料,需要的朋友可以参考下
    2017-04-04
  • linux中mac地址绑定方法

    linux中mac地址绑定方法

    linux下绑定MAC,就可以免除arp欺骗烦恼了
    2008-07-07
  • CentOS 6/7环境下通过yum安装php7的方法

    CentOS 6/7环境下通过yum安装php7的方法

    这篇文章主要介绍了CentOS 6/7环境下通过yum安装php7的方法,简单分析了CentOS 6/7服务器环境下使用yum安装php7的相关命令与操作步骤,需要的朋友可以参考下
    2018-03-03
  • Ubuntu修改密码及密码复杂度策略设置方法

    Ubuntu修改密码及密码复杂度策略设置方法

    这篇文章主要介绍了Ubuntu修改密码及密码复杂度策略设置,方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-08-08
  • 在 Linux 上使用 Multitail命令的教程

    在 Linux 上使用 Multitail命令的教程

    MultiTail是一个开源的ncurses的实用工具,可用于在一个窗口或单一外壳,显示实时一样的尾巴命令,该命令拆分控制台为更多子窗口的日志文件的最后几行。这篇文章主要介绍了在 Linux 上使用 Multitail命令的教程,需要的朋友可以参考下
    2019-12-12
  • Vim中特殊字符的读写详解

    Vim中特殊字符的读写详解

    最近在工作中遇到一个文章,在跨平台工作的时候由于不同编辑器处理换行和空白字符风格不一致, 常常在Vim下会看到一些特殊字符。这些特殊字符的含义可通过digraph-table查询, 也可根据digraph-table或Unicode/ASCII编码手动输入这些特殊字符。下面来一起看看详细的介绍
    2016-11-11
  • linux sudo命令详解

    linux sudo命令详解

    本篇文章主要介绍了linux sudo命令,sudo 是一种权限管理机制,管理员可以授权于一些普通用户去执行一些 root 执行的操作,而不需要知道 root 的密码。
    2017-01-01
  • web服务器集群(多台web服务器)session同步、共享的3种解决方法

    web服务器集群(多台web服务器)session同步、共享的3种解决方法

    这篇文章主要介绍了web服务器集群(多台web服务器)session同步、共享的3种解决方法,需要的朋友可以参考下
    2014-04-04

最新评论