Rsync+inotify 構建多服務器同步方案

一、前言

先介紹一下rsync與inotify,先聲明下面的rsync與inotify簡介不是我寫的,鏈接地址如下:http://ixdba.blog.51cto.com/2895551/580280/

1.1、rsync的優點與不足

與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。

隨着應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據時,需要掃描所有文件後進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基於以上原因,rsync+inotify組合出現了!

1.2、初識inotify

   Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣的一個第三方軟件。

在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。

二、Rsync+inotify 配置

2.1、拓撲結構圖

2.2、測試環境如下:

系統:Centos 6.4 64位

代碼發佈節點:

Node2:222.55.166.3

分佈式更新:

Node3: 192.168.122.3

Node4: 192.168.122.4

Node5: 192.168.122.5

Node6: 192.168.122.6

IP對應的域名:

222.55.166.3 node2.rsync.org

192.168.122.3 node3.rsync.org

192.168.122.4 node4.rsync.org

192.168.122.5 node5.rsync.org

192.168.122.6 node6.rsync.org

2.3、軟件安裝

2.3.1、rsync安裝(每臺服務器上都要安裝,以node2爲例)

[root@node2 ~]# yum  -y  install  rsync
[root@ node2 ~]# rpm -qa |grep rsync
rsync-3.0.6-9.el6.x86_64

2.3.2、inotify安裝(在node2、node3上安裝)

  由於inotify特性需要Linux內核的支持,在安裝inotify-tools前要先確認Linux系統內核是否達到了2.6.13以上,如果Linux內核低於2.6.13版本,就需要重新編譯內核加入inotify的支持,也可以用如下方法判斷,內核是否支持。

[root@node2 ~]# uname -r
2.6.32-358.el6.x86_64
查看系統默認是否支持inotify
[root@node2 ~]# ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_queued_events
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_instances
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_watches
有以上三項就代表系統默認是支持的,接着安裝inotify-tools
[root@node2 ~]# yum  -y  install inotify-tools
[root@node2 ~]# rpm -qa |grep inotify
inotify-tools-3.14-1.el6.x86_64

2.4、配置分佈式更新節點

  添加rsyncd.conf配置文件(node4、node5、node6)

[root@node4 ~]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web04]
path=/data/web/web04/
comment = update
ignore errors
read only = no
list = no
hosts allow = 192.168.122.0/24
auth users = root
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
[root@node4 ~]# vim /etc/rsyncd.secrets       #配置服務端用戶和密碼
root:123456
[root@node4 ~]# chmod 600 /etc/rsyncd.secrets
[root@node4 ~]# rsync --daemon              #啓動rsync守護進程
[root@node4 ~]# echo "rsync --daemon" >>/etc/rc.local  #將rsync服務加入到自啓動文件中

  Node5、node6的基本上配置一樣,只需要修改了/etc/rsyncd.conf裏面的2個地方:rsync的同步名稱爲:[web05]、[web06];path路徑爲:path=/home/kuangl/web05、path=/home/kuangl/web06

2.5、node3配置代碼發佈節點

  添加inotify腳本:實現數據同步到集羣中的三個服務節點

[root@node3 kuangl]# vim inotify.sh
#!/bin/bash
src=/data/web/
des1=web04
des2=web05
des3=web06
host1="node4.rsync.org"
host2="node5.rsync.org"
host3="node6.rsync.org"
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host1}::${des1}
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host2}::${des2}
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host3}::${des3}
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

  配置/etc/rsync.conf

[root@node3 kuangl]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 5
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web03]
path=/data/web/ 
comment = update
ignore errors
read only = no
list = no
hosts allow = node2.rsync.org
auth users = root
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
增加用戶和密碼
[root@node3 ~]# vim /etc/rsyncd.secrets
123456
root:123456
[root@node3 ~]# chmod 600 /etc/rsyncd.secrets
啓動守護進程
[root@node3 ~]# rsync --daemon              #啓動rsync守護進程
[root@node3 ~]# echo "rsync --daemon" >>/etc/rc.local  #將rsync服務加入到自啓動文件中
[root@node3 ~]# nohup /home/kuangl/inotify.sh &

2.6、Node2配置代碼發佈節點

  添加inotify腳本:實現數據同步到node3上的節點

[root@node2 ~]# vim /home/kuangl/inotify.sh
#!/bin/bash
src=/data/web/
des=web03
host="node3.rsync.org"
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files
do
for hostip in ${host}
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/home/kuangl/index.html ${src} root@${hostip}::${des}
done
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
增加用戶和密碼
[root@node2 ~]# vim /etc/rsyncd.secrets
123456
[root@node2~]# chmod 600 /etc/rsyncd.secrets
啓動守護進程
[root@node2 ~]# nohup /home/kuangl/inotify.sh &

三、測試

在代碼服務器Node2上創建文件 kuangl.txt










發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章