一、前言
先介紹一下rsync與inotify,先聲明下面的rsync與inotify簡介不是我寫的,鏈接地址如下:http://ixdba.blog.51cto.com/2895551/580280/
1.1、rsync的優點與不足
與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。
隨着應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據時,需要掃描所有文件後進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基於以上原因,rsync+inotify組合出現了!
1.2、初識inotify
Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣的一個第三方軟件。
在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。
二、Rsync+inotify 配置
2.1、拓撲結構圖
2.2、測試環境如下:
系統:Centos 6.4 64位
代碼發佈節點:
Node2:222.55.166.3
分佈式更新:
Node3: 192.168.122.3
Node4: 192.168.122.4
Node5: 192.168.122.5
Node6: 192.168.122.6
IP對應的域名:
222.55.166.3 node2.rsync.org
192.168.122.3 node3.rsync.org
192.168.122.4 node4.rsync.org
192.168.122.5 node5.rsync.org
192.168.122.6 node6.rsync.org
2.3、軟件安裝
2.3.1、rsync安裝(每臺服務器上都要安裝,以node2爲例)
[root@node2 ~]# yum -y install rsync [root@ node2 ~]# rpm -qa |grep rsync rsync-3.0.6-9.el6.x86_64
2.3.2、inotify安裝(在node2、node3上安裝)
由於inotify特性需要Linux內核的支持,在安裝inotify-tools前要先確認Linux系統內核是否達到了2.6.13以上,如果Linux內核低於2.6.13版本,就需要重新編譯內核加入inotify的支持,也可以用如下方法判斷,內核是否支持。
[root@node2 ~]# uname -r 2.6.32-358.el6.x86_64 查看系統默認是否支持inotify [root@node2 ~]# ll /proc/sys/fs/inotify total 0 -rw-r--r-- 1 root root 0 Jul 20 14:58 max_queued_events -rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_instances -rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_watches 有以上三項就代表系統默認是支持的,接着安裝inotify-tools [root@node2 ~]# yum -y install inotify-tools [root@node2 ~]# rpm -qa |grep inotify inotify-tools-3.14-1.el6.x86_64
2.4、配置分佈式更新節點
添加rsyncd.conf配置文件(node4、node5、node6)
[root@node4 ~]# vim /etc/rsyncd.conf uid = root gid = root use chroot = no max connections = 10 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log [web04] path=/data/web/web04/ comment = update ignore errors read only = no list = no hosts allow = 192.168.122.0/24 auth users = root uid = root gid = root secrets file = /etc/rsyncd.secrets [root@node4 ~]# vim /etc/rsyncd.secrets #配置服務端用戶和密碼 root:123456 [root@node4 ~]# chmod 600 /etc/rsyncd.secrets [root@node4 ~]# rsync --daemon #啓動rsync守護進程 [root@node4 ~]# echo "rsync --daemon" >>/etc/rc.local #將rsync服務加入到自啓動文件中
Node5、node6的基本上配置一樣,只需要修改了/etc/rsyncd.conf裏面的2個地方:rsync的同步名稱爲:[web05]、[web06];path路徑爲:path=/home/kuangl/web05、path=/home/kuangl/web06
2.5、node3配置代碼發佈節點
添加inotify腳本:實現數據同步到集羣中的三個服務節點
[root@node3 kuangl]# vim inotify.sh #!/bin/bash src=/data/web/ des1=web04 des2=web05 des3=web06 host1="node4.rsync.org" host2="node5.rsync.org" host3="node6.rsync.org" inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files do rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host1}::${des1} rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host2}::${des2} rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host3}::${des3} echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 done
配置/etc/rsync.conf
[root@node3 kuangl]# vim /etc/rsyncd.conf uid = root gid = root use chroot = no max connections = 5 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log [web03] path=/data/web/ comment = update ignore errors read only = no list = no hosts allow = node2.rsync.org auth users = root uid = root gid = root secrets file = /etc/rsyncd.secrets 增加用戶和密碼 [root@node3 ~]# vim /etc/rsyncd.secrets 123456 root:123456 [root@node3 ~]# chmod 600 /etc/rsyncd.secrets 啓動守護進程 [root@node3 ~]# rsync --daemon #啓動rsync守護進程 [root@node3 ~]# echo "rsync --daemon" >>/etc/rc.local #將rsync服務加入到自啓動文件中 [root@node3 ~]# nohup /home/kuangl/inotify.sh &
2.6、Node2配置代碼發佈節點
添加inotify腳本:實現數據同步到node3上的節點
[root@node2 ~]# vim /home/kuangl/inotify.sh #!/bin/bash src=/data/web/ des=web03 host="node3.rsync.org" inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files do for hostip in ${host} do rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/home/kuangl/index.html ${src} root@${hostip}::${des} done echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 done 增加用戶和密碼 [root@node2 ~]# vim /etc/rsyncd.secrets 123456 [root@node2~]# chmod 600 /etc/rsyncd.secrets 啓動守護進程 [root@node2 ~]# nohup /home/kuangl/inotify.sh &
三、測試
在代碼服務器Node2上創建文件 kuangl.txt