rsync與inotify簡介
1、rsync
與傳統的cp、tar備份方式相比，rsync具有安全性高、備份迅速、支持增量備份等優點，通過rsync可以解決對實時性要求不高的數據備份需求，例如定期的備份文件服務器數據到遠端服務器，對本地磁盤定期做數據鏡像等。
隨着應用系統規模的不斷擴大，對數據的安全性和可靠性也提出的更好的要求，rsync在高端業務系統中也逐漸暴露出了很多不足，首先，rsync同步數據時，需要掃描所有文件後進行比對，進行差量傳輸。如果文件數量達到了百萬甚至千萬量級，掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實時的去監測、同步數據，雖然它可以通過linux守護進程的方式進行觸發同步，但是兩次觸發動作一定會有時間差，這樣就導致了服務端和客戶端數據可能出現不一致，無法在應用故障時完全的恢復數據。基於以上原因，rsync+inotify組合出現了！
2、inotify
Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制，linux內核從2.6.13起，加入了Inotify支持，通過Inotify可以監控文件系統中添加、刪除，修改、移動等各種細微事件，利用這個內核接口，第三方軟件就可以監控文件系統下文件的各種變化情況，而inotify-tools就是這樣的一個第三方軟件。
在上面章節中，我們講到，rsync可以實現觸發式的文件同步，但是通過crontab守護進程方式進行觸發，同步的數據和實際數據會有差異，而inotify可以監控文件系統的各種變化，當文件有任何變動時，就觸發rsync同步，這樣剛好解決了同步數據的實時性問題。
3、 inotify相關參數
inotify定義了下列的接口參數，可以用來限制inotify消耗kernel memory的大小。由於這些參數都是內存參數，因此，可以根據應用需求，實時的調節其大小。下面分別做簡單介紹。
/proc/sys/fs/inotify/max_queued_evnets
表示調用inotify_init時分配給inotify instance中可排隊的event的數目的最大值，超出這個值的事件被丟棄，但會觸發IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances
表示每一個real user ID可創建的inotify instatnces的數量上限。
/proc/sys/fs/inotify/max_user_watches
表示每個inotify instatnces可監控的最大目錄數量。如果監控的文件數目巨大，需要根據情況，適當增加此值的大小，例如：
echo 30000000 > /proc/sys/fs/inotify/max_user_watches
4、 inotifywait相關參數
Inotifywait是一個監控等待事件，可以配合shell腳本使用它，下面介紹一下常用的一些參數：
-m， 即--monitor，表示始終保持事件監聽狀態。
-r， 即--recursive，表示遞歸查詢目錄。
-q， 即--quiet，表示打印出監控事件。
-e， 即--event，通過此參數可以指定要監控的事件，常見的事件有modify、delete、create、attrib等。
更詳細的請參看man inotifywait。
具體大家可以參照http://www.ibm.com/developerworks/cn/linux/l-ubuntu-inotify/index.html來進行學習。
接下面我們來開始進行rsync與inotify的安裝、配置、測試。
下面是2個服務器的結構，分別爲主機名、ip、狀態、內核、位數、同步的目錄，並將2臺服務器均是redhat5.4發行版本。
一、主服務器（server端，我這裏是nginx）其中主服務器需要安裝rsync與inotify，主服務器作爲server，向備份服務器client傳輸文件1、安裝rsync
[root@nginx ~]# cd /usr/src/ [root@nginx src]# ll total 16 drwxr-xr-x 2 root root 4096 Jan 26 2010 debug drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels [root@nginx src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz [root@nginx src]# tar zxvf rsync-3.0.9.tar.gz [root@nginx src]# cd rsync-3.0.9 [root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync [root@nginx rsync-3.0.9]# make [root@nginx rsync-3.0.9]# make install 或者yum install rsync
2、建立密碼認證文件
[root@nginx rsync-3.0.9]# cd /usr/local/rsync/ [root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync.passwd
其中rsync-pwd可以自己設置密碼，rsync.passwd名字也可以自己設置
[root@nginx rsync]# chmod 600 rsync.passwd
無論是爲了安全，還是爲了避免出現以下錯誤，密碼文件都需要給600權限
password file must not be other-accessible continuing without password file
3、安裝inotify
[root@nginx rsync]# cd /usr/src/ [root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz [root@nginx src]# cd inotify-tools-3.14 [root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify [root@nginx inotify-tools-3.14]# make [root@nginx inotify-tools-3.14]# make install 或者 yum install inotify-tools
4、創建rsync複製腳本此項功能主要是將server端的目錄/tmp裏的內容，如果修改了（無論是添加、修改、刪除文件）能夠通過inotify監控到，並通過rsync實時的同步給client的/tmp裏，下面是通過shell腳本實現的。
[root@rrcy ~]# cat rsync.sh --注意環境變量根據自己系統判定可以通過
[root@rrcy ~]# rpm -ql inotify-tools --查詢命令絕對路徑
/usr/bin/inotifywait
/usr/bin/inotifywatch
/usr/lib64/libinotifytools.so.0
/usr/lib64/libinotifytools.so.0.4.1
/usr/share/doc/inotify-tools-3.14
/usr/share/doc/inotify-tools-3.14/AUTHORS
/usr/share/doc/inotify-tools-3.14/COPYING
/usr/share/doc/inotify-tools-3.14/ChangeLog
/usr/share/doc/inotify-tools-3.14/NEWS
/usr/share/doc/inotify-tools-3.14/README
/usr/share/man/man1/inotifywait.1.gz
/usr/share/man/man1/inotifywatch.1.gz
#!/bin/bash
host=192.168.10.221--客戶端IP
src=/tmp/ --主服務器端tmp
des=web --模塊名字web
user=webuser ---用戶
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des
echo "${files} was rsynced" >>/var/rsync.log 2>&1
done
注意：經過1樓的提示，我發現如果把rsync.log的放到tmp（備份的目錄）或發送一直複製的問題，所以建議各位吧rsync的日誌放到其他的目錄下（非備份目錄）。其中host是client的ip，src是server端要實時監控的目錄，des是認證的模塊名，需要與client一致，user是建立密碼文件裏的認證用戶。把這個腳本命名爲rsync.sh，放到監控的目錄裏，比如我的就放到/tmp下面，並給予764權限
[root@nginx tmp]# chmod 764 rsync.sh
然後運行這個腳本
[root@nginx tmp]# sh /tmp/rsync.sh &
請記住，只有在備份服務器client端的rsync安裝並啓動rsync之後，在啓動rsync.sh腳本，否則有時候會滿屏出現：
rsync: failed to connect to 192.168.10.221: Connection refused (111) rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]
我們還可以把rsync.sh腳本加入到開機啓動項裏
[root@nginx tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local
二、備份服務器（client，我這裏爲nginx-backup）
1、安裝rsync（備份服務器只安裝rsync）
[root@nginx-backup ~]# cd /usr/src/ [root@nginx-backup src]# ll total 16 drwxr-xr-x 2 root root 4096 Jan 26 2010 debug drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels [root@nginx-backup src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz [root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz [root@nginx-backup src]# cd rsync-3.0.9 [root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync [root@nginx-backup rsync-3.0.9]# make [root@nginx-backup rsync-3.0.9]# make install
2、建立用戶與密碼認證文件
[root@nginx-backup rsync-3.0.9]# echo "webuser:rsync-pwd" > /usr/local/rsync/rsync.passwd
請記住，在server端建立的密碼文件，只有密碼，沒有用戶名；而在備份服務端client裏建立的密碼文件，用戶名與密碼都有。
[root@nginx-backup rsync]# chmod 600 rsync.passwd
需要給密碼文件600權限3、建立rsync配置文件
uid = root gid = root use chroot = no max connections = 10 strict modes = yes pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log [web] path = /tmp/ comment = web file ignore errors read only = no write only = no hosts allow = 192.168.10.220 hosts deny = * list = false uid = root gid = root auth users = webuser secrets file = /usr/local/rsync/rsync.passwd
其中web是server服務端裏的認證模塊名稱，需要與主服務器裏的一致，以上的配置我的自己服務器裏的配置，以供參考。把配置文件命名爲rsync.conf，放到/usr/local/rsync/目錄裏啓動rsync
[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf [root@rrcy tmp]# rpm -ql rsync /etc/xinetd.d/rsync /usr/bin/rsync
如果出現以下問題：
/usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory，
可以採用下面方法解決
[root@nginx-backup rsync]# whereis libiconv.so.2 libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so
找到所需模塊所在的目錄，然後把此目錄添加到/etc/ld.so.conf裏，並更新庫文件
[root@nginx-backup rsync]# echo "/usr/local/lib/" >> /etc/ld.so.conf [root@nginx-backup rsync]# ldconfig
我們可以把rsync腳本加入到開機啓動項裏
[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" >> /etc/rc.local
現在rsync與inotify在server端安裝完成，rsync在備份服務器client端也安裝完成下面是server端的tmp文件情況
下面是client端tmp的文件情況
接下來我們來做一下測試，在server裏創建個test-rsync文件，看看client是否能收到
在看client端是否有test-rsync文件，同時client端的tmp目錄文件是否與server端的文件完全一致
可以看到在client端，已經收到了test-rsync文件，而且client的tmp裏的文件與server裏tmp的文件完全相同、文件數目一致。現在rsync與inotify的搭建與配置完成了，並實現了服務器直接數據的實時同步；大家可以根據自己的需要來進行相應的配置。BTW：在rsync+inotify這種備份方法的時候，我公司遇到了一個問題，那就是主服務已經給備用服務同步完數據了，但主服務器磁盤看見滿了，需要把已經備份的文件刪除，但同時在備份服務器裏保留主服務器裏的文件，也就是說主服務器裏刪除文件的時候，備份服務器裏不跟着刪除文件，我查看了很多英文文檔，測試了很多遍，最後找到了一個解決方法，那就是在主服務器裏，把rsync.sh這個腳本里第9行的--delete參數給去掉，就可以解決這個問題。
例子：
配置/tmp/和home/兩個目錄
服務端：一
[root@rrcy ~]# cat rsync.sh
#!/bin/bash
host=172.168.1.118
src=/tmp/
des=web
user=webuser
src01=/home/
des01=mail01
user01=mailuser
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src $src01 \
| while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/mail01.passwd $src01 $user01@$host::$des01
echo "${files} was rsynced" >>/var/rsync.log 2>&1
done
sh rsync.sh &
二、
[root@rrcy ~]# cd /usr/local/rsync/
[root@rrcy rsync]# ll
total 16
drwxr-xr-x 2 root root 4096 Jul 21 10:10 bin
-rw------- 1 root root 9 Jul 21 12:14 mail01.passwd
-rw------- 1 root root 19 Jul 21 11:28 rsync.passwd
drwxr-xr-x 3 root root 4096 Jul 21 10:10 share
[root@rrcy rsync]# vim rsync.passwd
[root@rrcy rsync]# cat mail01.passwd
mail-pwd
客戶端：
[root@mail home]# cd /usr/local/rsync/
[root@mail rsync]# ls
mail01.passwd rsync.conf rsync.passwd
[root@mail rsync]# cat mail01.passwd
mailuser:mail-pwd
[root@mail rsync]# cat rsync.passwd
webuser:rsync-pwd
[root@mail rsync]# ll
total 12
-rw------- 1 root root 18 Jul 15 14:54 mail01.passwd
-rw-r--r-- 1 root root 663 Jul 15 14:51 rsync.conf
-rw------- 1 root root 18 Jul 15 14:51 rsync.passwd
[root@mail ~]# cd /usr/local/rsync/
[root@mail rsync]# ls
mail01.passwd rsync.conf rsync.passwd
[root@mail rsync]# ll
total 12
-rw------- 1 root root 18 Jul 15 14:54 mail01.passwd
-rw-r--r-- 1 root root 663 Jul 15 14:51 rsync.conf
-rw------- 1 root root 18 Jul 15 14:51 rsync.passwd
[root@mail rsync]# cat mail01.passwd
mailuser:mail-pwd
[root@mail rsync]# cat rsync.passwd
webuser:rsync-pwd
[root@mail rsync]# cat rsync.conf
uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web]
path = /tmp/
comment = web file
ignore errors
read only = no
write only = no
hosts allow = 192.168.1.208
hosts deny = *
list = false
uid = root
gid = root
auth users = webuser
secrets file = /usr/local/rsync/rsync.passwd
[mail01]
path = /home/
comment = mail file
ignore errors
read only = no
write only = no
hosts allow = 192.168.1.208
hosts deny = *
list = false
uid = root
gid = root
auth users = mailuser
secrets file = /usr/local/rsync/mail01.passwd