inotify+rsync

Inotify 是爲替代 dnotify 而設計的,它克服了 dnotify 的缺陷,提供了更好用的,簡潔而強大的文件變化通知機制:

1. Inotify 不需要對被監視的目標打開文件描述符,而且如果被監視目標在可移動介質上,那麼在 umount 該介質上的文件系統後,被監視目標對應的 watch 將被自動刪除,並且會產生一個 umount 事件。

2. Inotify 既可以監視文件,也可以監視目錄。

3. Inotify 使用系統調用而非 SIGIO 來通知文件系統事件。

4. Inotify 使用文件描述符作爲接口,因而可以使用通常的文件 I/O 操作select 和 poll 來監視文件系統的變化。

Inotify 可以監視的文件系統事件包括:

  • IN_ACCESS,即文件被訪問

  • IN_MODIFY,文件被 write

  • IN_ATTRIB,文件屬性被修改,如 chmod、chown、touch 等

  • IN_CLOSE_WRITE,可寫文件被 close

  • IN_CLOSE_NOWRITE,不可寫文件被 close

  • IN_OPEN,文件被 open

  • IN_MOVED_FROM,文件被移走,如 mv

  • IN_MOVED_TO,文件被移來,如 mv、cp

  • IN_CREATE,創建新文件

  • IN_DELETE,文件被刪除,如 rm

  • IN_DELETE_SELF,自刪除,即一個可執行文件在執行時刪除自己

  • IN_MOVE_SELF,自移動,即一個可執行文件在執行時移動自己

  • IN_UNMOUNT,宿主文件系統被 umount

  • IN_CLOSE,文件被關閉,等同於(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)

  • IN_MOVE,文件被移動,等同於(IN_MOVED_FROM | IN_MOVED_TO)

注:上面所說的文件也包括目錄。

 Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣的一個第三方軟件。

由於inotify特性需要Linux內核的支持,在安裝inotify-tools前要先確認Linux系統內核是否達到了2.6.13以上,如果Linux內核低於2.6.13版本,就需要重新編譯內核加入inotify的支持,也可以用如下方法判斷,內核是否支持inotify:
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
總計 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三項輸出,表示系統已經默認支持inotify,接着就可以開始安裝inotify-tools了。

可以到http://inotify-tools.sourceforge.net/下載相應的inotify-tools版本,然後開始編譯安裝:
[root@localhost  ~]# tar zxvf inotify-tools-3.14.tar.gz 
root@localhost  ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make
[root@localhost inotify-tools-3.14]# make install
[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
inotify-tools安裝完成後,會生成inotifywait和inotifywatch兩個指令,其中,inotifywait用於等待文件或文件集上的一個特定事件,它可以監控任何文件和目錄設置,並且可以遞歸地監控整個目錄樹。
inotifywatch用於收集被監控的文件系統統計數據,包括每個inotify事件發生多少次等信息。

四、 inotify相關參數
inotify定義了下列的接口參數,可以用來限制inotify消耗kernel memory的大小。由於這些參數都是內存參數,因此,可以根據應用需求,實時的調節其大小。下面分別做簡單介紹。
    /proc/sys/fs/inotify/max_queued_evnets     
       表示調用inotify_init時分配給inotify instance中可排隊的event的數目的最大值,超出這個值的事件被丟棄,但會觸發IN_Q_OVERFLOW事件。
    /proc/sys/fs/inotify/max_user_instances
        表示每一個real user ID可創建的inotify instatnces的數量上限。
    /proc/sys/fs/inotify/max_user_watches
        表示每個inotify instatnces可監控的最大目錄數量。如果監控的文件數目巨大,需要根據情況,適當增加此值的大小,例如:
echo 30000000 > /proc/sys/fs/inotify/max_user_watches 

五、 inotifywait相關參數
Inotifywait是一個監控等待事件,可以配合shell腳本使用它,下面介紹一下常用的一些參數:
? -m, 即--monitor,表示始終保持事件監聽狀態。
? -r, 即--recursive,表示遞歸查詢目錄。
? -q, 即--quiet,表示打印出監控事件。
? -e, 即--event,通過此參數可以指定要監控的事件,常見的事件有modify、delete、create、attrib等。
更詳細的請參看man  inotifywait。


解決方案
爲了保證用戶訪問到的數據一致性和實時性,必須保證三個服務節點與內容發佈節點的數據始終是一致的,這就需要通過文件同步工具來實現,這裏採用rsync,同時又要保證數據是實時的,這就需要inotify,即:使用inotify監視內容發佈節點文件的變化,如果文件有變動,那麼就啓動rsync,將文件實時同步到三個服務節點。


系統環境
這裏所有服務器均採用Linux操作系統,系統內核版本與節點信息如表1 所示:
表1
 09e54016e320b92b20a4e9e7.jpg
1 安裝rsync與inotify-tools
inotify-tools是用來監控文件系統變化的工具,因此必須安裝在內容發佈節點《即CDN-主控制端》,服務節點無需安裝inotify-tools,另外需要在web1、web2、web3、webserver節點上安裝rsync,由於安裝非常簡單,這裏不在講述。
在這個案例中,內容發佈節點(即server)充當了rsync客戶端的角色,而三個服務節點充當了rsync服務器端的角色,整個數據同步的過程,其實就是一個從客戶端向服務端推送數據的過程。這點與上面我們講述的案例剛好相反。
2 在三個服務節點配置rsync
 這裏給出三個服務節點的rsync配置文件,以供參考,讀者可根據實際情況自行修改。
Web1節點rsyncd.conf配置如下:
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log 
[web1]
path = /web1/wwwroot/
comment = web1 file
ignore errors
read only = no
write only = no
hosts allow = 192.168.12.134
hosts deny = *
list = false
uid = root
gid = root
auth users = web1user
secrets file = /etc/web1.pass
Web2節點rsyncd.conf配置如下:
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log 
[web2]
path = /web2/wwwroot/
comment = web2 file
ignore errors
read only = no
write only = no
hosts allow = 192.168.12.134
hosts deny = *
list = false
uid = root
gid = root
auth users = web2user
secrets file = /etc/web2.pass
Web3節點rsyncd.conf配置如下:
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log 
[web3]
path = /web3/wwwroot/
comment = web3 file
ignore errors
read only = no
write only = no
hosts allow = 192.168.12.134
hosts deny = *
list = false
uid = root
gid = root
auth users = web3user
secrets file = /etc/web3.pass
在三臺服務節點rsyncd.conf文件配置完成後,依次啓動rsync守護進程,接着將rsync服務加入到自啓動文件中:
echo  “/usr/local/bin/rsync --daemon” >>/etc/rc.local
到此爲止,三個web服務節點已經配置完成。 
3 配置內容發佈節點
 配置內容發佈節點的主要工作是將生成的靜態網頁實時的同步到集羣中三個服務節點,這個過程可以通過一個shell腳本來完成,腳本內容大致如下:
#!/bin/bash
host1=192.168.12.131
host2=192.168.12.132
host3=192.168.12.133
 
src=/web/wwwroot/
dst1=web1
dst2=web2
dst3=web3
user1=web1user
user2=web3user
user3=web3user 

Inotifywait是一個監控等待事件,可以配合shell腳本使用它,下面介紹一下常用的一些參數:
? -m, 即--monitor,表示始終保持事件監聽狀態。
? -r, 即--recursive,表示遞歸查詢目錄。
? -q, 即--quiet,表示打印出監控事件。
? -e, 即--event,通過此參數可以指定要
監控的事件,常見的事件有modify、delete、create、attrib等。

/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib  $src \
| while read files               表示當src=/web/wwwroot/ 這個目錄的文件或目錄有變化的時候《modify,delete,create,attrib》就觸發事件同步文件!

        do
        /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user1@$host1::$dst1
  /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user2@$host2::$dst2
  /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user3@$host3::$dst3
                echo "${files} was rsynced" >>/tmp/rsync.log 2>&1            《可以將全部的文件均採集到反饋信息!》

                同步完成之後回調一個HTTP接口即可!

         done
腳本相關解釋如下:
--timefmt:指定時間的輸出格式。
--format:指定變化文件的詳細信息。
這兩個參數一般配合使用,通過指定輸出格式,輸出類似與:
15/04/10 00:29 /web/wwwroot/ixdba.sh  DELETE,ISDIR was rsynced     《非常詳細的日誌信息》

PS:這個可以搭建一個測試接口模擬測試一下是否是實時的反饋數據信息???
15/04/10 00:30 /web/wwwroot/index.htmlMODIFY was rsynced
15/04/10 00:31 /web/wwwroot/pcre-8.02.tar.gzCREATE was rsynced
這個腳本的作用就是通過inotify監控文件目錄的變化,進而觸發rsync進行同步操作,由於這個過程是一種主動觸發操作,通過系統內核完成的,所以,比起那些遍歷整個目錄的掃描方式,效率要高很多。
有時會遇到這樣的情況:向inotify監控的目錄(這裏是/web/wwwroot/)寫入一個很大文件時,由於寫入這個大文件需要一段時間,此時inotify就會持續不停的輸出該文件被更新的信息, 這樣就會持續不停的觸發rsync去執行同步操作,佔用了大量系統資源,那麼針對這種情況,最理想的做法是等待文件寫完後再去觸發rsync同步。 在這種情況下,可以修改inotify的監控事件,即:“-e close_write,delete,create,attrib”
接着,將這個腳本命名爲inotifyrsync.sh,放到/web/wwwroot目錄下,然後給定可執行權限,放到後臺運行:
chmod 755 /web/wwwroot/inotifyrsync.sh
/web/wwwroot/inotifyrsync.sh &
最後,將此腳本加入系統自啓動文件:
echo  “/web/wwwroot/inotifyrsync.sh &”>>/etc/rc.local
這樣就完成了內容發佈節點的所有配置工作。 

可以嘗試採用python來寫。做到多線程的同步機制!比如需要同步多臺服務器的時候可以採用多線程的辦法來解決提高效率!


4 測試rsync+inotify實時同步功能
 所有配置完成後,可以在網頁發佈節點的/web/wwwroot目錄下添加、刪除或者修改某個文件,然後到三個服務節點對應的目錄查看文件是否跟隨網頁發佈節點的/web/wwwroot目錄下文件發生變化,如果你看到三個服務節點對應的目錄文件跟着內容發佈節點目錄文件同步變化,那麼我們這個業務系統就配置成功了。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章