Windows下基於cwRsync的文件同步

最近一個項目採用IIS+.Net平臺，使用了2臺服務器實現負載均衡（相關負載均衡文章參考：http://www.toxingwang.com/linux-unix/haandclusters 中lvs部分或http://www.toxingwang.com/?s=nginx&x=0&y=0 中Nginx等相關文章，對於有錢的公司且追求簡單的公司，也可以採用硬件負載均衡，這些不在本文討論範圍），以前在linux下實現負載均衡，主要有如下兩個問題：

如何實現用戶回話保持？

可以使用Session共享和會話保持兩種方式。

如何實現實現用戶上傳文件能在多臺服務器上訪問？

可以使用共享存儲（如NFS、iSCSI、GFS2等）或文件同步（rsync+sersync+inotify）等。

在IIS+.Net平臺下，同樣面臨上述兩個問題，關於IIS下Session共享問題在前文已經討論。今天討論第二個如何實現多臺服務器訪問的都是同樣的數據。

站點邏輯架構如下：

架構說明：

前端負載均衡在調度上，實現基於Request Method調度，如果Request Method是Post，則調度到APP1上，而其他請求則基於最少連接等方法調度。這樣就實現了用戶上傳是總是訪問APP1，而APP2的數據完全與APP1同步。

同步使用cwRsync實現。由於windows沒有inotify功能，因此只能實現定時同步，我實際中採用每分鐘同步一次（考慮到用戶上傳的速度實際遠低於內網1GB網速，因此此方案是可行的）。具體實現過程如下：

1、軟件準備：

客戶端版本：cwRsync 4.0.5 Installer（最新版5.22，根據需要選擇）

服務器版本：cwRsyncServer 4.0.5 Installer（最新版5.22，根據需要選擇）

2、 安裝：

在APP1（暫且定義爲主服務器）上安裝cwRsyncServer；Windows下軟件的安裝很簡單，安裝cwRsync時，只需記住如下的密碼即可，其他默認：

在APP2上安裝cwRsync客戶端版本。同樣全部默認即可。

3、配置：

3.1 、服務器端配置

在cwRsync的安裝目錄下（默認路徑：C:\Program Files (x86)\ICW），可以找到一個rsyncd.conf的配置文件，先備份一個，然後再修改。

use chroot = false

strict modes = false

hosts allow = *

log file = rsyncd.log

uid = 0  ##指定uid爲0，不指定將無法使用

gid = 0

#定義需要同步的路徑，名稱任意，方便自己識別就好

[bbsapp]

path = /cygdrive/d/APPSYSTEM/bbs/   #表示路徑：d:＼APPSYSTEM\bbs

read only = false

ignore errors

transfer logging = yes

hosts allow = 192.168.18.0/255.255.255.0

auth users = SvcCWRSYNC   #認證賬戶，安裝時的那個賬戶

secrets file = rsync.password  #密碼文件

在上述安裝目錄下創建一個密碼文件rsync.password，內容如下：

SvcCWRSYNC:pw123456

說明：冒號前面爲上述賬戶名，冒號後面爲安裝時提示的那個密碼，也可以在安裝時指定。

配置完畢後，即可重啓cwRsync服務了，如下：

3.2、客戶端配置

進入客戶端的默認安裝目錄C:\Program Files (x86)\cwRsync，新建一個密碼文件rsync.password，將上述用戶的密碼寫入這個文件（僅僅是密碼）。注意該文件的權限必須所有者爲administrator，且權限爲600（即只有管理員有權限），否則同步時會報如下錯誤：

password file must be owned by root when running as root

然後在任意位置創建一個批處理，命令內容如下：

cd /d "C:\Program Files (x86)\cwRsync\bin"

rsync -avz --delete-after --ignore-errors --progress --password-file=”/cygdrive/c/ Program Files (x86)/cwRsync/rsync.password” SvcCWRSYNC@app1_IP::bbsapp /cygdrive/d/APPSYSTEM/bbs

在計劃任務中調用此批處理，並設定爲每分鐘一次即可。

4、cwRsync客戶端命令詳解：

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持所有文件屬性，等於-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑信息

-b, --backup 創建備份，也就是對於目的已經存在有同樣的文件名時，將老的文件重新命名爲~filename。可以使用--suffix選項來指定不同的備份文件前綴。

--backup-dir 將備份文件(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份文件前綴

-u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且文件時間晚於要備份的文件。(不覆蓋更新的文件)

-l, --links 保留軟鏈結

-L, --copy-links 想對待常規文件一樣處理軟鏈結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結

--safe-links 忽略指向SRC路徑目錄樹以外的鏈結

-H, --hard-links 保留硬鏈結

-p, --perms 保持文件權限

-o, --owner 保持文件屬主信息

-g, --group 保持文件屬組信息

-D, --devices 保持設備文件信息

-t, --times 保持文件時間信息

-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間

-n, --dry-run現實哪些文件將被傳輸

-W, --whole-file 拷貝文件，不進行增量檢測

-x, --one-file-system 不要跨越文件系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步

--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件，用來排除那些不希望傳輸的文件

--existing 僅僅更新那些已經存在於DST的文件，而不備份那些新創建的文件

--delete 刪除那些DST中SRC沒有的文件

--delete-excluded 同樣刪除接收端那些被該選項指定排除的文件

--delete-after 傳輸結束以後再刪除

--ignore-errors 及時出現IO錯誤也進行刪除

--max-delete=NUM 最多刪除NUM個文件

--partial 保留那些因故沒有完全傳輸的文件，以是加快隨後的再次傳輸

--force 強制刪除目錄，即使不爲空

--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名

--timeout=TIME IP超時時間，單位爲秒

-I, --ignore-times 不跳過那些有同樣的時間和長度的文件

--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間

--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0

-T --temp-dir=DIR 在DIR中創建臨時文件

--compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份

-P 等同於 --partial

--progress 顯示備份過程

-z, --compress 對備份的文件在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不需要傳輸的文件模式

--include=PATTERN 指定不排除而需要傳輸的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 綁定到特定的地址

--config=FILE 指定其他的配置文件，不使用默認的rsyncd.conf文件

--port=PORT 指定其他的rsync服務端口

--blocking-io 對遠程shell使用阻塞IO

-stats 給出某些文件的傳輸狀態

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日誌文件格式

--password-file=FILE 從FILE中得到密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second

-h, --help 顯示幫助信息

5、問題點：

5.1、服務無法啓動：

服務器在意外重啓後，RsyncServer服務不能啓動，提示“本地計算機上的reyncserver服務啓動後又停止了”，方法是將安裝目錄下的rsyncd.pid文件刪除或改名即可，再重新啓動RsyncServer服務，OK，成功了，rsyncd.pid文件會自動重新生成。

5.2、提示“password file must be owned by root when running as root”

客戶端使用命令同步時，提示上述錯誤，原因爲密碼文件權限不對，文件屬主（所有者）必須爲administrator，且權限爲600（即只有管理員有權限）。

6、排除

兩臺服務器上，有些緩存目錄或臨時文件，以及特定配置可能是不需要同步的，因此需要進行排除。所以必須在server的配置文件中添加排除同步的文件，這就需要用到了exclude這個參數。

6.1、目錄排除

exclude這個參數可以在client上面使用，也可以直接在server上面的進行配置。下面的例子是在server的rsyncd.conf文件上面配置的。

案例：config文件目錄下有test1、test2和test3這三個目錄，這三個目錄當中都有一個test.txt文件。下面通過不同的配置信息來實現不同的同步要求。

ENVISION——config——test1——test.txt

||———test2——test.txt

||———test3——test.txt

通過exclude關鍵字實現test1目錄的例外

[config]

path

= /cygdrive/d/ENVISION/

config

#exclude

from =

rsync.exclude

exclude

= test1/read only = falsetransfer logging = yeslock file = rsyncd.lock

通過exclude from關鍵字實現test2和test3目錄的例外

[config]

path

= /cygdrive/d/ENVISION/

config

exclude

from =

rsync.exclude

#exclude

= test1/read only = falsetransfer logging = yeslock file = rsyncd.lock

其中rsync.excluede文件跟rsyncd.conf在同一目錄下，其中的文件內容是，其中“/”非常重要。

test2/test3/

6.2、文件排除

exclude和exclude from不僅僅指限制與目錄，也可以使指定的文件名。

在test1目錄下添加一個文件test2.txt，然後進行如下配置

[config]

path

= /cygdrive/d/ENVISION/

config

exclude

from =

rsync.exclude

exclude

= test1/

test.txt

read only

= falsetransfer logging = yeslock file = rsyncd.lock

再次執行同步命令，會發現test1/test2.txt會被同步，而test1/test.txt不會被同步。

更多內容，請訪問我的獨立博客：http://www.toxingwang.com/