rsync服務的使用

這次我把rsync服務使用在了web前端網站的提測、測試和更新方面。先介紹流程和配置。

1. 前提

網站上線流程太過原始:前端研發提測,郵件將提測文件打包給測試--->測試手動上傳文件到測試環境,測試通過後把提測包郵件發送給運維--->運維進行線上更新,也需要手動更新文件

這個過程太繁瑣,太漫長,即使把上線操作自動化,但是對於前段研發和測試來說,也是可以把人逼瘋的流程。尤其是在測試任務大的情況下。

2. 解決方案

2.1 給前端研發提供提測專用FTP。FTP服務的部署就不在這裏說了。

2.2 在提測專用FTP所在的系統上部署rsync服務,讓測試環境自動同步提測專用FTP上的文件。

2.3 在測試環境同樣部署rsync服務,讓生產環境手動同步測試環境的文件。

2.4 然後再進行線上跟蹤測試。

3. 環境說明

提測專用FTP:CentOS6.2  192.168.1.167

網站測試服務器:CentOS6.2 192.168.1.6

生產環境網站服務器:CentOS5.8  192.168.64.82

4. rsync服務的部署以及自動同步設置

4.1 rsync服務的部署

可以以單獨進程方式開啓,也可以配置到xinetd守護進程,讓其自動開啓。

4.1.1 安裝

非常簡單,yum安裝即可

  1. yum install -y rsync

4.1.2 配置

創建配置文件,和密碼文件

  1. touch /etc/rsyncd.conf

  2. touch /etc/rsyncd.pwd

  3. chmod 600 /etc/rsyncd.pwd  #必須改成屬主讀寫權限,否則不能進行密碼校驗

下面是本例中/etc/rsyncd.conf文件和/etc/rsyncd.pwd文件的內容:

提測專用FTP服務器:192.168.1.167上的rsyncd.conf配置:

  1. port=873

  2. uid = root

  3. gid = root

  4. pid file = /var/run/rsyncd.pid

  5. lock file = /var/run/rsyncd.lock

  6. log file = /var/log/rsyncd.log

  7. [web_update]   #實例名

  8. uid=root #使用root用戶權限,可自行制定使用的系統用戶

  9. gid=root #使用root用戶組權限  

  10. path=/home/data01/website/  #實例根目錄所在位置

  11. hosts allow=192.168.1.6  # 允許連接此服務的主機 ,指定只允許測試服務器來同步

  12. read only=true   # ture只讀權限,false讀寫權限

  13. auth users = rsync  # 允許傳送文件的用戶

  14. secrets file = /etc/rsyncd.pwd # 指定密碼驗證文件的位置

提測專用FTP服務器:192.168.1.167上的rsyncd.pwd的配置:

  1. rsync:yourpassword167    # 冒號前面是auth users 指定的用戶rysnc,後面是自定義的密碼。

  2.                         # 密碼必須是可讀的,就是說密碼中不能有特殊字符


網站測試服務器:192.168.1.6上的rsyncd.conf配置:

  1. port=873

  2. uid = root

  3. gid = root

  4. pid file = /var/run/rsyncd.pid

  5. lock file = /var/run/rsyncd.lock

  6. log file = /var/log/rsyncd.log

  7. [web_cms]

  8. uid=root

  9. gid=root

  10. path=/home/htdocs/

  11. hosts allow=192.168.64.82 # 指定只允許生產環境的服務器來同步

  12. read only=true

  13. auth users = rsync

  14. secrets file = /etc/rsyncd.pwd

網站測試服務器:192.168.1.6上的rsyncd.pwd的配置:

  1. rsync:yourpassword6


4.1.3 啓動並配置開機啓動

  1. /usr/bin/rsync --daemon  #以服務形式啓動

  2. echo '/usr/bin/rsync --daemon' >> /etc/rc.local # 開機啓動

4.2 自動同步的配置

老方法:腳本+crontab

其實腳本就就是幾條命令拼湊的。有時爲了安全可以做一下判斷,判斷在何種情況下不進行同步,或者同步出現錯誤時發送郵件或短信報警。偷懶了,不做判斷不報警,直接同步!!

內容如下:

網站測試服務器:192.168.1.6上的同步腳本:

  1. #!/bin/bash

  2. DATE=`date +"%Y%m%d%H%M"`

  3. echo "########################################################" >> /data01/log/rsync.log

  4. echo '########################################################' >> /data01/log/rsync.log

  5. /usr/bin/rsync -vzrtopglP --delete [email protected]::web_update /home/htdocs/ --password-file=/root/scripts/rsyncd.pwd >> /data01/log/rsync.log

  6.  # --password-file=/root/scripts/rsyncd.pwd 中的/root/scripts/rsyncd.pwd文件是指定獲取密碼的文件,內容爲192.168.1.167上rsync用戶的密碼只寫密碼yourpassword167,

  7. # 不能把用戶和冒號寫上。文件的權限也爲屬主讀寫(600)。

  8. echo "@@@@@@@@@@@@@@ The sync job was done on $DATE !!!@@@@@@@@@@@@@@@@" >> /data01/log/rsync.log

crontab定時執行:

  1. crontab -e

  2. */5 * * * * /bin/bash /root/scripts/auto_sync_data.sh  #auto_sync_data.sh是腳本文件的文件名



生產環境網站服務器:192.168.64.82上的同步腳本:

  1. #!/bin/bash

  2. DATE=`date +"%Y%m%d%H%M"`

  3. tar -czvf /home/backup/htdocs_$DATE.tar.gz /home/htdocs/ > /dev/null 2>&1  # 備份線上的文件

  4. rsync -azvP --delete [email protected]::web_cms/ /home/htdocs/ --password-file=/home/scripts/rsyncd.pwd >> /home/rsync.log

  5. #同步測試環境的文件,注意/home/scripts/rsyncd.pwd文件的內容和權限。

  6. echo "########$DATE########" >> /home/rsync.log  

手動執行上線操作,最好不要做定時執行,除非在可控的情況下。

5. 補充

這樣的一個流程和配置只能用在非應用型的服務上面,比如網站頁面文件、圖片、flash資源等。不要用在應用型的服務上。因爲應用型的服務比如java、php等等,這些程序的更新都涉及到在不同環境配置文件的變更,傻瓜式同步絕對是不行的。針對應用型服務的自動部署和更新,我用的是Tomcat+Jenkins/hudson+ant+SVN這樣的一個持續集成環境。

rsync命令詳解:

  1. -v, --verbose 詳細模式輸出

  2. -q, --quiet 精簡輸出模式

  3. -c, --checksum 打開校驗開關,強制對文件傳輸進行校驗

  4. -a, --archive 歸檔模式,表示以遞歸方式傳輸文件,並保持所有文件屬性,等於-rlptgoD

  5. -r, --recursive 對子目錄以遞歸模式處理

  6. -R, --relative 使用相對路徑信息

  7. -b, --backup 創建備份,也就是對於目的已經存在有同樣的文件名時,將老的文件重新命名爲~filename。可以使用--suffix選項來指定不同的備份文件前綴。

  8. --backup-dir 將備份文件(如~filename)存放在在目錄下。

  9. -suffix=SUFFIX 定義備份文件前綴

  10. -u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且文件時間晚於要備份的文件。(不覆蓋更新的文件)

  11. -l, --links 保留軟鏈結

  12. -L, --copy-links 想對待常規文件一樣處理軟鏈結

  13. --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結

  14. --safe-links 忽略指向SRC路徑目錄樹以外的鏈結

  15. -H, --hard-links 保留硬鏈結     -p, --perms 保持文件權限

  16. -o, --owner 保持文件屬主信息     -g, --group 保持文件屬組信息

  17. -D, --devices 保持設備文件信息    -t, --times 保持文件時間信息

  18. -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間

  19. -n, --dry-run現實哪些文件將被傳輸

  20. -W, --whole-file 拷貝文件,不進行增量檢測

  21. -x, --one-file-system 不要跨越文件系統邊界

  22. -B, --block-size=SIZE 檢驗算法使用的塊尺寸,默認是700字節

  23. -e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步

  24. --rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息

  25. -C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件,用來排除那些不希望傳輸的文件

  26. --existing 僅僅更新那些已經存在於DST的文件,而不備份那些新創建的文件

  27. --delete 刪除那些DST中SRC沒有的文件

  28. --delete-excluded 同樣刪除接收端那些被該選項指定排除的文件

  29. --delete-after 傳輸結束以後再刪除

  30. --ignore-errors 及時出現IO錯誤也進行刪除

  31. --max-delete=NUM 最多刪除NUM個文件

  32. --partial 保留那些因故沒有完全傳輸的文件,以是加快隨後的再次傳輸

  33. --force 強制刪除目錄,即使不爲空

  34. --numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名

  35. --timeout=TIME IP超時時間,單位爲秒

  36. -I, --ignore-times 不跳過那些有同樣的時間和長度的文件

  37. --size-only 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間

  38. --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口,默認爲0

  39. -T --temp-dir=DIR 在DIR中創建臨時文件

  40. --compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份

  41. -P 等同於 --partial

  42. --progress 顯示備份過程

  43. -z, --compress 對備份的文件在傳輸時進行壓縮處理

  44. --exclude=PATTERN 指定排除不需要傳輸的文件模式

  45. --include=PATTERN 指定不排除而需要傳輸的文件模式

  46. --exclude-from=FILE 排除FILE中指定模式的文件

  47. --include-from=FILE 不排除FILE指定模式匹配的文件

  48. --version 打印版本信息

  49. --address 綁定到特定的地址

  50. --config=FILE 指定其他的配置文件,不使用默認的rsyncd.conf文件

  51. --port=PORT 指定其他的rsync服務端口

  52. --blocking-io 對遠程shell使用阻塞IO

  53. -stats 給出某些文件的傳輸狀態

  54. --progress 在傳輸時現實傳輸過程

  55. --log-format=formAT 指定日誌文件格式

  56. --password-file=FILE 從FILE中得到密碼

  57. --bwlimit=KBPS 限制I/O帶寬,KBytes per second      -h, --help 顯示幫助信息





發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章