shell中實現文件鎖

1.背景


當多個進程可能會對同樣的數據執行操作時,這些進程需要保證其它進程沒有在操作,以免損壞數據。通常,這樣的進程會使用一個“鎖文件”,也就是建立一個文件來告訴別的進程自己在運行,如果檢測到那個文件存在則認爲有操作同樣數據的進程在工作。這樣的問題是,進程不小心意外死亡了,沒有清理掉那個鎖文件,那麼只能由用戶手動來清理了。


2.關於flock


flock 是對於整個文件的建議性鎖。也就是說,如果一個進程在一個文件(inode)上放了鎖,那麼其它進程是可以知道的。(建議性鎖不強求進程遵守。)最棒的一點是,它的第一個參數是文件描述符,在此文件描述符關閉時,鎖會自動釋放。而當進程終止時,所有的文件描述符均會被關閉。


3. shell中實現flock系統調用的命令是flock,其使用格式有以下兩種(man flock)


flock [-sxon] [-w timeout] lockfile [-c] command...
flock [-sxun] [-w timeout] fd

選項和參數:

-s,--shared:獲取一個共享鎖在定向爲某文件的FD上設置共享鎖而未釋放鎖的時間內,其他進程試圖在定向爲此文件的FD上設置獨佔鎖的請求失敗,而其他進程試圖在定向爲此文件的FD上設置共享鎖的請求會成功。

-x,-e,--exclusive:獲取一個排它鎖,或者稱爲寫入鎖,爲默認項

-u,--unlock:手動釋放鎖,一般情況不必須,當FD關閉時,系統會自動解鎖,此參數用於腳本命令一部分需要異步執行,一部分可以同步執行的情況。

-n,--nb, --nonblock:非阻塞模式,當獲取鎖失敗時,返回1而不是等待

-w, --wait, --timeout seconds:設置阻塞超時,當超過設置的秒數時,退出阻塞模式,返回1,並繼續執行後面的語句

-o, --close:表示當執行command前關閉設置鎖的FD,以使command的子進程不保持鎖。

-c, --command command:在shell中執行其後的語句


4. shell中實現排它鎖避免腳本重複執行


Linux中的例行性工作排程crontab會定時執行一些腳本,但腳本的執行時間往往無法控制,當腳本執行時間過長時,可能會導致上一次任務的腳本還沒執行完,下一次任務的腳本又開始執行了。這種情況下可能會出現一些併發問題,嚴重時會導致出現髒數據/性能瓶頸的惡性循環。

通過使用flock建立排它鎖可以規避這個問題,如果一個進程對某個加了排他鎖,則其它進程無法加鎖,可以選擇等待超時或馬上返回。測試實例如下:


4.1 創建執行腳本

#cat /scripts/shell/file_lock.sh

#!/bin/bash

# Description: test for file flock

PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH

echo ""
echo "----------------------------------"

echo "start at `date '+%Y-%m-%d %H:%M:%S'` ..."

sleep 140s

echo "finished at `date '+%Y-%m-%d %H:%M:%S'` ..."


4.2 創建定時任務:測試排它鎖

#crontab -e

* * * * * flock -xn /dev/shm/test.lock -c "sh /scripts/shell/file_lock.sh > /root/stdout.log"

每分鐘執行一次該腳本,並將輸出信息寫入到stdout.log


查看輸出日誌如下:

----------------------------------
start at 2014-04-10 10:23:01 ...            #獲取鎖

finish at 2014-04-10 10:25:21 ...           #釋放鎖



----------------------------------
start at 2014-04-10 10:26:01 ...            #10:27:00及10:28:00啓動的定時任務由於無法獲取鎖,以失敗而退出執行,直到10:26:00才獲取到鎖

finish at 2014-04-10 10:28:21 ...


4.3 測試排它鎖,加上等待超時

* * * * * flock -x -w 20 /dev/shm/test.lock -c "sh /scripts/shell/file_lock.sh > /root/stdout.log"


查看日誌輸出信息:

----------------------------------
start at 2014-04-10 10:29:01 ...

finish at 2014-04-10 10:31:21 ...


----------------------------------
start at 2014-04-10 10:31:21 ...    #10:31:00啓動的定時任務等待了20秒後,上一個任務釋放了鎖,所以此任務可以馬上拿到鎖,並繼續執行

finish at 2014-04-10 10:33:41 ...





發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章