一篇文章理清Python多線程同步鎖,死鎖和遞歸鎖

公衆號:pythonislover

前面說到過python多線程的基本使用,大概的內容有幾點

1.創建線程對象
t1 = threading.Thread(target=say,args=('tony',))
2.啓動線程
t1.start()
後面又說了兩個點就是join和守護線程的概念

但是不知道大家有沒有注意到一點就是前面說的兩個功能是相互獨立的,相互不干涉的,不會用到同享的資源或者數據,如果我們多個線程要用到相同的數據,那麼就會存在資源爭用和鎖的問題,不管在什麼語言中,這個都是不能避免的。對數據庫屬性的同學應該也瞭解,數據庫中也存在鎖的概念。

今天這篇文章我們說說python多線程中的同步鎖,死鎖和遞歸鎖的使用。

  1. Python同步鎖

鎖通常被用來實現對共享資源的同步訪問。爲每一個共享資源創建一個Lock對象,當你需要訪問該資源時,調用acquire方法來獲取鎖對象(如果其它線程已經獲得了該鎖,則當前線程需等待其被釋放),待資源訪問完後,再調用release方法釋放鎖。

下面我們來舉個例子說明如果多線程在沒有同步鎖的情況下訪問公共資源會導致什麼情況

import threading
import time

num = 100

def fun_sub():
    global num
    # num -= 1
    num2 = num
    time.sleep(0.001)
    num = num2-1

if __name__ == '__main__':
    print('開始測試同步鎖 at %s' % time.ctime())

    thread_list = []
    for thread in range(100):
        t = threading.Thread(target=fun_sub)
        t.start()
        thread_list.append(t)

    for t in thread_list:
        t.join()
    print('num is %d' % num)
    print('結束測試同步鎖 at %s' % time.ctime())

上面的例子其實很簡單就是創建100的線程,然後每個線程去從公共資源num變量去執行減1操作,按照正常情況下面,等到代碼執行結束,打印num變量,應該得到的是0,因爲100個線程都去執行了一次減1的操作。

但是結果卻不是我們想想的,我們看看結果

開始測試同步鎖 at Sun Apr 28 09:56:45 2019
num is 91
結束測試同步鎖 at Sun Apr 28 09:56:45 2019

我們會發現,每次執行的結果num值都不是一樣的,上面顯示的是91,那就存在問題了,爲什麼結果不是0呢?

我們來看看上面代碼的執行流程。
1.因爲GIL,只有一個線程(假設線程1)拿到了num這個資源,然後把變量賦值給num2,sleep 0.001秒,這時候num=100
2.當第一個線程sleep 0.001秒這個期間,這個線程會做yield操作,就是把cpu切換給別的線程執行(假設線程2拿到個GIL,獲得cpu使用權),線程2也和線程1一樣也拿到num,返回賦值給num2,然sleep,這時候,其實num還是=100.
3.線程2 sleep時候,又要yield操作,假設線程3拿到num,執行上面的操作,其實num有可能還是100
4.等到後面cpu重新切換給線程1,線程2,線程3上執行的時候,他們執行減1操作後,其實等到的num其實都是99,而不是順序遞減的。
5.其他剩餘的線程操作如上

大家應該發現問題了,結果和我們想想的不一樣,那我們怎麼才能等到我們想要的結果呢?就是100個線程操作num變量得到最後結果爲0?

這裏就要藉助於python的同步鎖了,也就是同一時間只能放一個線程來操作num變量,減1之後,後面的線程操作來操作num變量。看看下面我們怎麼實現。

import threading
import time

num = 100

def fun_sub():
    global num
    lock.acquire()
    print('----加鎖----')
    print('現在操作共享資源的線程名字是:',t.name)
    num2 = num
    time.sleep(0.001)
    num = num2-1
    lock.release()
    print('----釋放鎖----')

if __name__ == '__main__':
    print('開始測試同步鎖 at %s' % time.ctime())

    lock = threading.Lock() #創建一把同步鎖

    thread_list = []
    for thread in range(100):
        t = threading.Thread(target=fun_sub)
        t.start()
        thread_list.append(t)

    for t in thread_list:
        t.join()
    print('num is %d' % num)
    print('結束測試同步鎖 at %s' % time.ctime())

看到上面我們給中間的減1代碼塊,加個一把同步鎖,這樣,我們就可以得到我們想要的結果了,這就是同步鎖的作用,一次只有一個線程操作同享資源。

看看上面代碼執行的結果:

.......
----加鎖----
現在操作共享資源的線程名字是: Thread-98
----釋放鎖----
----加鎖----
現在操作共享資源的線程名字是: Thread-100
----釋放鎖----
num is 0
結束測試同步鎖 at Sun Apr 28 12:08:27 2019
  1. Python死鎖

死鎖的這個概念在很多地方都存在,比較在數據中,大概介紹下私有是怎麼產生的
1.A拿了一個蘋果
2.B拿了一個香蕉
3.A現在想再拿個香蕉,就在等待B釋放這個香蕉
4.B同時想要再拿個蘋果,這時候就等待A釋放蘋果
5.這樣就是陷入了僵局,這就是生活中的死鎖

python中在線程間共享多個資源的時候,如果兩個線程分別佔有一部分資源並且同時等待對方的資源,就會造成死鎖,因爲系統判斷這部分資源都正在使用,所有這兩個線程在無外力作用下將一直等待下去。下面是一個死鎖的例子:

import threading
import time

lock_apple = threading.Lock()
lock_banana = threading.Lock()

class MyThread(threading.Thread):

    def __init__(self):
        threading.Thread.__init__(self)

    def run(self):
        self.fun1()
        self.fun2()

    def fun1(self):

        lock_apple.acquire()  # 如果鎖被佔用,則阻塞在這裏,等待鎖的釋放

        print ("線程 %s , 想拿: %s--%s" %(self.name, "蘋果",time.ctime()))

        lock_banana.acquire()
        print ("線程 %s , 想拿: %s--%s" %(self.name, "香蕉",time.ctime()))
        lock_banana.release()
        lock_apple.release()


    def fun2(self):

        lock_banana.acquire()
        print ("線程 %s , 想拿: %s--%s" %(self.name, "香蕉",time.ctime()))
        time.sleep(0.1)

        lock_apple.acquire()
        print ("線程 %s , 想拿: %s--%s" %(self.name, "蘋果",time.ctime()))
        lock_apple.release()

        lock_banana.release()

if __name__ == "__main__":
    for i in range(0, 10):  #建立10個線程
        my_thread = MyThread()  #類繼承法是python多線程的另外一種實現方式
        my_thread.start()
代碼執行hung住,死鎖了

線程 Thread-1 , 想拿: 蘋果--Sun Apr 28 12:21:06 2019
線程 Thread-1 , 想拿: 香蕉--Sun Apr 28 12:21:06 2019
線程 Thread-1 , 想拿: 香蕉--Sun Apr 28 12:21:06 2019
線程 Thread-2 , 想拿: 蘋果--Sun Apr 28 12:21:06 2019

Process finished with exit code -1

上面的代碼其實就是描述了蘋果和香蕉的故事。大家可以仔細看看過程。下面我們看看執行流程

1.fun1中,線程1先拿了蘋果,然後拿了香蕉,然後釋放香蕉和蘋果,然後再在fun2中又拿了香蕉,sleep 0.1秒。
2.在線程1的執行過程中,線程2進入了,因爲蘋果被線程1釋放了,線程2這時候獲得了蘋果,然後想拿香蕉
3.這時候就出現問題了,線程一拿完香蕉之後想拿蘋果,返現蘋果被線程2拿到了,線程2拿到蘋果執行,想拿香蕉,發現香蕉被線程1持有了
4.雙向等待,出現死鎖,代碼執行不下去了

上面就是大概的執行流程和死鎖出現的原因。在這種情況下就是在同一線程中多次請求同一資源時候出現的問題。

  1. Python遞歸鎖RLock

爲了支持在同一線程中多次請求同一資源,python提供了"遞歸鎖":threading.RLock。RLock內部維護着一個Lock和一個counter變量,counter記錄了acquire的次數,從而使得資源可以被多次acquire。直到一個線程所有的acquire都被release,其他的線程才能獲得資源。

下面我們用遞歸鎖RLock解決上面的死鎖問題

import threading
import time

lock = threading.RLock()  #遞歸鎖


class MyThread(threading.Thread):

    def __init__(self):
        threading.Thread.__init__(self)

    def run(self):
        self.fun1()
        self.fun2()

    def fun1(self):

        lock.acquire()  # 如果鎖被佔用,則阻塞在這裏,等待鎖的釋放

        print ("線程 %s , 想拿: %s--%s" %(self.name, "蘋果",time.ctime()))

        lock.acquire()
        print ("線程 %s , 想拿: %s--%s" %(self.name, "香蕉",time.ctime()))
        lock.release()
        lock.release()


    def fun2(self):

        lock.acquire()
        print ("線程 %s , 想拿: %s--%s" %(self.name, "香蕉",time.ctime()))
        time.sleep(0.1)

        lock.acquire()
        print ("線程 %s , 想拿: %s--%s" %(self.name, "蘋果",time.ctime()))
        lock.release()

        lock.release()

if __name__ == "__main__":
    for i in range(0, 10):  #建立10個線程
        my_thread = MyThread()  #類繼承法是python多線程的另外一種實現方式
        my_thread.start()

上面我們用一把遞歸鎖,就解決了多個同步鎖導致的死鎖問題。大家可以把RLock理解爲大鎖中還有小鎖,只有等到內部所有的小鎖,都沒有了,其他的線程才能進入這個公共資源。

另外一點前面沒有就算用類繼承的方法實現python多線程,這個大家可以查下,就算繼承Thread類,然後重新run方法來實現。

最後大家可能還有個疑問,就算如果我們都加鎖了,也就是單線程了,那我們還要開多線程有什麼用呢?這裏解釋下,在訪問共享資源的時候,鎖是一定要存在了,但是我們的代碼中不是總是在訪問公共資源的,還有一些其他的邏輯可以使用多線程,所以我們在代碼裏面加鎖的時候,要注意在什麼地方加,對性能的影響最小,這個就靠對邏輯的理解了。

好了今天就說到這裏,個人意見,望指教。

文章推薦:
Python基礎-不一樣的切片操作 - https://mp.weixin.qq.com/s/3pute7-xrdhAt2Yk41nw9w
Python那些有用的小知識點1 - https://mp.weixin.qq.com/s/JXnBrYj0TEAo9LNrVv2cPA
Python日誌模塊之你還在用PRINT打印日誌嗎 - https://mp.weixin.qq.com/s/P_SDxmbxkK1ei3-sq5Qhlw
90%的人說Python程序慢,5大神招讓你的代碼像賽車一樣跑起來 - https://mp.weixin.qq.com/s/XZcqzwodPjvjltPRNRTpVQ
110道python面試題 - https://mp.weixin.qq.com/s/SyC_LLQL8AU3i6wYNlOdNQ
Python你想知道的時間格式Time都在這裏 - https://mp.weixin.qq.com/s/fXv9leS8xsKUEVRvo8sKdA
深度辨析 Python 的 eval() 與 exec() - https://mp.weixin.qq.com/s/Dkn6TXUSfEk_Lg4SF0m81g
爲什麼range不是迭代器?range到底是什麼類型? - https://mp.weixin.qq.com/s/9FdWqAuQgv-t-yLJXwiHTg
6種方法讓Python遍歷多個列表 - https://mp.weixin.qq.com/s/z1wuXp8x08YZQMmKIMQHQg
Python之sorted,max,min內置函數用法 - https://mp.weixin.qq.com/s/KDRedycdz3qAGsaFMrqJBg
愉快地遷移到Python3 - https://mp.weixin.qq.com/s/RPdx2G36kDIQ3_G_XPk9tQ

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章