Pythonwwwhj8828com1668725OO01多線程爬蟲實戰

Queue線程安全隊列解釋：

    在線程中，訪問一些全局變量，加鎖是一個經常的過程。如果你是想把一些數據存儲到某個隊列中，那麼Python內置了一個線程安全的模塊叫做queue模塊。Python中的queue模塊中提供了同步的、線程安全的隊列類，包括FIFO（先進先出）隊列Queue，LIFO（後入先出）隊列LifoQueue。這些隊列都實現了鎖原語（可以理解爲原子操作，即要麼不做，要麼都做完），能夠在多線程中直接使用。可以使用隊列來實現線程間的同步。

相關的函數如下：
初始化Queue(maxsize)：創建一個先進先出的隊列。
qsize()：返回隊列的大小。
empty()：判斷隊列是否爲空。
full()：判斷隊列是否滿了。
get()：從隊列中取最後一個數據。
put()：將一個數據放到隊列中。

使用生產者與消費者模式多線程下載表情包：

import threading
import requests
from lxml import etree
from urllib import request
import os
import re
from queue import Queue

class Producer(threading.Thread):

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
def __init__(self,page_queue,img_queue,*args,**kwargs):
    super(Producer, self).__init__(*args,**kwargs)
    self.page_queue = page_queue
    self.img_queue = img_queue

def run(self):
    while True:
        if self.page_queue.empty():
            break
        url = self.page_queue.get()
        self.parse_page(url)

def parse_page(self,url):
    response = requests.get(url,headers=self.headers)
    text = response.text
    html = etree.HTML(text)
    imgs = html.xpath("//div[@class='page-content text-center']//a//img")
    for img in imgs:
        if img.get('class') == 'gif':
            continue
        img_url = img.xpath(".//@data-original")[0]
        suffix = os.path.splitext(img_url)[1]
        alt = img.xpath(".//@alt")[0]
        alt = re.sub(r'[，。？?,/\\·]','',alt)
        img_name = alt + suffix
        self.img_queue.put((img_url,img_name))

class Consumer(threading.Thread):

def __init__(self,page_queue,img_queue,*args,**kwargs):
    super(Consumer, self).__init__(*args,**kwargs)
    self.page_queue = page_queue
    self.img_queue = img_queue

def run(self):
    while True:
        if self.img_queue.empty():
            if self.page_queue.empty():
                return
        img = self.img_queue.get(block=True)
        url,filename = img
        request.urlretrieve(url,'images/'+filename)
        print(filename+'  下載完成！')

def main():

page_queue = Queue(100)
img_queue = Queue(500)
for x in range(1,101):
    url = "http://www.doutula.com/photo/list/?page=%d" % x
    page_queue.put(url)

for x in range(5):
    t = Producer(page_queue,img_queue)
    t.start()

for x in range(5):
    t = Consumer(page_queue,img_queue)
    t.start()

if name == '__main__':

main()

GIL全局解釋器鎖：
Python自帶的解釋器是CPython。CPython解釋器的多線程實際上是一個假的多線程（在多核CPU中，只能利用一核，不能利用多核）。同一時刻只有一個線程在執行，爲了保證同一時刻只有一個線程在執行，在CPython解釋器中有一個東西叫做GIL（Global Intepreter Lock），叫做全局解釋器鎖。這個解釋器鎖是有必要的。因爲CPython解釋器的內存管理不是線程安全的。當然除了CPython解釋器，還有其他的解釋器，有些解釋器是沒有GIL鎖的，見下面：
Jython：用Java實現的Python解釋器。不存在GIL鎖。更多詳情請見：https://zh.wikipedia.org/wiki/Jython
IronPython：用.net實現的Python解釋器。不存在GIL鎖。更多詳情請見：https://zh.wikipedia.org/wiki/IronPython
PyPy：用Python實現的Python解釋器。存在GIL鎖。更多詳情請見：https://zh.wikipedia.org/wiki/PyPy
GIL雖然是一個假的多線程。但是在處理一些IO操作（比如文件讀寫和網絡請求）還是可以在很大程度上提高效率的。在IO操作上建議使用多線程提高效率。在一些CPU計算操作上不建議使用多線程，而建議使用多進程

多線程下載百思不得姐段子：

import requests
from lxml import etree
import threading
from queue import Queue
import csv

class BSSpider(threading.Thread):

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
def __init__(self,page_queue,joke_queue,*args,**kwargs):
    super(BSSpider, self).__init__(*args,**kwargs)
    self.base_domain = 'http://www.budejie.com'
    self.page_queue = page_queue
    self.joke_queue = joke_queue

def run(self):
    while True:
        if self.page_queue.empty():
            break
        url = self.page_queue.get()
        response = requests.get(url, headers=self.headers)
        text = response.text
        html = etree.HTML(text)
        descs = html.xpath("//div[@class='j-r-list-c-desc']")
        for desc in descs:
            jokes = desc.xpath(".//text()")
            joke = "\n".join(jokes).strip()
            link = self.base_domain+desc.xpath(".//a/@href")[0]
            self.joke_queue.put((joke,link))
        print('='*30+"第%s頁下載完成！"%url.split('/')[-1]+"="*30)

class BSWriter(threading.Thread):

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

def __init__(self, joke_queue, writer,gLock, *args, **kwargs):
    super(BSWriter, self).__init__(*args, **kwargs)
    self.joke_queue = joke_queue
    self.writer = writer
    self.lock = gLock

def run(self):
    while True:
        try:
            joke_info = self.joke_queue.get(timeout=40)
            joke,link = joke_info
            self.lock.acquire()
            self.writer.writerow((joke,link))
            self.lock.release()
            print('保存一條')
        except:
            break

def main():

page_queue = Queue(10)
joke_queue = Queue(500)
gLock = threading.Lock()
fp = open('bsbdj.csv', 'a',newline='', encoding='utf-8')
writer = csv.writer(fp)
writer.writerow(('content', 'link'))

for x in range(1,11):
    url = 'http://www.budejie.com/text/%d' % x
    page_queue.put(url)

for x in range(5):
    t = BSSpider(page_queue,joke_queue)
    t.start()

for x in range(5):
    t = BSWriter(joke_queue,writer,gLock)
    t.start()

if name == '__main__':

main()