[爬蟲-python] scrapy框架入門實例-百度貼吧

前言

Scrapy是用純Python實現一個爲了爬取網站數據、提取結構性數據而編寫的應用框架，用途非常廣泛
框架的力量，
用戶只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲，用來抓取網頁內容以及各種圖片，非常之方便
scrapy架構圖

Scrapy執行流程圖：

crapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。

Scheduler(調度器): 它負責接受引擎發送過來的Request請求，並按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。

Downloader（下載器）：負責下載Scrapy Engine(引擎)發送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，

Spider（爬蟲）：它負責處理所有Responses,從中分析提取數據，獲取Item字段需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheduler(調度器)，

Item Pipeline(管道)：它負責處理Spider中獲取到的Item，並進行進行後期處理（詳細分析、過濾、存儲等）的地方.

Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件。

Spider Middlewares（Spider中間件）：你可以理解爲是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）

0. 本章內容大概流程

抓取內容（百度貼吧：網絡爬蟲吧）
頁面： http://tieba.baidu.com/f?kw=%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB&ie=utf-8
數據：1.帖子標題；2.帖子作者；3.帖子回覆數
通過觀察頁面html代碼來幫助我們獲得所需的數據內容。

1. 安裝Scrapy

用conda或者pip
conda install scrapy
或者
pip install scrapy

2. 工程建立

在控制檯模式下進入你要建立工程的文件夾執行如下命令創建工程：

scrapy startproject baidutieba

這裏的baidutieba是工程名，框架會自動在當前目錄下創建一個同名的文件夾，工程文件就在裏邊。

(tf1) C:\Users\**\PycharmProjects\tf1\grasp_message>scrapy startproject baidutieba
New Scrapy project 'baidutianba', using template directory 'C:\Users\**\Anaconda3\envs\tf1\lib\site-packages\scrapy\templates\project', created in:
    C:\Users\**\PycharmProjects\tf1\grasp_message\baidutieba

You can start your first spider with:
    cd baidutianba
    scrapy genspider example example.com

我們先看一下目錄結構：

scrapy.cfg: 項目的配置文件
baidutieba/: 該項目的python模塊。之後您將在此加入代碼。
baidutieba/items.py:需要提取的數據結構定義文件。
baidutieba/middlewares.py: 是和Scrapy的請求/響應處理相關聯的框架。
baidutieba/pipelines.py: 用來對items裏面提取的數據做進一步處理，如保存等。
baidutieba/settings.py: 項目的配置文件。
baidutieba/spiders/: 放置spider代碼的目錄。

3. 實現過程

3.1在items.py中定義自己要抓取的數據：

import scrapy
class DetailItem(scrapy.Item):
    # 抓取內容：1.帖子標題；2.帖子作者；3.帖子回覆數
    title = scrapy.Field()
    author = scrapy.Field()
    reply = scrapy.Field()

【注】上面類中的title、author、reply就像是字典中的“鍵”，爬到的數據就像似字典中的“值”。

3.2 然後在spiders目錄下編輯myspider.py那個文件：

import scrapy
from baidutieba.items import BaidutiebaItem
import sys


class MySpider(scrapy.Spider):
    """
    name:scrapy唯一定位實例的屬性，必須唯一
    allowed_domains：允許爬取的域名列表，不設置表示允許爬取所有
    start_urls：起始爬取列表
    start_requests：它就是從start_urls中讀取鏈接，然後使用make_requests_from_url生成Request，
                    這就意味我們可以在start_requests方法中根據我們自己的需求往start_urls中寫入
                    我們自定義的規律的鏈接
    parse：回調函數，處理response並返回處理後的數據和需要跟進的url
    log：打印日誌信息
    closed：關閉spider
    """
    # 設置name
    name = "spidertieba"
    # 設定域名
    allowed_domains = ["baidu.com"]
    # 填寫爬取地址
    start_urls = [
        "http://tieba.baidu.com/f?kw=%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB&ie=utf-8",
    ]

    # 編寫爬取方法
    def parse(self, response):
        for line in response.xpath('//li[@class=" j_thread_list clearfix"]'):
            # 初始化item對象保存爬取的信息
            item = BaidutiebaItem()
            # 這部分是爬取部分，使用xpath的方式選擇信息，具體方法根據網頁結構而定
            item['title'] = line.xpath(
                './/div[contains(@class,"threadlist_title pull_left j_th_tit ")]/a/text()').extract()
            item['author'] = line.xpath(
                './/div[contains(@class,"threadlist_author pull_right")]//span[contains(@class,"frs-author-name-wrap")]/a/text()').extract()
            item['reply'] = line.xpath(
                './/div[contains(@class,"col2_left j_threadlist_li_left")]/span/text()').extract()
            yield item

【注】xpath語法可參考：http://www.w3school.com.cn/xpath/xpath_syntax.asp

3.3 調試技巧

3.3.1.我們可以通過命令進入scrapy shell：

scrapy shell http://tieba.baidu.com/f?kw=%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB&ie=utf-8

來方便的查看我們xpath代碼所獲得的結果，以便調試。

(tf1) C:\Users\**\PycharmProjects\tf1\grasp_message>scrapy shell http://tieba.baidu.com/f?kw=%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB&ie=utf-8

3.3.2 chrome console 調試xpath

F12->$x(“//title”)
[<title>Online Tools for Software Developers (Free)</title>]

不過這樣直接copy 出來的一般要做修改的。不然它只能定位一個元素。

3.4 執行命令 scrapy crawl [類中name值]

直接到你的項目目錄下

(tf1) C:\Users\**\PycharmProjects\tf1\grasp_message\baidutianba>scrapy crawl spidertieba -o items.json
Traceback (most recent call last):

由於第二步中我們在類MySpider下定義了 name =“spidertieba” ，所以執行命令：scrapy crawl spidertieba -o items.json。 -o 指定文件。
這樣我們就會看到此目錄下生成了items.json文件

items.json文件的內容就是要爬取的內容。

或者到spiders目錄下執行下面命令

scrapy runspider myspider.py -o runspider_items.json

runspider_items.json 就是爬取的內容，這個命令一般是檢查你寫的spider文件

4. 查看結果

簡單查看一下， 創建一個pyhon 的文件print_json.py

import json

with open('items.json') as f:
    rownum = 0
    new_list = json.load(f)
    for i in new_list:
        rownum += 1
        print("""line{}:  title:{},  author:{},  reply:{}.""".format(rownum,
                                                                     i['title'][0],
                                                                     i['author'][0],
                                                                     i['reply'][0]))

至此，scrapy的最簡單的應用就完成了。

參考資料

[1]Scrapy 框架介紹
[2] https://www.cnblogs.com/wcwnina/p/10399810.html

https://www.cnblogs.com/yangshaolun/p/10920761.html
https://blog.csdn.net/six66667/article/details/93487869