Scrapy框架新手入門教程

Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

安裝

測試

新建工程

創建spider文件（以豆瓣電影爲例）

架構(綠線是數據流向)

運作流程（個人理解）

製作步驟

在item中指明爬取字段

編寫spider/movie.py

數據存至數據庫

其他

最後

安裝

pip安裝，可能會報錯：

pip install Scrapy

anaconda安裝，推薦：

conda install -c conda-forge scrapy

測試

scrapy

新建工程

scrapy startproject <工程名>

如

scrapy startproject douban

創建的目錄結構

scrapy.cfg: 項目配置文件
douban/: 項目python模塊, 代碼將從這裏導入
douban/items.py: 項目items文件，存要爬取的字段信息，可以插入數據庫、寫入txt等
douban/pipelines.py: 項目管道文件，將爬取的數據進行持久化存儲
douban/settings.py: 項目配置文件，可以配置數據庫等
douban/spiders/: 放置spider的目錄，也就是你要寫邏輯代碼的地方
douban/middlewares：中間件，請求和響應都將經過他，可以配置請求頭、代理、cookie、會話維持等

創建spider文件（以豆瓣電影爲例）

scrapy genspider <項目名> <爬取域>

如

cd douban
scrapy genspider movie movie.douban.com

將在spiders文件夾下自動創建movie.py，並自動生成內容：

可以看出，要建立一個Spider，你必須用scrapy.Spider類創建一個子類，並確定了三個強制的屬性和一個方法。

name = "" ：爬蟲的識別名稱，必須是唯一的，在不同的爬蟲必須定義不同的名字。
allow_domains = [] ：是搜索的域名範圍，也就是爬蟲的約束區域，規定爬蟲只爬取這個域名下的網頁，不存在的URL會被忽略。
start_urls = () ：爬取的URL元祖/列表。爬蟲從這裏開始抓取數據，所以，第一次下載的數據將會從這些urls開始。其他子URL將會從這些起始URL中繼承性生成。
parse(self, response) ：解析的方法，每個初始URL完成下載後將被調用，調用的時候傳入從每一個URL傳回的Response對象來作爲唯一參數，主要作用如下：負責解析返回的網頁數據(response.body)，提取結構化數據(生成item)；生成需要下一頁的URL請求。

架構(綠線是數據流向)

Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。
Scheduler(調度器): 它負責接受引擎發送過來的Request請求，並按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。
Downloader（下載器）：負責下載Scrapy Engine(引擎)發送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，
Spider（爬蟲）：它負責處理所有Responses,從中分析提取數據，獲取Item字段需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheduler(調度器).
Item Pipeline(管道)：它負責處理Spider中獲取到的Item，並進行進行後期處理（詳細分析、過濾、存儲等）的地方。
Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件。
Spider Middlewares（Spider中間件）：你可以理解爲是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）

運作流程（個人理解）

用戶編寫spider並運行
將第一個URL傳給引擎
引擎將URL對應的request傳給調度器
調度器將request排序入隊
調度器將處理好的request返回到引擎
引擎將request按照下載中間件的設置傳給下載器
下載器執行request並獲得response（如果下載失敗，然後引擎告訴調度器，這個request下載失敗了，你記錄一下，待會兒再下載）
下載器將response返回到引擎
引擎將request返回到spider用戶這（默認交到def parse()這個函數處理）
spider處理完數據後，將需要跟進的URL和要保存的item傳給引擎
引擎將item傳給管道進行處理保存，並將URL進入下一輪循環
只有當調度器中不存在任何request了，整個程序纔會停止，（也就是說，對於下載失敗的URL，Scrapy也會重新下載。）

製作步驟

新建項目 (scrapy startproject xxx)：新建一個新的爬蟲項目
明確目標（編寫items.py）：明確你想要抓取的目標
製作爬蟲（spiders/xxspider.py）：製作爬蟲開始爬取網頁
存儲內容（pipelines.py）：設計管道存儲爬取內容

在item中指明爬取字段

如“名稱”、“評分”、“簡介”

Item 定義結構化數據字段，用來保存爬取到的數據，有點像 Python 中的 dict，但是提供了一些額外的保護減少錯誤。
可以通過創建一個 scrapy.Item 類，並且定義類型爲 scrapy.Field 的類屬性來定義一個 Item（可以理解成類似於 ORM 的映射關係）。

在item.py中修改爲：

class DoubanItem(scrapy.Item):
    name = scrapy.Field()
    rating_num = scrapy.Field()
    quote = scrapy.Field()

編寫spider/movie.py

1、選擇目標的xpath（也可以css等其他選擇器）

2、提取出公共部分

3、由於豆瓣有反爬驗證，因此需要加上header

def start_requests(self):
    url = 'http://movie.douban.com/top250/'
    yield scrapy.Request(url, headers=self.headers)

通過start_requests函數，對於運行後第一次訪問請求，就加上了請求頭。因此，start_urls其實也可以不加。

4、爲了方便調試，新建spider/main.py，並寫入

from scrapy.cmdline import execute
execute(["scrapy", "crawl", "movie", "-o", "item.json"])

5、測試一下效果

class MovieSpider(scrapy.Spider):
    name = 'movie'
    allowed_domains = ['movie.douban.com/top250']
    start_urls = ['http://movie.douban.com/top250/']
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}


    def start_requests(self):
        url = 'http://movie.douban.com/top250/'
        yield scrapy.Request(url, headers=self.headers)


    def parse(self, response):
        for each in response.xpath('//*[@id="content"]/div/div[1]/ol/li'):
            print(each.xpath('./div/div[2]/div[1]/a/span[1]').extract())

運行main.py

要提取中間的文字，則在xpath後面再添加“/text()”

6、類似地，完善parse()函數

from ..items import DoubanItem

def parse(self, response):
    # 將得到的數據封裝到一個DoubanItem對象，就是在items.py裏的
    item = DoubanItem()
    for each in response.xpath('//*[@id="content"]/div/div[1]/ol/li'):
        name = each.xpath('./div/div[2]/div[1]/a/span[1]/text()').extract_first()
        rating_num = each.xpath('./div/div[2]/div[2]/div/span[2]/text()').extract_first()
        quote = each.xpath('./div/div[2]/div[2]/p[2]/span/text()').extract_first()
        item['name'] = name
        item['rating_num'] = rating_num
        item['quote'] = quote
        yield item

7、運行main.py後，在spider/item.json裏將看到爬取的數據，以Unicode字符形式。

8、還可以保存爲其他形式，如csv、xml，只需將item.json改爲item.csv等。

數據存至數據庫

1、建庫建表

mysql -uroot -p 
Enter password:
create database scrapy;
use scrapy;
create table movie(id int auto_increment primary key, name varchar(255),rating varchar(10), quote varchar(255))default charset=utf8;

2、在setting.py中配置數據庫連接

mysql_movie = {
    'host': "127.0.0.1",
    "port": 3306,
    "user": "root",
    "password": "pwd",
    "db": "scrapy"
}

3、在setting.py中將以下內容取消註釋

4、在pipelines.py中連接數據庫存儲數據

pip install pymysql

# -*- coding: utf-8 -*-


# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


from .settings import mysql_movie
import pymysql


class DoubanPipeline:
    def __init__(self):
        self.host = mysql_movie["host"]
        self.port = mysql_movie["port"]
        self.user = mysql_movie["user"]
        self.password = mysql_movie["password"]
        self.db = mysql_movie["db"]
        self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user, password=self.password, db=self.db, charset='utf8')
        self.cursor = self.conn.cursor()


    def process_item(self, item, spider):
        sql ='''insert into movie(name, rating, quote)values('%s','%s','%s')''' % (item["name"], item["rating_num"], item["quote"])
        try:
            self.cursor.execute(sql)
            self.conn.commit()
        except:
            self.conn.rollback()
        return item

5、運行main.py後，查詢數據庫

select * from movie;

其他

爲了做一個乖爬蟲，且避免面向監獄編程，建議在setting.py至少開啓以下兩項：

最後

相信你跟我一樣，過完本文，對scrapy已經有了一個大致的瞭解。

Scrapy框架新手入門教程

移植FreeRTOS後運行，卡在uxDeletedTasksWaitingCleanUp

emWin在Windows上使用visual studio2019仿真

Scrapy框架新手入門教程

SpringBoot使用MySQL訪問數據

RTOS函數命名規則

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結