Python Scrapy 修改默認圖片管道,更改縮略圖文件名

在學習使用Scrapy圖片管道的時候,書上沒有給出修改下載的縮略圖文件名稱的方法。自己研究了下,搞定了,記下來。

要爬的是起點中文網:

items.py 中要爬的有這麼幾項:

import scrapy


class DownloadimageItem(scrapy.Item):

    # 小說名稱
    title = scrapy.Field()
    # 小說作者
    author = scrapy.Field()
    # 小說類型
    type = scrapy.Field()
    # 圖片 url
    image_urls = scrapy.Field()
    # 圖片結果信息
    images = scrapy.Field()

根據網頁結構,寫出爬蟲程序 :

# -*- coding: utf-8 -*-
import scrapy
from downloadimage.items import DownloadimageItem

class GetimageSpider(scrapy.Spider):
    name = 'getimage'
    allowed_domains = ['qidian.com']
    start_urls = ['https://www.qidian.com/finish']

    def parse(self, response):
   
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章