在學習使用Scrapy圖片管道的時候,書上沒有給出修改下載的縮略圖文件名稱的方法。自己研究了下,搞定了,記下來。
要爬的是起點中文網:
items.py 中要爬的有這麼幾項:
import scrapy
class DownloadimageItem(scrapy.Item):
# 小說名稱
title = scrapy.Field()
# 小說作者
author = scrapy.Field()
# 小說類型
type = scrapy.Field()
# 圖片 url
image_urls = scrapy.Field()
# 圖片結果信息
images = scrapy.Field()
根據網頁結構,寫出爬蟲程序 :
# -*- coding: utf-8 -*-
import scrapy
from downloadimage.items import DownloadimageItem
class GetimageSpider(scrapy.Spider):
name = 'getimage'
allowed_domains = ['qidian.com']
start_urls = ['https://www.qidian.com/finish']
def parse(self, response):