scrapy使用selenium時爬蟲關閉瀏覽器的方法

這裏是官方提供的最新的方法

from scrapy import signals
# 此爲官方推薦的信號使用方法,用來關閉瀏覽器
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):

   spider = super(YourSpider, cls).from_crawler(crawler, *args, **kwargs)
   crawler.signals.connect(spider.closeSpider, signals.spider_closed)
   return spider

def closeSpider(self):
   self.driver.quit()

# 說明
spider.closeSpider是爲了調用 def closeSpider(self):方法
signals.spider_closed 發出信號,當爬蟲關閉時調用,更可以使用spider_opened等各種方法,這些在源碼中都可以找到
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章