之前我們使用 Scrapy 簡單實驗了一下該框架,利用該框架確實使整個過程簡單了很多,能夠使用戶更加專注於整體的實現而不是細枝末節。但是也有一點不太方便,就是在調試代碼的代碼的時候,需要等待較長的時間才能夠看到結果,這也會影響整個開發的效率。而 Scrapy Shell 則可以部分解決該問題。
Scrapy Shell
啓動
- 打開終端
- 進入到 Scrapy 項目所在的目錄,執行命令:
scrapy shell domainname
示例
這裏以下面的爲例,簡單說明 Scrapy Shell 的操作:
scrapy shell https://www.douban.com/note/760973143/
In [1]: title = response.xpath("//div[@class='note-header note-header-container']/h1/text()").get()
In [2]: print(title)
看故園風物仍是舊時樣
In [3]: author = response.xpath("//div[@class='note-header note-header-container']//a[@class='note-author']/text()").get
...: ()
In [4]: print(author)
雙棹入江泛金風
In [5]: exit()
其實,這算是在 python 環境中進行操作,只是由於 Scrapy 的存在,會提前導入了某些包和構建了某些變量。當然也可以導入其它包,構建其它變量。