scrapy 具體安裝教程網上已經有很多了,我也就不贅述了。但是在我 按照網上教程安裝時,遇到的很多問題並沒有一個統一的解決。所以,在此進行一個安裝問題的集錦,如果大家還遇到了其他問題,歡迎提出,隨時更新~ OK!直接上乾貨~
—— 廢話
1.安裝 scrapy 所需文件:
scrapy
pywin32
twisted(依賴於 zope.interface pyopenssl)
lxml
具體文件可去對應官網下載
或者去 該網站下載(適用於windows同學)
2.win7/8同學安裝對應文件出現python 2.7 required 問題
原因:
python 的版本是 python 64bit
解決:
- 卸載 python 64bit, 安裝 python 32bit即可(win8卸載方法:控制面板-卸載程序-卸載)
- win8同學可能在卸載的時候會遇到中斷的問題,可在 該網站 下下載對應文件安裝即可,這個網站下的文件是專門針對於 windows 下64bit的情況
- Tip:在網站下使用Ctrl-F查找將更加方便;安裝whl文件,使用
pip install *.whl,前提要安裝了pip)
3.在運行scrapy crawl spider 時出現 unhandled error in deferred
Unhandled error in Deferred:
[twisted] CRITICAL: Unhandled error in Deferred:
[twisted] CRITICAL:
原因:
pywin32 module 只下載了沒安裝
解決:
進入文件夾 python27/Scripts/ 找到 pywin32_postinstall.py 文件,在當前目錄下的命令行中執行 python pywin32_postinstall.py -install (原答案找到於 stackoverflow)
4.運行 scrapy 時出現缺少文件service_identity
解決:
找到 service_identity-14.0.0-py2.py3-none-any.whl 文件安裝即可