Scrapy環境搭建

1 需要安裝的環境

(1)Python3.6
(2)PyCharm
(3)Twisted
(4)scrapy
(5)pypiwin32
注:
https://pan.baidu.com/s/1nxfhrkc_UeOfDzRDTc2c0Q#list/path=%2Fscrapy%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA

這裏麪包含了python3.6安裝包,pycharm安裝包,以及Twisted

python比較簡單請自行百度
pycharm安裝好後需要破解,請參考https://blog.csdn.net/u014044812/article/details/78727496
Twisted後面會說到

2開始安裝

(1)pip下載源修改
安裝好python之後,我們需要修改pip下載的鏡像源(因爲默認的是國外鏡像源,pip安裝模塊,經常會出現超時現象)
這裏寫圖片描述
(2)安裝Twisted
打開cmd,將下載好的Twisted拖到cmd中並在前面加上命令pip install
這裏寫圖片描述
(3)安裝scrapy
在cmd中直接輸入pip install scrapy即可
安裝好之後,可以通過下邊兩種方式,查看是否安裝成功:
這裏寫圖片描述
這裏寫圖片描述
(4)安裝pypiwin32
在cmd中輸入pip install pypiwin32

3 測試

(1)目標網站
這裏以http://scitech.people.com.cn/GB/1057/index.html爲例(如有侵權,請聯繫博主)
網頁部分源代碼:
這裏寫圖片描述
(2)創建scrapy項目
這裏寫圖片描述
這裏寫圖片描述
(3)創建爬蟲
這裏寫圖片描述
這裏寫圖片描述
(4)pycharm打開scrapy項目
這裏寫圖片描述
(5)編寫爬蟲
這裏寫圖片描述
(6)結果
這裏寫圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章