一,新建虛擬環境(新建方法)
二,用豆瓣源安裝scrapy命令:
pip install SQLAlchemy -i https://pypi.doubanio.com/simple scrapy
2.1如果出現以下錯誤,到:https ://www.lfd.uci.edu/~gohlke/pythonlibs/下載對應的:扭曲
building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required.
在用命令進行Twisted安裝命令:
pip install 儲存的Twisted文件路徑及文件名
三,win系統需安裝pypiwin32命令:
pip install pypiwin32
四,新建scrapy工程項目到指定的儲存路徑下運行命令:
scrapy startproject 工程名稱
五,新建爬蟲模板進入scrapy工程目錄/ spiders當中運行命令:
scrapy genspider 模板名稱 模板網站域名
六,導入工程到pychram當中(打開工程目錄)
七,添加虛擬環境解釋器到pychram當中(文件>>>設置..搜索:項目解釋器添加虛擬環境解釋器目錄的python.exe文件)
八,工程目錄中新建main.py文件(同scrapy.cfg一個級別)
8.1新建的調試文件main.py需要讓pychram找到這個目錄,所以需要定義
from scrapy.cmdline import execute #運行scrapy的命令
import sys #導入路徑
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"]) #啓動命令爲 數組形式 jobbole是模板名稱
九,設置settings.py將:ROBOTSTXT_OBEY = True設置爲:ROBOTSTXT_OBEY = False(關於機器人協議)