scrapy框架新項目開發安裝

一,新建虛擬環境(新建方法

二,用豆瓣源安裝scrapy命令:

pip install SQLAlchemy -i https://pypi.doubanio.com/simple scrapy

2.1如果出現以下錯誤,到:https  ://www.lfd.uci.edu/~gohlke/pythonlibs/下載對應的:扭曲 

building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required.

在用命令進行Twisted安裝命令:

pip install 儲存的Twisted文件路徑及文件名

三,win系統需安裝pypiwin32命令:

pip install pypiwin32

四,新建scrapy工程項目到指定的儲存路徑下運行命令:

scrapy startproject  工程名稱

五,新建爬蟲模板進入scrapy工程目錄/ spiders當中運行命令:

scrapy genspider 模板名稱 模板網站域名

六,導入工程到pychram當中(打開工程目錄)

七,添加虛擬環境解釋器到pychram當中(文件>>>設置..搜索:項目解釋器添加虛擬環境解釋器目錄的python.exe文件)

八,工程目錄中新建main.py文件(同scrapy.cfg一個級別)

8.1新建的調試文件main.py需要讓pychram找到這個目錄,所以需要定義

from scrapy.cmdline import execute #運行scrapy的命令

import sys  #導入路徑
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])  #啓動命令爲 數組形式 jobbole是模板名稱

九,設置settings.py將:ROBOTSTXT_OBEY = True設置爲:ROBOTSTXT_OBEY = False(關於機器人協議)

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章