scrapy框架環境配置
anaconda
簡介
conda是一款非常優秀的,用來創建虛擬環境,並管理python包的工具。你可以創建一個虛擬環境,這個環境專門用來安裝爬蟲有關的包。再創建一個虛擬環境,用來安裝機器學習的包。這樣的話就可以在在不同的環境下幹不同的事,避免一些不必要的衝突。
安裝
- 下載地址:Anaconda官網
- 下載很簡單,根據自己的需要下載對應的版本
- 安裝過程很簡單,基本上就是一直點下一步,點到底。但有一點需要注意:
pycharm
簡介
pycharm是一款非常優秀的第三方python的IDLE,其代碼補全功能非常方便,當然還有其他的功能,可以大大提高開發效率,減少不必要的工作。
安裝
同理,一路next就可以了,只有一點需要注意。
安裝各種包
打開anaconda的anaconda prompt,創建一個名爲scrapy的環境,輸入命令。
conda create -n scrapy python=3.7
-n 是name的意思,名字根據自己的喜好取,python=3.7是設置這個環境下的python版本,目前是3.7支持的最好,所以用3.7。
繼續:
conda activate scrapy
從base環境切換到scrapy環境
然後:
conda install pip
安裝pip安裝器,因爲很多包都是通過pip命令來安裝的。
最後:
pip install scrapy
安裝scrapy框架