Python爬蟲環境常用庫安裝
1：urllib urllib.request
這兩個庫是python自帶的庫，不需要重新安裝，在python中輸入如下代碼：
import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)
1
2
3
4
返回結果爲HTTPResponse的對象：
<http.client.HTTPResponse object at 0x000001929C7525F8>
2：正則表達式模塊
import re
1
該庫爲python自帶的庫，直接運行不報錯，證明該庫正確安裝。
3：request庫的安裝
安裝命令：pip install requests
驗證該庫是否安裝成功，運行如下代碼：
import requests
response=requests.get("http://www.baidu.com")
print(response)
1
2
3
4：selenium庫的安裝
由於如果需要使用selenium的話，需要爲本機配置對應瀏覽器的驅動，下面以chomedriver爲例，首先安裝chromedriver，chromedriver與支持對應的chrome版本如下：
chromedriver版本 支持的Chrome版本
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32
如何查看本機的chrome的版本，具體方法如下：
chromedriver的下載地址如下：
http://chromedriver.storage.googleapis.com/index.html
chromedriver解壓後放到Python或者其他配置了環境變量的目錄下。
測試代碼及運行結果如下：
安裝plantomjs
下載地址爲：http://phantomjs.org/download.html
下載完成後，解壓文件夾，將文件夾中phantomjs.exe的拷貝到Python或者其他配置了環境變量的目錄下，或單獨爲其配置環境變量，測試代碼及運行結果如下：
5： 安裝LXML
6：安裝beautifulsoup
7:安裝pyquery
8：安裝pymysql
9：安裝pymongo
10:安裝redis
11:安裝flask
12:安裝django