Requests庫是python的第三方庫,也是目前公認的爬取網頁最好的第三方庫。
可在http://www.python-requests.org獲得Requests的更多信息
Requests庫的安裝方法如下:
1.用管理員身份啓動cmd控制檯
2.在命令行輸入pip install requests進行安裝模塊
3.檢測requests模塊安裝的效果
啓動IDLE,啓動步驟:找到python的安裝包-進入lib-進入idlelib,雙擊idle.bat即可啓動
以訪問百度主頁爲例,依次輸入:
import requests
r = requests.get("http://www.baidu.com")
r.status_code 訪問百度的狀態碼
r.encoding = 'utf-8'
r.text
即可成功抓取百度的首頁
或者直接在pycharm中寫代碼:
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
r.encoding = 'utf-8'
print r.text
運行之後即可看到爬取百度首頁成功