第一章 urllib數據挖掘 2.2構造請求頭僞造成瀏覽器等

2.1構造請求頭僞造成瀏覽器等`

from urllib import request
import re#導入正則表達式
url = r'https://www.baidu.com/'
#構造請求頭
header={"User - Agent": "Mozilla / 5.0(WindowsNT10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 64.0.3282.140Safari / 537.36Edge / 18.17763"}
#創建自定義請求對象,以對抗反爬
#反爬機制：判斷是否是瀏覽器訪問
#我們可以通過僞裝成瀏覽器進行爬蟲
req = request.Request(url,headers=header)
response = request.urlopen(req).read().decode()#解碼。。。。編碼encode()
print(response)