第二章 urllib數據庫挖掘2.5使用代理IP

2.5使用代理IP

import random
from urllib import request
#反爬蟲1：判斷請求是否是瀏覽器
#反爬蟲2：判斷請求來源的IP
#應對措施：使用代理IP
proxylist = [
    {"http":"121.31.102.124:8123"},
    {"http":"121.237.149.247:3000"},
    {"http":"139.155.112.245:8080"}
]
proxy = random.choice(proxylist)
print(proxy)
#構建處理器對象
proxyHandler = request.ProxyHandler(proxy)#這裏不使用代理IP的話默認使用自身設備的IP
req = request.Request("https://editor.csdn.net/md/?not_checkout=1")
#創建自定義opner
opener = request.build_opener(proxyHandler)
#構建請求對象
res=opener.open(req).read().decode()
print(res)