裝飾器應用之校驗代理IP

使用代理IP，是數據爬取過程中最常用的反爬手段之一。
有經費的，可以訂購代理ip提供商的套餐使用，沒有的也不擔心，許多網站通常都提供了較多的免費代理來吸引客戶。我們可以抓取這些免費的代理，來構建自己的代理IP池。
將代理抓取到本地後，因爲免費的時效性都較短，所以需要進行二次校驗。這一步，你可以定義一個通用的函數，或者，使用更簡潔高效的裝飾器。
校驗分兩步：

1. 正則校驗代理ip的格式是否正確
2. requests添加代理請求目標網站，檢驗代理是否有效

實例如下：

from functools import wraps
import re
import requests
#目標網址
CHECK_URL = 'https://www.baidu.com'
#請求頭
HEADERS = {'User-Agent': 'Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
#請求超時設置/秒
TIMEOUT = 5

'''
 ip格式檢測裝飾器
:param ip:代理ip
:param port:代理端口
'''
def check_proxy_format(func):
    @wraps(func)
    def format_wrapper(*args,**kwargs):
        ip,port = args[:2]
        if re.match('[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$',ip) and (port>0 and port<65535):
            return func(*args,**kwargs)
        print('代理：%s:%d 格式錯誤'%(ip,port))
    return format_wrapper

'''
 代理有效性檢測裝飾器
 :param ip:代理ip
 :param port:代理端口
 :param ptype:協議類型
'''
def check_proxy_valid(func):
    @wraps(func)
    def valid_wrapper(*args,**kwargs):
        ip, port,ptype = args
        proxy = {ptype:'{}://{}:{}'.format(ptype,ip,port)}
        try:
            requests.packages.urllib3.disable_warnings() #忽略告警
            resp = requests.get(CHECK_URL,headers=HEADERS,proxies=proxy,verify=False,allow_redirects=False,timeout=TIMEOUT)
            if resp.status_code==200:
                print('代理:',ip+':'+str(port),'有效')
                return func(*args,**kwargs)
        except Exception as e:
            print('代理：%s:%d無效'%(ip,port))
    return valid_wrapper

@check_proxy_format
@check_proxy_valid
def test(ip,port,ptype):
    return True

test('218.60.8.99',3129,'http') #格式正確測試用例 1
test('118.30.82.54',3629,'http') #格式正確測試用例 2
test('2523.60.8.99',5179,'http')#格式錯誤測試用例

結果：

代理: 218.60.8.99:3129 有效
代理：118.30.82.54:3629無效
代理：2523.60.8.99:5179 格式錯誤

使用了多重裝飾器進行裝飾，不太懂的建議看下博主之前的文章。

博主其他文章推薦：

[1] 【python實用特性】- 迭代、可迭代對象、迭代器

[2] 【python實用特性】- 列表生成式

[3] 【python實用特性】- yield生成器

[4] 【python實用特性】- 裝飾器

[5] 【Matplotlib】-自定義座標軸刻度完成20萬+數據的可視化

[6] Python+selenium實現自動爬取實例

[7] python爬取豆瓣Top250-改進版

[8] requests設置請求頭、代理

[9] requests使用session保持會話