1.爬蟲被網站識別的特徵：
- 爬取幾次後需要進行驗證
- 響應時間、速度變慢了
- 返回錯誤的狀態碼
2.規避反爬蟲
- 加入user-agent、cookie、referer等信息
- 減緩爬蟲速度，降低請求頻率，設置下載等待時間
- 使用Chrome Headless模擬瀏覽器訪問
- 拒絕遵守Robot協議：ROBOTSTXT_OBEY = False
- 減小併發請求數
- 使用分佈式爬蟲
- 使用代理或代理池
Python爬蟲學習筆記（應對反爬蟲）
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Linux系統中的文件和目錄權限
一、文件屬性 下文中，“文件”一詞默認代指廣義的數據類型，跟“目錄”等詞對比使用時，則專指普通文件（File）這一特定數據類型。 Linux系統中，我們可以使用命令“ls -al”來查看當前目錄