學習筆記 | python網絡爬蟲 反爬蟲簡介

01 反爬蟲簡介

網絡爬蟲的目的和手段

1. 通過User-Agent校驗反爬

• 瀏覽器在發送請求的時候，會附帶一部分瀏覽器及當前系統環境的參數給服務器，服務器會通過User-Agent的值來區分不同的瀏覽器。
  

2. 通過訪問頻率反爬

3. 通過驗證碼校驗反爬

• 有部分網站不論訪問頻率如何，一定要來訪者輸入驗證碼才能繼續操作。
• 例如，12306網站，不管是登陸還是購票，全部需要驗證驗證碼，與訪問頻率無關。

4. 通過變換網頁結果反爬

5. 通過賬號權限反爬

爬取策略制定