什麼是反爬蟲？
就是和爬蟲抗衡，減少被爬取。
因爲搜索引擎的流行，網絡爬蟲已經成了很普及網絡技術，
相當部分國內爬蟲不遵守robots協議。
所有有了保護自己內容不讓別人抓取的反爬蟲需求
發爬蟲方法
1、手工識別和拒絕爬蟲的訪問
2、通過識別爬蟲的User-Agent信息來拒絕爬蟲
3、通過網站流量統計系統和日誌分析來識別爬蟲
4、網站的實時反爬蟲防火牆實現
5、通過JS算法，文字經過一定轉換後才顯示出來，容易被破解。某技術網站採用了這種方法
特點
依靠文字矩陣變換來提高蜘蛛爬蟲軟件抓取的代價.
由發佈人員，而不是技術人員來更新混淆算法
保護方:內容保護的方法素材易複製,易部署和運營
抓取/竊取方:面對對方快速變化,增加了成本