2.1網絡爬蟲引發的問題
2.1.1 網絡爬蟲的尺度
2.1.2網絡爬蟲的法律風險
- 服務器上的數據產權歸屬
- 網絡爬蟲獲取數據後牟利將帶來法律風險
2.1.2網絡爬蟲泄露隱私
- 網絡爬蟲可能具備突破簡單訪問控制的能力,獲得被保護數據從而泄露個人隱私
2.1.3網絡爬蟲引發的問題
- 騷擾問題
- 法律問題
- 隱私泄露
2.1.3對待網絡爬蟲的限制
- 服務器 網站的所有者:通過來源審查限制網絡爬蟲
- 發佈公告:Robots協議
2.2Robots協議
案例:京東的Robots協議
https://www.jd.com/robots.txt
第二行表示任何路徑都不能訪問/?*開頭的路徑
2.3Robots協議的遵守方式
類人行爲可不參考Robots協議
例如一天內僅僅訪問幾次