nginx優化-nginx防爬蟲

安全優化-nginx防爬蟲

   1、利用一個特殊協議 robots協議

   2、利用nginx配置實現防止爬蟲

   3、開發的角度進行防止

每個網站都有的爬蟲協議說明robots.txt-->希望大家遵守的，也是防止爬蟲的一種方法

範例：

   http://www.baidu.com/robots.txt

   http://www.taobao.com/robots.txt

利用nginx配置實現防止爬蟲