轉自:http://blog.csdn.net/u012150179/article/details/35774323
話說在嘗試設置download_delay小於1,並且無任何其他防止被ban的策略之後,我終於成功的被ban了。
關於scrapy的使用可參見之前文章:
http://blog.csdn.net/u012150179/article/details/34913315
http://blog.csdn.net/u012150179/article/details/34486677
http://blog.csdn.net/u012150179/article/details/34441655
http://blog.csdn.net/u012150179/article/details/32911511
敵退我進,敵攻我擋。
本篇博客主要研究使用防止被ban的幾大策略以及在scrapy中的使用。
1.策略一:設置download_delay
這個在之前的教程中已經使用過(http://blog.csdn.net/u012150179/article/details/34913315),他的作用主要是設置下載的等待時間,大規模集中的訪問對服務器的影響最大,相當與短時間中增大服務器負載。
下載等待時間長,不能滿足段時間大規模抓取的要求,太短則大大增加了被ban的機率。
使用注意:
download_delay可以設置在settings.py中,也可以在spider中設置,在之前博客中(http://blog.csdn.net/u012150179/article/details/34913315)已經使用過,這裏不再過多闡述。
2.策略二:禁止cookies
所謂cookies,是指某些網站爲了辨別用戶身份而儲存在用戶本地終端(Client Side)上的數據(通常經過加密),禁止cookies也就防止了可能使用cookies識別爬蟲軌跡的網站得逞。
使用:
在settings.py中設置COOKIES_ENABLES=False。也就是不啓用cookies middleware,不想web server發送cookies。
3.策略三:使用user agent池
所謂的user agent,是指包含瀏覽器信息、操作系統信息等的一個字符串,也稱之爲一種特殊的網絡協議。服務器通過它判斷當前訪問對象是瀏覽器、郵件客戶端還是網絡爬蟲。在request.headers可以查看user agent。如下,使用scrapy shell查看:
[python] view plain copy
scrapy shell http://blog.csdn.net/u012150179/article/details/34486677
進而輸入如下,可得到uesr agent信息:
由此得到,scrapy本身是使用Scrapy/0.22.2來表明自己身份的。這也就暴露了自己是爬蟲的信息。
使用:
首先編寫自己的UserAgentMiddle中間件,新建rotate_useragent.py,代碼如下:
[python] view plain copy
# -*-coding:utf-8-*-
from scrapy import log
"""避免被ban策略之一:使用useragent池。
使用注意:需在settings.py中進行相應的設置。
"""
import random
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
class RotateUserAgentMiddleware(UserAgentMiddleware):
def __init__(self, user_agent=''):
self.user_agent = user_agent
def process_request(self, request, spider):
ua = random.choice(self.user_agent_list)
if ua:
#顯示當前使用的useragent
print "********Current UserAgent:%s************" %ua
#記錄
log.msg('Current UserAgent: '+ua, level='INFO')
request.headers.setdefault('User-Agent', ua)
#the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape
#for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php
user_agent_list = [\
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
"(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
"(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
"(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
"(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
"(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
"(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
"(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "
"(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "
"(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
建立user agent池(user_agent_list)並在每次發送request之前從agent池中隨機選取一項設置request的User_Agent。編寫的UserAgent中間件的基類爲UserAgentMiddle。
除此之外,要在settings.py(配置文件)中禁用默認的useragent並啓用重新實現的User Agent。配置方法如下:
[python] view plain copy
#取消默認的useragent,使用新的useragent
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
'CSDNBlogCrawlSpider.spiders.rotate_useragent.RotateUserAgentMiddleware' :400
}
至此配置完畢。現在可以運行看下效果。
可以發現一直在變化的UserAgent。
4.策略四:使用IP池
web server應對爬蟲的策略之一就是直接將你的IP或者是整個IP段都封掉禁止訪問,這時候,當IP封掉後,轉換到其他的IP繼續訪問即可。
可以使用Scrapy+Tor+polipo
配置方法與使用教程可參見:http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/。有時間我會翻譯過來。
5.策略五:分佈式爬取
這個,內容就更多了,針對scrapy,也有相關的針對分佈式爬取的GitHub repo。可以搜一下。
原創,轉載請註明:http://blog.csdn.net/u012150179/article/details/35774323