-
這些腳本有一個共性,都是和web相關的,總要用到獲取鏈接的一些方法,再加上simplecd這個半爬蟲半網站的項目,累積不少爬蟲抓站的經驗,在此總結一下,那麼以後做東西也就不用重複勞動了。
-
1.最基本的抓站
- import urllib2
- content = urllib2.urlopen('http://XXXX').read()
2.使用代理服務器
這在某些情況下比較有用,比如IP被封了,或者比如IP訪問的次數受到限制等等。
- import urllib2
- proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XXXX'})
- opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
- urllib2.install_opener(opener)
- content = urllib2.urlopen('http://XXXX').read()
3.需要登錄的情況
登錄的情況比較麻煩我把問題拆分一下:
-
3.1 cookie的處理
- import urllib2, cookielib
- cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
- opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
- urllib2.install_opener(opener)
- content = urllib2.urlopen('http://XXXX').read()
是的沒錯,如果想同時用代理和cookie,那就加入proxy_support然後operner改爲
- opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)
3.2 表單的處理
登錄必要填表,表單怎麼填?首先利用工具截取所要填表的內容
比如我一般用firefox+httpfox插件來看看自己到底發送了些什麼包
這個我就舉個例子好了,以verycd爲例,先找到自己發的POST請求,以及POST表單項:
-
可以看到verycd的話需要填username,password,continueURI,fk,login_submit這幾項,其中fk是隨機生 成的(其實不太隨機,看上去像是把epoch時間經過簡單的編碼生成的),需要從網頁獲取,也就是說得先訪問一次網頁,用正則表達式等工具截取返回數據中 的fk項。continueURI顧名思義可以隨便寫,login_submit是固定的,這從源碼可以看出。還有username,password那 就很顯然了。
-
好的,有了要填寫的數據,我們就要生成postdata
- import urllib
- postdata=urllib.urlencode({
- 'username':'XXXXX',
- 'password':'XXXXX',
- 'continueURI':'http://www.verycd.com/',
- 'fk':fk,
- 'login_submit':'登錄'
- })
然後生成http請求,再發送請求:
- req = urllib2.Request(
- url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
- data = postdata
- )
- result = urllib2.urlopen(req).read()
3.3 僞裝成瀏覽器訪問
某些網站反感爬蟲的到訪,於是對爬蟲一律拒絕請求
這時候我們需要僞裝成瀏覽器,這可以通過修改http包中的header來實現
#…
- headers = {
- 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
- }
- req = urllib2.Request(
- url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
- data = postdata,
- headers = headers
- )
- #...
3.4 反”反盜鏈”
某些站點有所謂的反盜鏈設置,其實說穿了很簡單,就是檢查你發送請求的header裏面,referer站點是不是他自己,所以我們只需要像3.3一樣,把headers的referer改成該網站即可,以黑幕著稱地cnbeta爲例:
- #...
- headers = {
- 'Referer':'http://www.cnbeta.com/articles'
- }
- #...
headers是一個dict數據結構,你可以放入任何想要的header,來做一些僞裝。例如,有些自作聰明的網站總喜歡窺人隱私,別人通過代理
訪問,他偏偏要讀取header中的X-Forwarded-For來看看人家的真實IP,沒話說,那就直接把X-Forwarde-For改了吧,可以 改成隨便什麼好玩的東東來欺負欺負他,呵呵。
-
3.5 終極絕招
有時候即使做了3.1-3.4,訪問還是會被據,那麼沒辦法,老老實實把httpfox中看到的headers全都寫上,那一般也就行了。
再不行,那就只能用終極絕招了,selenium直接控制瀏覽器來進行訪問,只要瀏覽器可以做到的,那麼它也可以做到。類似的還有pamie,watir,等等等等。
-
4.多線程併發抓取
單線程太慢的話,就需要多線程了,這裏給個簡單的線程池模板
這個程序只是簡單地打印了1-10,但是可以看出是併發地。
- from threading import Thread
- from Queue import Queue
- from time import sleep
- #q是任務隊列
- #NUM是併發線程總數
- #JOBS是有多少任務
- q = Queue()
- NUM = 2
- JOBS = 10
- #具體的處理函數,負責處理單個任務
- def do_somthing_using(arguments):
- print arguments
- #這個是工作進程,負責不斷從隊列取數據並處理
- def working():
- while True:
- arguments = q.get()
- do_somthing_using(arguments)
- sleep(1)
- q.task_done()
- #fork NUM個線程等待隊列
- for i in range(NUM):
- t = Thread(target=working)
- t.setDaemon(True)
- t.start()
- #把JOBS排入隊列
- for i in range(JOBS):
- q.put(i)
- #等待所有JOBS完成
- q.join()
5.驗證碼的處理
碰到驗證碼咋辦?這裏分兩種情況處理:
-
1.google那種驗證碼,涼拌
-
2.簡單的驗證碼:字符個數有限,只使用了簡單的平移或旋轉加噪音而沒有扭曲的,這種還是有可能可以處理的,一般思路是旋轉的轉回來,噪音去掉,然後劃分單個字符,劃分好了以後再通過特徵提取的方法(例如PCA)降維並生成特徵庫,然後把驗證碼和特徵庫進行比較。這個比較複雜,一篇博文是說不完的,這裏就不展開了,具體做法請弄本相關教科書好好研究一下。
-
3.事實上有些驗證碼還是很弱的,這裏就不點名了,反正我通過2的方法提取過準確度非常高的驗證碼,所以2事實上是可行的。
-
6.總結
基本上我遇到過的所有情況,用以上方法都順利解決了,不太清楚還有沒有其他漏掉的情況,所以本文到這裏就完成了,以後要是碰上其他情況,再補充相關方法好了:)