寫google 的 URL 爬蟲時遇到的錯誤
高冷的老師說他做的爬蟲都在國外!!!! 所以沒遇到過這種問題!!!
google了兩天~都是歪果仁的屍體
最後解決辦法很簡單 爬的哪國的網 就用哪國的代理
比如我的google爬蟲在www.google.com.hk
用香港的代理最好的!!
tips www.google.co.kr 配合韓國代理更好用
headers = {
'host': 'www.google.co.kr',
'method': 'GET',
'referer': 'https://www.google.com/',
'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36'
}