實習的時候用到 scrapy,寫了一個簡單的 demo,建立好 scrapy 項目,寫好 spider 以後
運行 scrapy crawl quotes 的時候,出現了 TCP 鏈接錯誤 [10060],試了很多方法,也用了網上的代理,問題還是沒有解決
推測是由於公司內網的原因,請求不到目標 url ,這種目標主機[存在]找不到的問題解決方法肯定還是要使用代理,最好使用公司的代理翻出去去訪問外網。
就去代理設置找了一下
在局域網裏面,看到代理除了自動監測,還使用了自動配置腳本,於是就去這個地址請求了一下。
果然,發現了一些東西,在腳本里面找到了公司代理。於是添加到請求的 Request 對象裏面。
再試着運行了一下項目
可以看到 <GET 目標 url> 返回了 200(這裏只是簡單打印了 response 對象,沒有打印具體信息)