寫爬蟲的時候,經常會遇到防DDOS攻擊的網站,需要在頁面停留幾秒後,才能正確打開首頁。
本來我是用的chromedriver的headless模式,但是因爲要打開一個真實的瀏覽器,這種做法非常的消耗資源。
後來,使用V8引擎調用javascript發現也不能很好的解決我的問題,最後在github上發現了cloudflare-scrape項目,可以成功規避掉DDOS的問題。最後附上項目的github鏈接
寫爬蟲的時候,經常會遇到防DDOS攻擊的網站,需要在頁面停留幾秒後,才能正確打開首頁。
本來我是用的chromedriver的headless模式,但是因爲要打開一個真實的瀏覽器,這種做法非常的消耗資源。
後來,使用V8引擎調用javascript發現也不能很好的解決我的問題,最後在github上發現了cloudflare-scrape項目,可以成功規避掉DDOS的問題。最後附上項目的github鏈接
class MetaCls(type): def __new__(cls, *args, **kwargs): print("in MetaCls") # return super(Meta