如果你察覺你獲取到的信息內容和目標網站所屏幕顯示的正常信息不同，換句話說所抓取的信息是一片空白的，那麼很有可能就是你抓取的網站在建立網頁頁面的時候程序出現了問題，假如爬取的頻率高過了目標網上平臺的限定閥值，就會被禁止進入訪問。在一般來說，IP就是網站的反扒中機制的依據，當我們對網站進行瀏覽的時候，我們的IP地址就會被記錄，服務器就會把你當作是爬蟲的程序，因此經常的爬取就導致現有的IP地址是不可用的，這樣我們就要想辦法來改動目前自己設備的IP地址或者是現有的爬蟲程序。
撥號服務器
因此網絡爬蟲開發人員一般須要採用兩種技術手段處理該類問題。
手段一：減慢爬取速率，那樣目標網站的壓力就會相對性減小，可是這麼做的話，單位時間之內的爬取量就會相對的減少。
手段二：用撥號服務器設置代理IP，攻克反爬蟲體制進行高頻率抓取，這樣就需要多個穩定的代理IP。普通的基於ADSL撥號的解決方案。通常，在抓取過程中遇到禁止訪問，可以重新進行ADSL撥號，獲取新的IP，從而可以繼續抓取。但是這樣在多網站多線程抓取的時候，如果某一個網站的抓取被禁止了，同時也危害到了其他網站的抓取，總體來說也會降低獲取速度。
另一個一種可能的解決方案，同樣也是基於ADSL撥號，不同的是，需要兩臺能夠進行ADSL撥號的動態VPS，抓取過程中使用這兩臺服務器作爲代理。 假設有A、B兩臺可以進行ADSL撥號的服務器。爬蟲程序在C服務器上運行，使用A作爲代理訪問外網，如果在抓取過程中遇到禁止訪問的狀況，立即將代理切換爲B，然後將A進行重新撥號。如果再遇到禁止訪問就切換爲A做代理，B再撥號，如此反覆。
還有很多問題需要我們在實際抓取過程中，依據問題實際深入分析實際解決，很大程度上來說，爬蟲抓取是一項很麻煩而且很困難的工作，因此現在很多軟件被研發出來，旨在解決爬蟲程序的各種問題。