使用爬蟲爬取網絡的數據,一般需要對網頁進行分析,而直接使用瀏覽器可以說是最方便的了,比如使用 chrome 瀏覽器就可以查看網絡請求和發送的參數。
在 chrome 瀏覽器中右鍵->檢查或者 F12 就可以打開開發者選項:
在上邊的各個選項中,常用的主要有:
- Elements:表示構成該網頁的源代碼
- Console:表示網頁的控制檯
- Sources:組成這個網頁的所有源文件
- Network:表示加載該頁面的時候,瀏覽器所發送的所有請求
使用爬蟲爬取網絡的數據,一般需要對網頁進行分析,而直接使用瀏覽器可以說是最方便的了,比如使用 chrome 瀏覽器就可以查看網絡請求和發送的參數。
在 chrome 瀏覽器中右鍵->檢查或者 F12 就可以打開開發者選項:
在上邊的各個選項中,常用的主要有: