我們的學習爬蟲的動力是什麼?
有人可能會說:如果我學好了,我可以找一個高薪的工作。
有人可能會說:我學習編程希望能夠爲社會做貢獻(手動滑稽)
有人可能會說:爲了妹子!
.....
其實我們會發現妹子纔是第一生產力呀!
今天咱們就是爬取今日頭條,你要問我爲什麼要爬取今日頭條?是因爲愛嘛?
是因爲責任嘛?
不,是因爲頭條裏面的有很多美女圖片,然後我們可以把她們都爬取下來!!!
是不是想想都覺得很興奮,是不是都要流鼻血了?!
我們要做的就是把上面的圖片給爬下來。
開始分析網站
按下f12,然後點擊network,刷新下你可以看到這些
在網頁上可以看到圖片會隨着你下拉網頁而進行顯示更多的圖片。
今日頭條的網站是動態加載的,其實可以很輕鬆的就可以在xhr的文件裏面找到。
不斷地發送請求,點擊這個請求看看是返回什麼數據
可以看到這是個json,裏面有圖片的url,這個就是我們要找的東西。
我們可以用json庫來解析,還有這個網站是get請求,這樣就可以用requests庫來發送然後解析下就可以了,非常簡單。
代碼:需要完整的代碼關注轉發,加我QQ羣:836962007 即可獲取!
最後給你們看下結果
上述文章如有錯誤歡迎在留言區指出,如果這篇文章對你有用,點個贊,轉個發如何?
好了給大家送上這一篇文的福利 加我QQ羣:836962007即可獲取哦!