真香~教你用15行代碼爬取當代青年的網易雲評論

 

 

到了深夜,這些所謂的網抑雲(網易雲)少年就開始“無病呻吟”了,但是他們真的使這樣嗎?想必大家都是因爲受愛情的苦,聽聞愛情,十有九悲。可是長期這樣下去,帶心裏和身體都有巨大的傷害。長期的熬夜以及精神狀態。所以在這篇文章在分享技術的同時也希望大家能想得開,把這些事看淡些,隨遇而安。祝福你們每一個人能找到真正適合自己的那個藏在內心深刻的人。

 

好了,廢話不多說,是時候展現真正的技術了。

 

1.無頭瀏覽器selenium是什麼?

Selenium是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。

什麼?像真正的用戶在操作一樣??豈不是模擬人操縱的樣子,一切看上去都正正常常,不會讓被爬者產生懷疑。對的,就是這麼膩害。

2.selenium的優勢?

  1. 自動渲染所有響應內容,可以直接繞過js加密的操作,只要是展示在瀏覽器上看的數據,都可以使用無頭瀏覽器獲取。
  2. 幾乎可以達成可見即可爬。
  3. 使用到的第三方庫,jieba庫、wordcloud庫、MySQLdb、numpy庫。

 

 

1.先用selenium將網易雲上面的某一歌曲(這裏以任然的無人之島爲例)的一定數量的評論爬取並且存數據庫中,進行可視化。

 

2.然後從數據庫中把評論查找出來,進一步用詞雲出來評論,形成一張圖片。某個詞數量最多,當然了,在圖片中某個詞顯示的越大,則這個詞出現的次數,數量,也就是人們評論的某個詞越多,也代表了人們內心的想法。

讓我們看一下效果圖。

 

 

以上呢,就是效果圖了,是不是很炫酷,有沒有發現外形是個人,當然了效果圖的外形也可以是其他的形狀,具體看自己使用的圖片模板是什麼樣子。

 

首先,我們代碼裏面有一條請求網址的url,也就是地址欄的那一串地址,需要聲明一點,僅限網頁版的網易雲音樂官網的歌曲。示例圖如下:

1.請求的url

 

2.需要爬取的評論

 

 

1.爬取評論進庫部分

 

2.進行效果圖展示可視化

 

文章的源碼在這裏,無私奉獻給你們,拿走不謝!

鏈接:https://pan.baidu.com/s/1fLID8sojNA_0oNJHJESeTA 
提取碼:sc39 



 

各位友友,過年越來越近,我的網盤資料是越來越多了,尤其是小白入門Python的資料,我已經用不到了,現準備拿出一些分享給大家,有需要的直接拿走。

 

需要的話可以添加我助教的微信,她時間比較多,備註一下"領資料",方便她知道你的來意和最快速度給你東西,細品下圖:

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章