Python爬蟲：BeautifulSoup4初探

需求：使用BeautifulSoup4抓取糗事百科的第一頁熱門段子

1、安裝：

sudo pip3 install BeautifulSoup4

2、引入bs4和requests包

import requests
from bs4 import BeautifulSoup

3、使用requests請求獲取頁面內容，並使用bs4進行解析

content = requests.get('https://www.qiushibaike.com/hot/').content
soup = BeautifulSoup(content, 'html.parser')

4、使用bs4中的findall方法，在所有的div標籤中查找類class選擇器名爲content中的內容並輸出：

for div in soup.find_all('div',{'class':'content'}):
    print(div.text.strip())

整合代碼得到：

import requests
from bs4 import BeautifulSoup

content = requests.get('https://www.qiushibaike.com/hot/').content
soup = BeautifulSoup(content, 'html.parser')

for div in soup.find_all('div',{'class':'content'}):
    print(div.text.strip())

結果爲：

就剛剛，在城郊河裏夜釣，打了十根海杆，兩根菸還沒抽完，突然鈴聲大作，揚杆，刺魚，感覺重魚，趕緊收線，尼瑪這魚一個勁要線，收收放放快半個小時，引來一羣釣友和河邊散步的行人，都在討論今晚要出巨物了，～～～～～～～～～～割～～～～～～～～～～～～～～有眼神好的哥們說看對面好像也中大魚了，突然想起網上流傳纏線倆人對溜了一夜的笑話，趕緊衝對面喊：對面中魚的釣友，別收線了，是不是我倆鉤掛一起了。你妹啊，對面一停，我這也不要線了，原來我倆對溜了半小時
今天天氣不錯，媳婦去逛街，遇見夏裝清倉，買了幾件回來。按照慣例，她開始考我每件衣服多少錢。先是一件T恤，我猜50，居然蒙對了，再猜就猜不中了。後來媳婦說:告訴你吧，剩下這三件一共200。我擅長計算，脫口說了一句話，媳婦不拿好眼色看我。
上海堡壘這個片子，真的挺好的，演員的演技十分出色，雖然是配音，但是對上的地方特別多，最需要誇讚的就是特效，相當震撼。推薦大家去看看。畢竟，冤枉錢不能我一個人花。
......