使用Python爬取中國大學排名,並格式化對其輸出內容

首先,我們需要注意幾點
1.可以使用isinstance語句配合bs4庫中的bs4.element.Tag判斷獲取到的對象是不是標籤對象.
2.輸出內容並且要求他用空白補齊時,系統默認用的是英文空白符,英文空白符和中文空白符(chr(12288)獲取)寬度不一樣。

#代碼使用python3.x編寫
import requests
from bs4 import BeautifulSoup
import bs4 #導入bs4庫是爲了獲取節點的對象類型是不是節點類型

def getHTMLText(url):
    r = requests.get(url,timeout=30)
    if(r.status_code != 200):
        return ""
    else:
        r.encoding = r.apparent_encoding
        return r.text
def fillUnivList(ulist,text):
    soup = BeautifulSoup(text, "html.parser")
    for tr in soup.find("tbody").children:
        # 判斷是不是節點類型
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')#等同於tr.find_all('td')
            ulist.append([tds[0].next.string,tds[1].string,tds[3].string]) #獲取子節點標籤裏面的內容,並放到ulist裏面

def printUnivList(ulist,num):
    print(len(ulist))
    templte = "{0:{3}^10}\t{1:{3}^10}\t{2:{3}^10}" #0,1,2,3表示的是第幾個參數:是必須寫的,^表示居中對齊,5和10表示字符數量,{3}表示用第3個參數來填充,\t是橫向製表符
    print(templte.format("序號","大學名稱","分數",chr(12288))) #12288表示中文空格符號
    for i in range(num): #num控制顯示數量
            print(templte.format(ulist[i][0],ulist[i][1],ulist[i][2],chr(12288)))


def main():
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html"
    htmlText = getHTMLText(url)
    uinfo = []
    fillUnivList(uinfo,htmlText)
    printUnivList(uinfo,20)

main()
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章