Python基礎知識——urllib模塊在爬蟲中的應用

以一個小例子引入urllib模塊

import urllib.request
#urlretrieve('要爬取的網址','想要將網頁保存在本地的地址')，該方法可將網頁直接保存在本地，無需read()及寫入操作
a=urllib.request.urlretrieve('http://www.hellobi.com',filename='D:/python學習/1.html')  

#urlcleanup可清除urlretrive產生的緩存
urllib.request.urlcleanup()

#info展示當前環境信息
file=urllib.request.urlopen('http://www.hellobi.com')
file.info()

#getcode獲取網頁狀態碼：200爲正常狀態     
file.getcode()
#geturl獲取網頁的名字
file.geturl()

——來自韋瑋老師課堂筆記及所悟