python urllib爬蟲模塊使用解析

這篇文章主要介紹了python urllib爬蟲模塊使用解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

前言

網絡爬蟲也稱爲網絡蜘蛛、網絡機器人,抓取網絡的數據。其實就是用Python程序模仿人點擊瀏覽器並訪問網站,而且模仿的越逼真越好。一般爬取數據的目的主要是用來做數據分析,或者公司項目做數據測試,公司業務所需數據。

而數據來源可以來自於公司內部數據,第三方平臺購買的數據,還可以通過網絡爬蟲爬取數據。python在網絡爬蟲方向上有着成熟的請求、解析模塊,以及強大的Scrapy網絡爬蟲框架。

爬蟲分類

1、通用網絡爬蟲:搜索引擎使用,遵守robots協議(君子協議)

robots協議 :網站通過robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。https://www.taobao.com/robots.txt

2、聚焦網絡爬蟲 :自己寫的爬蟲程序

爬蟲爬取數據步驟

  • 確定需要爬取的URL地址
  • 由請求模塊向URL地址發出請求,並得到網站的響應
  • 從響應內容中提取所需數據
    • 所需數據,保存
    • 頁面中有其他需要繼續跟進的URL地址,繼續第2步去發請求,如此循環

請求模塊

from urllib import request

request.urlopen()  向網站發起請求並獲取響應對象

參數:

URL:需要爬取的URL地址

timeout: 設置等待超時時間,指定時間內未得到響應拋出超時異常

響應對象(response)方法

  • string = response.read().decode('utf-8') 獲取響應對象內容(網頁源代碼),返回內容爲字節串bytes類型,順便需要decode轉換成string。
  • url = response.geturl() 返回實際數據的URL地址
  • code = response.getcode() 返回HTTP響應碼
from urllib import request
url = 'http://www.baidu.com/'

# 向百度發請求,得到響應對象
response = request.urlopen(url)

# 返回網頁源代碼
print(response.read().decode('utf-8'))

# 返回http響應碼
print(response.getcode())    # 200
# 返回實際數據URL地址
print(response.geturl())    # http://www.baidu.com/

urllib.request.Request()  創建請求對象(包裝請求,重構User-Agent,使程序更像正常人類請求)

參數

URL:請求的URL地址

headers:添加請求頭(爬蟲和反爬蟲鬥爭的第一步)

使用流程

1、創建請求對象(重構User-Agent)

req = urllib.request.Request(url=url,headers={'User-Agent':'Mozilla/5.0 xxxx'})

2、請求對象發起請求,獲取響應對象(urlopen)

res = urllib.request.urlopen(req)

3、通過相應對象獲取響應內容

html = res.read().decode('utf-8')

from urllib import request
url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'}
# 創建請求對象(包裝請求)
req = request.Request(url=url,headers=headers)
# 發請求,獲取響應對象
res = request.urlopen(req)
# 讀取內容,返回網頁代碼
html = res.read().decode('utf-8')
print(html)

URL地址編碼

urllib.parse.urlencode({dict})

URL地址中一個查詢參數

查詢參數:{'wd' : '美女'}

urlencode編碼後:'wd=%e7%be%8e%e5%a5%b3'

from urllib import parse
url = 'http://www.baidu.com/s?'
query_string = parse.urlencode({'wd':'美女'})
print(query_string)     # wd=%E7%BE%8E%E5%A5%B3
url = url + query_string
# http://www.baidu.com/wd=%E7%BE%8E%E5%A5%B3

URL地址中多個查詢參數

from urllib import parse
query_string_dict = {'wd' : '美女',
          'pn' : '50'}
query_string = parse.urlencode(query_string_dict)
url = 'http://www.baidu.com/s?{}'.format(query_string)
print(url)
# http://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3&pn=50

拼接URL地址的3種方式

1、字符串相加

'https://www.baidu.com/s?' + urlencode({'wd':'美女','pn':'50'})

2、字符串格式化(佔位符)

'https://www.baidu.com/s?%s' % urlencode({'wd':'美女','pn':'50'})

3、format()方法

'https://www.baidu.com/s?{}'.format(urlencode({'wd':'美女','pn':'50'}))

示例 在百度中輸入要搜索的內容,把響應內容保存到本地文件

from urllib import request
from urllib import parse

# 定義常用變量
word = input('請輸入搜索內容:')
url = 'http://www.baidu.com/s?'
headers = {'User-Agent':'Mozilla/5.0'}

# url編碼,拼接完整URL
query_string = parse.urlencode({'wd':word})
url = url + query_string

# 三步走
req = request.Request(url=url,headers=headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')

filename = '{}.html'.format(word)
with open(filename,'w',encoding='utf-8') as f:
  f.write(html)

urllib.parse.quote(string)編碼

from urllib import parse
parse.quote('美女')    # %E7%BE%8E%E5%A5%B3

urllib.parse.unquote(string)解碼

from urllib import parse
result = parse.unquote('%E7%BE%8E%E5%A5%B3')
print(result)    # 美女

百度貼吧網頁獲取

  • 輸入貼吧名稱
  • 輸入起始頁
  • 輸入終止頁
  • 保存到本地文件:第1頁.html、第2頁.html ...

實現步驟

1、找URL規律

1、不同吧

2、不同頁

第1頁:http://tieba.baidu.com/f?kw=????&pn=0

第2頁:http://tieba.baidu.com/f?kw=????&pn=50

第n頁:pn=(n-1)*50

2、獲取網頁內容

3、保存(本地文件、數據庫)

from urllib import request,parse
import time
import random

class BaiduSpider(object):
  def __init__(self):
    self.url = 'http://tieba.baidu.com/f?kw={}&pn={}'
    self.headers = {'User-Agent':'Mozilla/5.0'}

  # 獲取響應
  def get_page(self,url):
    req = request.Request(url=url,headers=self.headers)
    res = request.urlopen(req)
    html = res.read().decode('utf-8')
    return html

  # 保存數據
  def write_page(self,filename,html):
    with open(filename,'w') as f:
      f.write(html)

  # 主函數
  def main(self):
    name = input('請輸入貼吧名:')
    start = int(input('請輸入起始頁:'))
    end = int(input('請輸入終止頁:'))

    # 拼接URL地址,發請求
    for page in range(start,end+1):
      pn = (page-1)*50
      kw = parse.quote(name)     # url編碼
      url = self.url.format(kw,pn)
      html = self.get_page(url)    # 獲取響應,並保存
      filename = '{}-第{}頁.html'.format(name,page)
      self.write_page(filename,html)
      print('第{}頁爬取成功'.format(page)) # 提示進度
      time.sleep(random.randint(1,3))   # 控制爬取速度

if __name__ == '__main__':
  spider = BaiduSpider()
  spider.main()

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持神馬文庫。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章