python3爬蟲Requests利用xpath

我們需要先 去cmd 裏面輸入pip   install  requests和lxml這個兩個庫進行下載。

import requests
import time
from lxml import *

headers={
    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Mobile Safari/537.36'
}//僞裝代理用戶
   url='https://www.zhipin.com/job_detail/?city=101010100&source=10&query=python%E7%88%AC%E8%99%AB'   //爬去boss的網址。
r=requests.get(url,headers=headers)//以get方式響應服務器

r.encoding='utf-8'//狀態碼
xl=etree.HTML(r.text)//解析成xlml
r_ifon=xl.xpath('//*[@id="main"]/div/ul/li');爬取數據
for i in r_ifon://循環迭代
    time.sleep(2)//設置訪問速度
    mingzi=i.xpath('//*[@id="main"]/div/ul/li/a/div/div/h4/text()')//爬取的是職位的名稱

print(mingzi)