Python爬蟲——xpath

import  requests
from lxml import  etree
url = "https://news.baidu.com"
headers = {
     "User-Agent":"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11"}
data = requests.get(url,headers=headers).content.decode()
#xpath語法 1、節點/
#          2、  跨界點//
#          3、找精確的節點//a[@屬性=“屬性值”]
#          4、標籤包裹的內容text()
#          5、屬性:@href
#          6、xpath返回列表
#轉解析類型
html_new=data.replace(r'<!--','"').replace(r'-->','"')
xpath_data = etree.HTML(data)
#調用xpath的方法
with open("11.html","w")as f:
     f.write(data)

result = xpath_data.xpath('/html/head/title/text()')
result = xpath_data.xpath("//a/text()")
result1 = xpath_data.xpath('//a[@data-path="s?wd="]/text()')
#result = xpath_data.xpath('//a[@mon="target=appLink"]/@href')


print(result1)
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章