import requests
from lxml import etree
url = "https://news.baidu.com"
headers = {
"User-Agent":"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11"}
data = requests.get(url,headers=headers).content.decode()
#xpath語法 1、節點/
# 2、 跨界點//
# 3、找精確的節點//a[@屬性=“屬性值”]
# 4、標籤包裹的內容text()
# 5、屬性:@href
# 6、xpath返回列表
#轉解析類型
html_new=data.replace(r'<!--','"').replace(r'-->','"')
xpath_data = etree.HTML(data)
#調用xpath的方法
with open("11.html","w")as f:
f.write(data)
result = xpath_data.xpath('/html/head/title/text()')
result = xpath_data.xpath("//a/text()")
result1 = xpath_data.xpath('//a[@data-path="s?wd="]/text()')
#result = xpath_data.xpath('//a[@mon="target=appLink"]/@href')
print(result1)
Python爬蟲——xpath
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.