1.xpath 的作用和優勢
將html解析未標籤樹,和Beautifulsoup一樣,會自動補全缺失的標籤。不同的是lxml是用c語言寫的,速度會更快。
2.xpath 使用方式
# 1.html.fromstring 不會自動補全缺失標籤
import requests
from lxml import html
SESSION_URL = 'https://github.com/session'
s = requests.session()
r = s.get(LOGIN_URL)
#轉換成結構樹
tree = html.fromstring(r.text)
el = tree.xpath('//input[@name="authenticity_token"]')[0]
# 2.etree.HTML
from lxml import etree
a = '''
<body>
<h><a href='www.biaoti.com'>head</a></h>
<p>段落1</p>
<p>段落2</p>
</body>
html = etree.HTML(a)
html.xpath('//h') # [<Element h at 0x2122e64e4c8>]
'''
html = etree.HTML(a)
參考:
1.lxml.etree.HTML(text) 解析HTML文檔
2.xpath全面總結
3.lxml.html 中幾種解析器的區別(蠻詳細的,雖然缺少總結,但是研究方式很棒)
4.(不合時宜得參考)查看python的模塊和函數幫助文檔方法
文1指出,fromstring 不支持殘缺片段,不會自動補全