lxml是python的一個解析庫，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全稱XML Path Language，即XML路徑語言，它是一門在XML文檔中查找信息的語言，它最初是用來搜尋XML文檔的，但是它同樣適用於HTML文檔的搜索

XPath的選擇功能十分強大，它提供了非常簡明的路徑選擇表達式，另外，它還提供了超過100個內建函數，用於字符串、數值、時間的匹配以及節點、序列的處理等，幾乎所有我們想要定位的節點，都可以用XPath來選擇

XPath於1999年11月16日成爲W3C標準，它被設計爲供XSLT、XPointer以及其他XML解析軟件使用，更多的文檔可以訪問其官方網站：https://www.w3.org/TR/xpath/

一、XPath常用規則

表達式	描述
nodename	選取此節點的所有子節點
/	從當前節點選取直接子節點
//	從當前節點選取子孫節點
.	選取當前節點
..	選取當前節點的父節點
@	選取屬性
*	通配符，選擇所有元素節點與元素名
@*	選取所有屬性
[@attrib]	選取具有給定屬性的所有元素
[@attrib='value']	選取給定屬性具有給定值的所有元素
[tag]	選取所有具有指定元素的直接子節點
[tag='text']	選取所有具有指定元素並且文本內容是text節點

1、讀取文本解析節點

# -*- coding: utf-8 -*-
from lxml import etree
text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0"><a href="link5.html">a屬性</a>
     </ul>
 </div>
'''
html=etree.HTML(text) #初始化生成一個XPath解析對象
result=etree.tostring(html,encoding='utf-8')   #解析對象輸出代碼
print(type(html))
print(type(result))
print(result.decode('utf-8'))

#etree會修復HTML文本節點
# <class 'lxml.etree._Element'>
# # <class 'bytes'>
# # <html><body><div>
# #     <ul>
# #          <li class="item-0"><a href="link1.html">第一個</a></li>
# #          <li class="item-1"><a href="link2.html">second item</a></li>
# #          <li class="item-0"><a href="link5.html">a屬性</a>
# #      </li></ul>
# #  </div>
# # </body></html>

2、讀取HTML文件進行解析

test.html文件

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html>
<body>
<div>&#13;    
    <ul>&#13;         
        <li class="item-0">
            <a href="link1.html">first item</a>
        </li>&#13;         
        <li class="item-1">
            <a href="link2.html">second item</a></li>&#13;        
        <li class="item-inactive">
            <a href="link3.html">third item</a>
        </li>&#13;         
        <li class="item-1">
            <a href="link4.html">fourth item</a>
        </li>&#13;         
        <li class="item-0">
            <a href="link5.html">fifth item</a>&#13;     
        </li></ul>&#13;\n </div>&#13;
</body>
</html>

from lxml import etree

# 指定解析器HTMLParser會根據文件修復HTML文件中缺失的如聲明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
                 etree.HTMLParser())
result=etree.tostring(html)   #解析成字節
# result=etree.tostringlist(html) #解析成列表
print(type(html))
print(type(result))
print(result)

3、獲取所有節點

返回一個列表每個元素都是Element類型，所有節點都包含在其中

from lxml import etree

# 指定解析器HTMLParser會根據文件修復HTML文件中缺失的如聲明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
                 etree.HTMLParser())
result=html.xpath('//*')  #//代表獲取子孫節點，*代表獲取所有

print(type(html))
print(type(result))
print(result)

如要獲取li節點，可以使用//後面加上節點名稱，然後調用xpath()方法

html.xpath('//li')   #獲取所有子孫節點的li節點

4、獲取子節點

通過/或者//即可查找元素的子節點或者子孫節點，如果想選擇li節點的所有直接a節點，可以這樣使用

from lxml import etree

# 指定解析器HTMLParser會根據文件修復HTML文件中缺失的如聲明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
                 etree.HTMLParser())
# 通過追加/a選擇所有li節點的所有直接a節點，
# 因爲//li用於選中所有li節點，/a用於選中li節點的所有直接子節點a
result=html.xpath('//li/a')
print(type(html))
print(type(result))
print(result)

5、獲取父節點

我們知道通過連續的/或者//可以查找子節點或子孫節點，那麼要查找父節點可以使用..來實現也可以使用parent::來獲取父節點

from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//a[@href="link2.html"]/../@class')
result1=html.xpath('//a[@href="link2.html"]/parent::*/@class')
print(result)
print(result1)

6、屬性匹配

在選取的時候，我們還可以用@符號進行屬性過濾。比如，這裏如果要選取class爲item-1的li節點，可以這樣實現:

from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]')
print(result)

7、文本獲取

我們用XPath中的text()方法獲取節點中的文本

from lxml import etree

text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]/a/text()') #獲取a節點下的內容
result1=html.xpath('//li[@class="item-1"]//text()') #獲取li下所有子孫節點的內容
print(result)
print(result1)

8、屬性獲取

使用@符號即可獲取節點的屬性，如下：獲取所有li節點下所有a節點的href屬性

text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一個</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li/a/@href')  #獲取a的href屬性
result1=html.xpath('//li//@href')   #獲取所有li子孫節點的href屬性
print(result)
print(result1)

9、屬性多值匹配

如果某個屬性的值有多個時，我們可以使用contains()函數來獲取

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa item-0"><a href="link1.html">第一個</a></li>
         <li class="bbb item-1"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')

print(result)
print(result1)

#通過第一種方法沒有取到值，通過contains（）就能精確匹配到節點了
[]
['第一個']

10、多屬性匹配

另外我們還可能遇到一種情況，那就是根據多個屬性確定一個節點，這時就需要同時匹配多個屬性，此時可用運用and運算符來連接使用：

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一個</a></li>
         <li class="aaa" name="fore"><a href="link2.html">second item</a></li>
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa" and @name="fore"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa") and @name="fore"]/a/text()')

print(result)
print(result1)

11、XPath中的運算符

運算符	描述	實例	返回值
or	或	age=19 or age=20	如果age等於19或者等於20則返回true反正返回false
and	與	age>19 and age<21	如果age等於20則返回true，否則返回false
mod	取餘	5 mod 2	1
\|	取兩個節點的集合	//book \| //cd	返回所有擁有book和cd元素的節點集合
+	加	6+4	10
-	減	6-4	2
*	乘	6*4	24
div	除法	8 div 4	2
=	等於	age=19	true
!=	不等於	age!=19	true
<	小於	age<19	true
<=	小於或等於	age<=19	true
>	大於	age>19	true
>=	大於或等於	age>=19	true

12、按序選擇

有時候，我們在選擇的時候某些屬性可能同時匹配多個節點，但我們只想要其中的某個節點，如第二個節點或者最後一個節點，這時可以利用中括號引入索引的方法獲取特定次序的節點：

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第二個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第三個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第四個</a></li> 
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())

result=html.xpath('//li[contains(@class,"aaa")]/a/text()') #獲取所有li節點下a節點的內容
result1=html.xpath('//li[1][contains(@class,"aaa")]/a/text()') #獲取第一個
result2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()') #獲取最後一個
result3=html.xpath('//li[position()>2 and position()<4][contains(@class,"aaa")]/a/text()') #獲取第一個
result4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()') #獲取倒數第三個


print(result)
print(result1)
print(result2)
print(result3)
print(result4)

這裏使用了last()、position()函數，在XPath中，提供了100多個函數，包括存取、數值、字符串、邏輯、節點、序列等處理功能，它們的具體作用可參考：http://www.w3school.com.cn/xpath/xpath_functions.asp

13、節點軸選擇

XPath提供了很多節點選擇方法，包括獲取子元素、兄弟元素、父元素、祖先元素等，示例如下：

from lxml import etree

text1='''
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第二個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第三個</a></li>
         <li class="aaa" name="item"><a href="link1.html">第四個</a></li> 
     </ul>
 </div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[1]/ancestor::*')  #獲取所有祖先節點
result1=html.xpath('//li[1]/ancestor::div')  #獲取div祖先節點
result2=html.xpath('//li[1]/attribute::*')  #獲取所有屬性值
result3=html.xpath('//li[1]/child::*')  #獲取所有直接子節點
result4=html.xpath('//li[1]/descendant::a')  #獲取所有子孫節點的a節點
result5=html.xpath('//li[1]/following::*')  #獲取當前子節之後的所有節點
result6=html.xpath('//li[1]/following-sibling::*')  #獲取當前節點的所有同級節點


print(result)
print(result1)
print(result2)
print(result3)
print(result4)

二、案例應用：抓取TIOBE指數前20名排行開發語言

# -*- coding: utf-8 -*-
import  requests
from requests.exceptions import RequestException
from lxml import etree
from lxml.etree import ParseError
import json

def one_to_page(html):
    headers = { 'user-agent':
                    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                    'AppleWebKit/537.36 (KHTML, like Gecko) '
                    'Chrome/67.0.3396.62 Safari/537.36'}
    print("headers = ", headers)
    try:
        response = requests.get(html, headers = headers)
        body = response.text #獲取網頁內容
    except RequestException as e:
        print("request is error!", e)
    try:
        # 解析HTML文本內容
        html = etree.HTML(body, etree.HTMLParser())
        # 獲取列表數據
        result=html.xpath('//table[contains(@class,"table-top20")]/tbody/tr//text()')
        pos = 0
        for i in range(20):
            if i == 0:
                yield result[i:5]
            else:
                yield result[pos:pos+5]
            pos += 5
    except ParseError as e :
        print(e.position)

# 將數據重新組合成字典寫入文件並輸出
def write_file(data):
    for i in data:
        sul = {
            '2018年6月排行': i[0],
            '2017年6排行': i[1],
            '開發語言': i[2],
            '評級': i[3],
            '變化率': i[4]
        }
        with open(r"E:\PythonProjects\python_study\python_requests\data.txt",
                  'a',encoding="utf-8") as f:
            f.write(json.dumps(sul, ensure_ascii=False)+'\n')
            f.close()
        print(sul)
    return None

def main():
    url = 'https://www.tiobe.com/tiobe-index/'
    data = one_to_page(url)
    revalue = write_file(data)
    if revalue == None:
        print('ok!!!')

if  __name__ == '__main__':
    main()

headers =  {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
{'2018年6月排行': '1', '2017年6排行': '1', '開發語言': 'Java', '評級': '16.884%', '變化率': '-0.92%'}
{'2018年6月排行': '2', '2017年6排行': '2', '開發語言': 'C', '評級': '16.180%', '變化率': '+0.80%'}
{'2018年6月排行': '3', '2017年6排行': '4', '開發語言': 'Python', '評級': '9.089%', '變化率': '+1.93%'}
{'2018年6月排行': '4', '2017年6排行': '3', '開發語言': 'C++', '評級': '6.229%', '變化率': '-1.36%'}
{'2018年6月排行': '5', '2017年6排行': '6', '開發語言': 'C#', '評級': '3.860%', '變化率': '+0.37%'}
{'2018年6月排行': '6', '2017年6排行': '5', '開發語言': 'Visual Basic .NET', '評級': '3.745%', '變化率': '-2.14%'}
{'2018年6月排行': '7', '2017年6排行': '8', '開發語言': 'JavaScript', '評級': '2.076%', '變化率': '-0.20%'}
{'2018年6月排行': '8', '2017年6排行': '9', '開發語言': 'SQL', '評級': '1.935%', '變化率': '-0.10%'}
{'2018年6月排行': '9', '2017年6排行': '7', '開發語言': 'PHP', '評級': '1.909%', '變化率': '-0.89%'}
{'2018年6月排行': '10', '2017年6排行': '15', '開發語言': 'Objective-C', '評級': '1.501%', '變化率': '+0.30%'}
{'2018年6月排行': '11', '2017年6排行': '28', '開發語言': 'Groovy', '評級': '1.394%', '變化率': '+0.96%'}
{'2018年6月排行': '12', '2017年6排行': '10', '開發語言': 'Swift', '評級': '1.362%', '變化率': '-0.14%'}
{'2018年6月排行': '13', '2017年6排行': '18', '開發語言': 'Ruby', '評級': '1.318%', '變化率': '+0.21%'}
{'2018年6月排行': '14', '2017年6排行': '13', '開發語言': 'Assembly language', '評級': '1.307%', '變化率': '+0.06%'}
{'2018年6月排行': '15', '2017年6排行': '14', '開發語言': 'R', '評級': '1.261%', '變化率': '+0.05%'}
{'2018年6月排行': '16', '2017年6排行': '20', '開發語言': 'Visual Basic', '評級': '1.234%', '變化率': '+0.58%'}
{'2018年6月排行': '17', '2017年6排行': '12', '開發語言': 'Go', '評級': '1.100%', '變化率': '-0.15%'}
{'2018年6月排行': '18', '2017年6排行': '17', '開發語言': 'Delphi/Object Pascal', '評級': '1.046%', '變化率': '-0.11%'}
{'2018年6月排行': '19', '2017年6排行': '16', '開發語言': 'Perl', '評級': '1.023%', '變化率': '-0.14%'}
{'2018年6月排行': '20', '2017年6排行': '11', '開發語言': 'MATLAB', '評級': '0.924%', '變化率': '-0.39%'}
ok!!!

五、Python3 lxml和Xpath

一、XPath常用規則

1、讀取文本解析節點

2、讀取HTML文件進行解析

3、獲取所有節點

4、獲取子節點

5、獲取父節點

6、屬性匹配

7、文本獲取

8、屬性獲取

9、屬性多值匹配

10、多屬性匹配

11、XPath中的運算符

12、按序選擇

13、節點軸選擇

二、案例應用：抓取TIOBE指數前20名排行開發語言

Python threading多線程

SparkSql 中支持的sql語句、函數等

五、簡單爬蟲示例

六、Scrapy（一）| 入門案例及本地運行測試

Flink Dataset Api（五）本地執行和集羣執行

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結