CDBmax告知:
扯內些洋式子都沒用，直接告訴你咋用。
爬蟲教學整體思路
大概的方式就是不整內些花了呼哨的東西，花了呼哨的一帶而過，中心思想就是速成，能幹活兒，多練活兒才能好。
上圖中介紹了四個方法:
1. requests庫他主要是用來請求並解析url的HTML的。
2. 正則表達式匹配想要抓取的數據的
3. Beautiful soup也是抓取數據用的一個模塊，比正則表達式方便
4. lxml功能跟3差不多，但是個人感覺更靈活
（這幾個庫建議1--3組合或者1--4組合）
咱們用這幾個庫過度，最後要研究的是scrapy這個爬蟲框架。
Requests：
get/post 請求方法：
通常用get最多，post他們兩個都是請求的功能，最後他倆具體有什麼區別以後細嘮。
我們用這個庫來請求網頁所有的html，咱們舉個栗子吧。
import requests
result = requests.get("https://www.baidu.com") #用get方法請求url
print(result) #直接請求返回的是Response
print(type(result)) #打印類型
print(result.status_code) #返回狀態碼200是成功的
print(result.encoding) #返回該網站編碼
print(result.cookies)
上面這個圖片是返回的結果。
剛開始有些人可能不理解<Response [200]>是啥東西，他其實就是包含了一個url的HTML。當你打開一個網頁按F12的時候出現的內些代碼就是HTML，這個網頁所有的數據都包含在HTML裏面。
當你拿到了Response對象的時候應該怎麼把裏面的HTML解讀出來的，這麼幹:
print(result.text) #後面加一個.text就把html解讀出來了
如果有的時候用.text他亂碼咋辦呢，就用這個方法：
print(result.content.decode("utf-8")) #用.content提取內容，在給他用.decode的方法更改編碼，
#看這個網站的編碼是什麼，就在decode後面的括號中寫什麼，通常都是utf-8或者gbk
不出意外結果基本是一樣的 。
爬蟲僞裝瀏覽器:
如果你想更高效的爬取一個網站，那麼你要把你的爬蟲僞裝成一個瀏覽器，這樣你被拒絕訪問的概率會低很多。
在用get直接請求的時候可以在url後面傳入一個header=**僞裝成一個瀏覽器。
import requests
import random
head_connection = ['Keep-Alive', 'close']
head_accept = ['text/html,application/xhtml+xml,*/*']
head_accept_language = ['zh-CN,fr-FR;q=0.5', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
head_user_agent=['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
heads = {'connection': head_connection[random.randrange(0,len(head_connection))],
'accept': head_accept[random.randrange(0,len(head_accept))],
'accept_language': head_accept_language[random.randrange(0, len(head_accept_language))],
'User-Agent': head_user_agent[random.randrange(0, len(head_user_agent))],
}
print(requests.get("https://www.baidu.com",headers=heads).text)
上面這一大串代碼，看這長其實就是封裝了多個瀏覽器的請求頭信息，直接複製就好了，重點在get（），headers=**這裏。他把請求頭信息同時進行請求了，這時候你假裝就是瀏覽器訪問了。