Python 3.x版本後的urllib和urllib2
現在的Python已經出到了3.5.2
在Python 3以後的版本中，urllib2這個模塊已經不單獨存在（也就是說當你import urllib2時，系統提示你沒這個模塊），urllib2被合併到了urllib中，叫做urllib.request 和 urllib.error 。
urllib整個模塊分爲urllib.request, urllib.parse, urllib.error。
例：
其中urllib2.urlopen()變成了urllib.request.urlopen()
urllib2.Request()變成了urllib.request.Request()
urllib和urllib2模塊之間的區別
在python中，urllib和urllib2不可相互替代的。
整體來說，urllib2是urllib的增強，但是urllib中有urllib2中所沒有的函數。
urllib2可以用urllib2.openurl中設置Request參數，來修改Header頭。如果你訪問一個網站，想更改User Agent（可以僞裝你的瀏覽器），你就要用urllib2.
urllib支持設置編碼的函數，urllib.urlencode,在模擬登陸的時候，經常要post編碼之後的參數，所以要想不使用第三方庫完成模擬登錄，你就需要使用urllib。
urllib一般和urllib2一起搭配使用
官方文檔地址
翻譯的是Python 3.5.2版本，對應的urllib
https://docs.python.org/3.5/library/urllib.html
urllib整體介紹
原地址：https://docs.python.org/3.5/library/urllib.html
翻譯的對應的是21.6. urllib.request — Extensible library for opening URLs
urllib- - - - - - URL處理模塊
源代碼:Lib / urllib /
urllib是一個包,收集幾個模塊來處理網址:
urllib.request打開和瀏覽url中內容
urllib.error包含從 urllib.request發生的錯誤或異常
urllib.parse解析url
urllib.robotparser解析 robots.txt文件
urllib.request
原地址：
https://docs.python.org/3.5/library/urllib.request.html#module-urllib.request
urllib.request — 爲打開url提供的可擴展類庫
源代碼:Lib / urllib / request.py
urllib.request模塊定義了方法和類,幫助打開url(主要是HTTP)在一個複雜的世界——基本和摘要式身份驗證,重定向,cookies等等。
————-urllib.request模塊定義了以下功能：—————–
urllib.request.urlopen()
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
打開網址URL,這可以是一個字符串或一個 Request對象。
數據必須是一個字節對象指定額外的數據發送到服務器或 None。如果沒有這樣的數據是必要的，數據也可能是一個iterable對象而且在這種情況下必須在最開始時指定內容的長度。目前HTTP是唯一一個這樣請求數據的，當數據參數被提供時，HTTP請求將會執行POST請求而不是GET請求。
數據應該是一個緩衝的在標準應用程序中以 x-www-form-urlencoded的格式。 urllib.parse.urlencode()函數接受一個映射或序列集合,並返回一個ASCII文本字符串的格式。它應該在被用作數據參數之前，被編碼爲字節。
urllib.request 模塊 使用 HTTP/1.1協議，並且包括請求 Connection:close在HTTP請求頭。
可選的第二個超時參數timeout，用於阻塞操作,比如連接請求(如果未指定,全球將使用默認超時設置)。這實際上只適用於HTTP、HTTPS和FTP連接。
如果context被指定，它必須是一個 ssl.SSLContext實例描述各種SSL選項。點擊HTTPSConnection查看更多細節。
可選cafile和capath參數指定一組被HTTPS請求信任的CA證書。cafile應該指向一個文件包含CA證書的包,而capath應該指向一個散列的證書文件的目錄。點擊ssl.SSLContext.load_verify_locations()查看更多的信息。
cadefault參數被忽略。
這個函數始終返回一個對象，像context（上下文） 管理者並提供這些方法
geturl()——返回URL的資源檢索,常常重定向之後使用
info()——返回頁面的元信息,如標題，組成 email.message_from_string(的)實例(見快速參考HTTP頭)
getcode()——返回響應的HTTP狀態代碼。
爲HTTP和HTTPS url，這個函數返回的一個 http.client.HTTPResponse對象略有不同。除了上面的三種新方法中，這個message屬性包含相同的信息像reason屬性——由服務器返回的原因——而不是響應頭,因爲它在文檔中指定 HTTPResponse。
FTP、文件和數據請求url和顯式地處理 URLopener和 FancyURLopener類，這個函數返回一個 urllib.response.addinfourl對象。
urllib.request.urlopen()會在 URLError中拋出協議錯誤。
請注意,，可能返回None，這在沒有處理程序處理請求(儘管全球默認安裝 OpenerDirector並使用 UnknownHandler以確保這不會發生)時發生。
此外，如果檢測到代理設置(例如,當一個 *_proxy環境變量如 http_proxy已經被設定),，ProxyHandler默認安裝並確保請求都通過代理來處理。
遺留的 urllib.urlopen從Python 2.6和更早已經被中斷;；urllib.request.urlopen()對應於舊的 urllib2.urlopen。代理處理,是通過字典參數完成的 urllib.urlopen可以使用 ProxyHandler對象。
3.2版本的變化：cafile和capath被補充。
3.2版本的變化：如果可能的話，現在支持HTTPS虛擬主機(也就是說，如果 ssl.HAS_SNI是真的)。
在新的3.2版本：數據可以是一個iterable對象。
3.3版本的變化：cadefault被補充。
3.4.3版本的變化：context被補充。
urllib.request.install_opener(opener)
安裝一個 OpenerDirector實例作爲全球默認的opener 。安裝一個opener 必要的,如果你想讓urlopen使用這個opener ;否則,簡單地調用 OpenerDirector.open()而不是 urlopen()。這樣代碼不會檢查一個真實的 OpenerDirector並且任何類的適當的接口都可以運作。
urllib.request.build_opener([handler, …])
返回一個順序的鏈的處理程序 OpenerDirector的實例。處理程序可以是BaseHandler的實例,或者 BaseHandler的子類(在這種情況下,必須調用沒有參數的構造函數)。下面這些類的實例將提前處理程序,除非處理程序包含它們，或者它們子類的實例：ProxyHandler(如果檢測到代理設置), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
如果Python安裝SSL支持(即如果 ssl模塊可以被導入)， HTTPSHandler也將被添加。
一個 BaseHandler子類也可以通過改變它的 handler_order屬性來修改它再處理程序列表中的位置。
urllib.request.pathname2url(path)
將路徑名轉換成路徑，從本地語法形式的路徑中使用一個URL的路徑組成部分。這不會產生一個完整的URL。它將返回引用 quote()函數的值。
urllib.request.url2pathname(path)
將路徑組件轉換爲本地路徑的語法。這個不接受一個完整的URL。這個函數使用 unquote()解碼的通路。
urllib.request.getproxies()
這個helper函數返回一個日程表dictionary 去代理服務器的URL映射。掃描指定的環境變量 _proxy大小寫不敏感的方法,對所有的操作系統，當它不能找到它，從Mac OS X的Mac OSX系統配置和Windows系統註冊表中尋找代理信息。如果兩個大寫和小寫環境變量存在(或不一樣)，小寫優先。
請注意，如果環境變量 REQUEST_METHOD已被設置,這通常表明你在CGI腳本運行環境,此時環境變量 HTTP_PROXY(大寫 _PROXY)將被忽略。這是因爲該變量可以被客戶端使用注射“代理:”HTTP頭。如果你需要使用一個HTTP代理在CGI環境中,要麼使用 ProxyHandler明確,或者確保變量名小寫(或至少是 _proxy後綴)。
——提供以下類：—————————————
類 urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
這個類是一個抽象的URL請求。
url應該是一個字符串包含一個有效的url。
數據必須是一個字節對象指定額外的數據發送到服務器或 None。如果沒有這樣的數據是必要的，數據也可能是一個iterable對象而且在這種情況下必須在最開始時指定內容的長度。目前HTTP是唯一一個這樣請求數據的，當數據參數被提供時，HTTP請求將會執行POST請求而不是GET請求。
數據應該是一個緩衝的在標準應用程序中以 x-www-form-urlencoded的格式。 urllib.parse.urlencode()函數接受一個映射或序列集合,並返回一個ASCII文本字符串的格式。它應該在被用作數據參數之前，被編碼爲字節。
headers 應該是一個字典，如果 add_header()被稱爲與每個鍵和值作爲參數。這通常是用來“惡搞” User-Agent頭的值，因爲使用一個瀏覽器識別本身——一些常見HTTP服務器只允許請求來自瀏覽器而不是腳本。例如，Mozilla Firefox可能識別本身 “Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。而 urllib默認的用戶代理字符串 是”Python-urllib/2.6”在Python 2.6（）。
一個Content-Type header的例子 用數據論證將發送一個字典 {“Content-Type”:”application/x-www-form-urlencoded”}。
最後兩個參數只是正確處理第三方HTTP cookie：
origin_req_host應該請求原始的主機交易，就像定義的RFC 2965。它默認爲 http.cookiejar.request_host(self)。這是原始請求的主機名或IP地址，由用戶發起。例如。如果請求是一個圖像在HTML文檔中，這應該是請求的請求主機包含圖像的頁面。
無法覈實的表明是否應該請求是無法覈實的，這由RFC 2965定義。它默認爲 False。一個無法覈實的請求的URL的用戶沒有允許的選擇。例如，如果請求是一個圖像在一個HTML文檔,和用戶沒有選擇通過圖像的自動抓取，這應該是正確的。
這個方法應該是一個字符串,表示將使用(如HTTP請求方法。 ‘HEAD’)。如果提供，其值是存儲在 method屬性和使用 get_method()。通過設置子類可能表明一個默認的方法 method類本身的屬性。
3.3版本的變化:：Request.method參數是添加到請求類。
3.4版本的變化：默認的 Request.method可能會顯示在類級別。
類urllib.request.OpenerDirector
OpenerDirector類打開url並通過 BaseHandler連接在一起。它管理處理程序的連接,和恢復錯誤。
類 urllib.request.BaseHandler
這是對於所有已註冊的處理程序的基類
類 urllib.request.HTTPRedirectHandler
一個類來處理重定向
類urllib.request.HTTPCookieProcessor(cookiejar=None)
一個類來處理HTTP cookie。
類 urllib.request.ProxyHandler(proxies=None)
導致請求通過一個代理。如果代理是給定的，它必須是一個字典的代理協議名稱映射到url。默認值是從環境變量的列表 _proxy中讀取代理。如果沒有代理設置環境變量，那麼在Windows環境中代理設置了從註冊表部分的網絡設置，在Mac OS X環境代理信息檢索的OS X系統配置框架。
禁用一個代理傳遞一個空的字典。
no_proxy環境變量可以被用來指定主機不能通過代理；如果設置,它應該是一個以逗號分隔的主機名後綴。可選 ：port附加爲例 cern.ch,ncsa.uiuc.edu,some.host:8080.
請注意HTTP_PROXY如果一個變量將被忽略 REQUEST_METHOD設置;參見文檔 getproxies().
類 urllib.request.HTTPPasswordMgr
保持一個數據庫 (realm, uri) -> (user, password)映射。
類 urllib.request.HTTPPasswordMgrWithDefaultRealm
保持一個數據庫 (realm, uri) -> (user, password)映射。一個領域 None被認爲是一個全方位領域,如果沒有其他搜索領域
類 urllib.request.HTTPPasswordMgrWithPriorAuth
一個變體 HTTPPasswordMgrWithDefaultRealm還有一個數據庫 uri -> is_authenticated的映射。可以使用BasicAuth處理程序來確定當發送身份驗證憑證立即而不是等待 401響應。
類 urllib.request.AbstractBasicAuthHandler(password_mgr=None)
這是mixin類,幫助與HTTP身份驗證,遠程主機和代理。果有password_mgr,應該是兼容 HTTPPasswordMgr的。請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。如果passwd_mgr還提供了 is_authenticated和 update_authenticated方法(見 HTTPPasswordMgrWithPriorAuth對象),然後處理程序將使用 is_authenticated結果對於一個給定的URI來決定是否發送請求的身份驗證憑證。如果 is_authenticated返回 TrueURI,憑證發送。如果 is_authenticated是 False憑證不發送,然後如果 401收到響應請求發送身份驗證憑證。如果身份驗證成功, update_authenticated被稱爲設置 is_authenticated TrueURI,這樣後續請求的URI或任何super-URIs將自動包括身份驗證憑證。
在新的3.5版本:添加 is_authenticated支持。
類 urllib.request.HTTPBasicAuthHandler(password_mgr=None)
與遠程主機處理身份驗證。如果有password_mgr，應該是兼容HTTPPasswordMgr的。請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。HTTPBasicAuthHandler將提高 ValueError當面對一個錯誤的身份驗證方案。
類 urllib.request.ProxyBasicAuthHandler(password_mgr=None)
處理與代理身份的驗證。如果有password_mgr,應該是兼容 HTTPPasswordMgr的。請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。
類urllib.request.AbstractDigestAuthHandler(password_mgr=None)
這是mixin類,幫助與HTTP身份驗證,遠程主機和代理。password_mgr,如果有,應該是兼容的 HTTPPasswordMgr;請參閱部分 HTTPPasswordMgr對象必須支持的接口信息
類urllib.request.HTTPDigestAuthHandler(password_mgr=None)
與遠程主機處理身份驗證。如果有password_mgr，應該是兼容 HTTPPasswordMgr的；請參閱部分 HTTPPasswordMgr對象必須支持的接口信息。摘要式身份驗證處理程序和基本身份驗證處理器都是補充說,摘要式身份驗證總是嘗試第一次。如果主機返回一個40 x再次迴應,它發送到基本身份驗證處理程序來處理。這個處理程序方法將提高 ValueError當面對除了消化或基本身份驗證方案。
3.3版本的變化:提高 ValueError不支持的身份驗證方案。
類urllib.request.ProxyDigestAuthHandler(password_mgr=None)
處理與代理身份驗證。如果有password_mgr，應該是兼容 HTTPPasswordMgr的；請參閱部分 HTTPPasswordMgr對象必須支持的接口信息
類 urllib.request.HTTPHandler
一個類來處理HTTP url
類 urllib.request.HTTPSHandler(debuglevel=0, context=None, check_hostname=None)
一個類來處理開放的HTTPS url。在context 文和check_hostname有相同的意義 http.client.HTTPSConnection.
3.2版本的變化:context and check_hostname被補充。
類 urllib.request.FileHandler
打開本地文件
類 urllib.request.DataHandler
開放數據的url
類 urllib.request.FTPHandler
開放的FTP url
類 urllib.request.CacheFTPHandler
打開FTP url,保持打開的FTP連接緩存來減少延遲
類 urllib.request.UnknownHandler
全方位類處理未知的url。
類 urllib.request.HTTPErrorProcessor
HTTP錯誤響應過程。
