第十八章 網絡編程
網絡通信是兩臺計算機上的兩個進程之間的通信。
18.1 TCP/IP簡介
計算機爲了聯網，就必須規定通信協議，早期的計算機網絡，都是由各廠商自己規定一套協議，IBM、Apple和Microsoft都有各自的網絡協議，互不兼容，這就好比一羣人有的說英語，有的說中文，有的說德語，說同一種語言的人可以交流，不同的語言之間就不行了。
爲了把全世界的所有不同類型的計算機都連接起來，就必須規定一套全球通用的協議，爲了實現互聯網這個目標，互聯網協議簇（Internet Protocol Suite）就是通用協議標準。Internet是由inter和net兩個單詞組合起來的，原意就是連接“網絡”的網絡，有了Internet，任何私有網絡，只要支持這個協議，就可以聯入互聯網。
因爲互聯網協議包含了上百種協議標準，但是最重要的兩個協議是TCP和IP協議，所以，大家把互聯網的協議簡稱TCP/IP協議。
通信的時候，雙方必須知道對方的標識，好比發郵件必須知道對方的郵件地址。互聯網上每個計算機的唯一標識就是IP地址，類似123.123.123.123。如果一臺計算機同時接入到兩個或更多的網絡，比如路由器，它就會有兩個或多個IP地址，所以，IP地址對應的實際上是計算機的網絡接口，通常是網卡。
IP協議負責把數據從一臺計算機通過網絡發送到另一臺計算機。數據被分割成一小塊一小塊，然後通過IP包發送出去。由於互聯網鏈路複雜，兩臺計算機之間經常有多條線路，因此，路由器就負責決定如何把一個IP包轉發出去。IP包的特點是按塊發送，途徑多個路由，但不保證能到達，也不保證順序到達。
internet-computers
IP地址實際上是一個32位整數（稱爲IPv4），以字符串表示的IP地址如192.168.0.1實際上是把32位整數按8位分組後的數字表示，目的是便於閱讀。
IPv6地址實際上是一個128位整數，它是目前使用的IPv4的升級版，以字符串表示類似於2001:0db8:85a3:0042:1000:8a2e:0370:7334。
TCP協議則是建立在IP協議之上的。TCP協議負責在兩臺計算機之間建立可靠連接，保證數據包按順序到達。TCP協議會通過握手建立連接，然後，對每個IP包編號，確保對方按順序收到，如果包丟掉了，就自動重發。
許多常用的更高級的協議都是建立在TCP協議基礎上的，比如用於瀏覽器的HTTP協議、發送郵件的SMTP協議等。
一個IP包除了包含要傳輸的數據外，還包含源IP地址和目標IP地址，源端口和目標端口。
端口有什麼作用？在兩臺計算機通信時，只發IP地址是不夠的，因爲同一臺計算機上跑着多個網絡程序。一個IP包來了之後，到底是交給瀏覽器還是QQ，就需要端口號來區分。每個網絡程序都向操作系統申請唯一的端口號，這樣，兩個進程在兩臺計算機之間建立網絡連接就需要各自的IP地址和各自的端口號。
一個進程也可能同時與多個計算機建立鏈接，因此它會申請很多端口。
18.2 TCP編程
Socket是網絡編程的一個抽象概念。通常我們用一個Socket表示“打開了一個網絡鏈接”，而打開一個Socket需要知道目標計算機的IP地址和端口號，再指定協議類型即可。
1、客戶端
大多數連接都是可靠的TCP連接。創建TCP連接時，主動發起連接的叫客戶端，被動響應連接的叫服務器。
舉個例子，當我們在瀏覽器中訪問新浪時，我們自己的計算機就是客戶端，瀏覽器會主動向新浪的服務器發起連接。如果一切順利，新浪的服務器接受了我們的連接，一個TCP連接就建立起來的，後面的通信就是發送網頁內容了。
所以，我們要創建一個基於TCP連接的Socket，可以這樣做：
# 導入socket庫:
import socket
# 創建一個socket:
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 建立連接:
s.connect(('www.sina.com.cn', 80))
創建Socket時，AF_INET指定使用IPv4協議，如果要用更先進的IPv6，就指定爲AF_INET6。SOCK_STREAM指定使用面向流的TCP協議，這樣，一個Socket對象就創建成功，但是還沒有建立連接。
客戶端要主動發起TCP連接，必須知道服務器的IP地址和端口號。新浪網站的IP地址可以用域名www.sina.com.cn自動轉換到IP地址，但是怎麼知道新浪服務器的端口號呢？
答案是作爲服務器，提供什麼樣的服務，端口號就必須固定下來。由於我們想要訪問網頁，因此新浪提供網頁服務的服務器必須把端口號固定在80端口，因爲80端口是Web服務的標準端口。其他服務都有對應的標準端口號，例如SMTP服務是25端口，FTP服務是21端口，等等。端口號小於1024的是Internet標準服務的端口，端口號大於1024的，可以任意使用。
因此，我們連接新浪服務器的代碼如下：
s.connect(('www.sina.com.cn', 80))
注意參數是一個tuple，包含地址和端口號。
建立TCP連接後，我們就可以向新浪服務器發送請求，要求返回首頁的內容：
# 發送數據:
s.send(b'GET / HTTP/1.1\r\nHost: www.sina.com.cn\r\nConnection: close\r\n\r\n')
TCP連接創建的是雙向通道，雙方都可以同時給對方發數據。但是誰先發誰後發，怎麼協調，要根據具體的協議來決定。例如，HTTP協議規定客戶端必須先發請求給服務器，服務器收到後才發數據給客戶端。
發送的文本格式必須符合HTTP標準，如果格式沒問題，接下來就可以接收新浪服務器返回的數據了：
# 接收數據:
buffer = []
while True:
# 每次最多接收1k字節:
d = s.recv(1024)
if d:
buffer.append(d)
else:
break
data = b''.join(buffer)
接收數據時，調用recv(max)方法，一次最多接收指定的字節數，因此，在一個while循環中反覆接收，直到recv()返回空數據，表示接收完畢，退出循環。
當我們接收完數據後，調用close()方法關閉Socket，這樣，一次完整的網絡通信就結束了：
# 關閉連接:
s.close()
接收到的數據包括HTTP頭和網頁本身，我們只需要把HTTP頭和網頁分離一下，把HTTP頭打印出來，網頁內容保存到文件：
header, html = data.split(b'\r\n\r\n', 1)
print(header.decode('utf-8'))
# 把接收的數據寫入文件:
with open('sina.html', 'wb') as f:
f.write(html)
現在，只需要在瀏覽器中打開這個sina.html文件，就可以看到新浪的首頁了。
2、服務器
和客戶端編程相比，服務器編程就要複雜一些。
（1）服務器進程首先要綁定一個端口並監聽來自其他客戶端的連接。如果某個客戶端連接過來了，服務器就與該客戶端建立Socket連接，隨後的通信就靠這個Socket連接了。
所以，服務器會打開固定端口（比如80）監聽，每來一個客戶端連接，就創建該Socket連接。由於服務器會有大量來自客戶端的連接，所以，服務器要能夠區分一個Socket連接是和哪個客戶端綁定的。一個Socket依賴4項：服務器地址、服務器端口、客戶端地址、客戶端端口來唯一確定一個Socket。
但是服務器還需要同時響應多個客戶端的請求，所以，每個連接都需要一個新的進程或者新的線程來處理，否則，服務器一次就只能服務一個客戶端了。
我們來編寫一個簡單的服務器程序，它接收客戶端連接，把客戶端發過來的字符串加上Hello再發回去。
首先，創建一個基於IPv4和TCP協議的Socket：
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
然後，我們要綁定監聽的地址和端口。服務器可能有多塊網卡，可以綁定到某一塊網卡的IP地址上，也可以用0.0.0.0綁定到所有的網絡地址，還可以用127.0.0.1綁定到本機地址。127.0.0.1是一個特殊的IP地址，表示本機地址，如果綁定到這個地址，客戶端必須同時在本機運行才能連接，也就是說，外部的計算機無法連接進來。
端口號需要預先指定。因爲我們寫的這個服務不是標準服務，所以用9999這個端口號。請注意，小於1024的端口號必須要有管理員權限才能綁定：
# 監聽端口:
s.bind(('127.0.0.1', 9999))
緊接着，調用listen()方法開始監聽端口，傳入的參數指定等待連接的最大數量：
s.listen(5)
print('Waiting for connection...')
接下來，服務器程序通過一個永久循環來接受來自客戶端的連接，accept()會等待並返回一個客戶端的連接:
while True:
# 接受一個新連接:
sock, addr = s.accept()
# 創建新線程來處理TCP連接:
t = threading.Thread(target=tcplink, args=(sock, addr))
t.start()
每個連接都必須創建新線程（或進程）來處理，否則，單線程在處理連接的過程中，無法接受其他客戶端的連接：
def tcplink(sock, addr):
print('Accept new connection from %s:%s...' % addr)
sock.send(b'Welcome!')
while True:
data = sock.recv(1024)
time.sleep(1)
if not data or data.decode('utf-8') == 'exit':
break
sock.send(('Hello, %s!' % data.decode('utf-8')).encode('utf-8'))
sock.close()
print('Connection from %s:%s closed.' % addr)
連接建立後，服務器首先發一條歡迎消息，然後等待客戶端數據，並加上Hello再發送給客戶端。如果客戶端發送了exit字符串，就直接關閉連接。
要測試這個服務器程序，我們還需要編寫一個客戶端程序：
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 建立連接:
s.connect(('127.0.0.1', 9999))
# 接收歡迎消息:
print(s.recv(1024).decode('utf-8'))
for data in [b'Michael', b'Tracy', b'Sarah']:
# 發送數據:
s.send(data)
print(s.recv(1024).decode('utf-8'))
s.send(b'exit')
s.close()
我們需要打開兩個命令行窗口，一個運行服務器程序，另一個運行客戶端程序，就可以看到效果了：
需要注意的是，客戶端程序運行完畢就退出了，而服務器程序會永遠運行下去，必須按Ctrl+C退出程序。
【小結】
用TCP協議進行Socket編程在Python中十分簡單，對於客戶端，要主動連接服務器的IP和指定端口，對於服務器，要首先監聽指定端口，然後，對每一個新的連接，創建一個線程或進程來處理。通常，服務器程序會無限運行下去。同一個端口，被一個Socket綁定了以後，就不能被別的Socket綁定了。
18.3 UDP編程
TCP是建立可靠連接，並且通信雙方都可以以流的形式發送數據。相對TCP，UDP則是面向無連接的協議。
使用UDP協議時，不需要建立連接，只需要知道對方的IP地址和端口號，就可以直接發數據包。但是，能不能到達就不知道了。
雖然用UDP傳輸數據不可靠，但它的優點是和TCP比，速度快，對於不要求可靠到達的數據，就可以使用UDP協議。
我們來看看如何通過UDP協議傳輸數據。和TCP類似，使用UDP的通信雙方也分爲客戶端和服務器。服務器首先需要綁定端口：
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
# 綁定端口:
s.bind(('127.0.0.1', 9999))
創建Socket時，SOCK_DGRAM指定了這個Socket的類型是UDP。綁定端口和TCP一樣，但是不需要調用listen()方法，而是直接接收來自任何客戶端的數據：
print('Bind UDP on 9999...')
while True:
# 接收數據:
data, addr = s.recvfrom(1024)
print('Received from %s:%s.' % addr)
s.sendto(b'Hello, %s!' % data, addr)
recvfrom()方法返回數據和客戶端的地址與端口，這樣，服務器收到數據後，直接調用sendto()就可以把數據用UDP發給客戶端。
注意這裏省掉了多線程，因爲這個例子很簡單。
客戶端使用UDP時，首先仍然創建基於UDP的Socket，然後，不需要調用connect()，直接通過sendto()給服務器發數據：
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
for data in [b'Michael', b'Tracy', b'Sarah']:
# 發送數據:
s.sendto(data, ('127.0.0.1', 9999))
# 接收數據:
print(s.recv(1024).decode('utf-8'))
s.close()
從服務器接收數據仍然調用recv()方法。
仍然用兩個命令行分別啓動服務器和客戶端測試，結果如下：
【小結】
UDP的使用與TCP類似，但是不需要建立連接。此外，服務器綁定UDP端口和TCP端口互不衝突，也就是說，UDP的9999端口與TCP的9999端口可以各自綁定。