WEB服務器之HTTP協議

本篇主要爲爲了實現WEB服務器,其中包含了HTTP協議的理解,以及TCP的三次握手、四次揮手等方面相關知識,同時還包含了關於web瀏覽器與服務器之間的通信過程。

一、web瀏覽器

通常在我們上網時會在瀏覽器的地址欄輸入網址,

①、瀏覽器首先要對URL進行解析,

②、隨後通過HTTP協議定義消息內容和步驟,即規定發送請求的格式;

③、根據服務器的域名通過操作系統下的解析器(DNS客戶端)向最近的DNS服務器發送請求獲取目標服務器的IP地址並存儲在指定的內存空間內,,通過操作系統下的協議棧以及socket庫將消息發送出去,

④、當服務器接收到請求消息會返回響應消息(該響應消息也是根據HTTP協議定義消息內容的格式)最後經過類似的過程返回給web瀏覽器。

接下來我們根據這幾個步驟進行解析:

1.瀏覽器怎麼對URL進行解析?

通常常用的訪問數據的機制有以下幾種:

HTTP協議:即 Hypertxt Transfer Protocal 超文本傳送協議)訪問Web服務器,例如:http://www.baidu.com/dir/file1.html

FTP協議:File Transfer Protocol,文件傳輸協議,主要用於文件的上傳和下載,例如:ftp://ftp.glasscom.com/dir/file1.html

File協議:本地文件傳輸協議,例如:file://localhost/c:path/file1.zip。

maito協議:該協議可以創建一個指向電子郵件地址的超級鏈接,通過該鏈接可以在Internet中發送電子郵件。例如:[email protected]等等

2、根據HTTP協議生成怎樣格式的請求消息和接收的響應消息?

需要我們需要知道的是:  

HTTP協議:

我們知道服務端和客戶端之間進行通信過程便是:首先客戶端根據HTTP協議給服務端發送請求消息,隨後服務器給客戶端發送響應消息。那麼請求消息和響應消息具體是什麼樣的呢?

請求消息:

1 以下便是瀏覽器給服務器發送的請求消息

2 GET / HTTP/1.1

3 Host: www.baidu.com

4 Connection: keep-alive

5 Cache-Control: max-age=0

6 Upgrade-Insecure-Requests: 1

7 User-Agent: Mozilla/5.0 (Windows NT 10.0;Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99Safari/537.36

8Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8

9 Accept-Encoding: gzip, deflate, br

10 Accept-Language: zh-CN,zh;q=0.9

接下來對這些信息進行解析:

第一部分:請求頭行,包含請求類型、URI、HTTP協議版本;

請求信息類型通常有:get、post、put等等;

第二部分:即緊跟第一行之後的,請求頭部,包含服務器所使用的說明信息;接下來解釋一下這些說明信息的意思:

1、host:請求web服務器的域名地址;

2、Connection: 表示是否持久連接;即keep-alive表示持久連接;

3、Cache-Control:指定請求和響應的緩存機制;no-cache(不能緩存)、no-store(在請求消息中發送將使得請求和響應消息都不使用緩存)、max-age(客戶機可以接收生存期不大於指定時間(以秒爲單位)的響應)、max-stale(客戶機可以接收超出超時期間的響應消息)、min-fresh(客戶機可以接收響應時間小於當前時間加上指定時間的響應)、only-if-cached等等;

4、User-Agent: HTTP協議運行的瀏覽器類型的詳細信息;比如:谷歌/67.0.3396.99

5、Accept: 指瀏覽器可以接收的內容類型;

6、Accept-Encoding: 客戶端瀏覽器可以支持的web服務器返回內容壓縮編碼類型;

7、Accept-Language:瀏覽器支持的語言類型,

8、Cookie: 某些網站爲了辨別用戶身份、進行 session 跟蹤而儲存在用戶本地終端上的數據(通常經過加密);例如當我們上網時,某些網站能準確的推送我們想要的信息。

第三部分:"\r\n" --> 分割header和body部分的分界線

響應消息:

1 HTTP/1.1 200 OK

2 Bdpagetype: 1

3 Bdqid: 0x8bda58760001baca

4 Cache-Control: private

5 Connection: Keep-Alive

6 Content-Encoding: gzip

7 Content-Type: text/html

8 Cxy_all:baidu+10412ee70bbb9e9eec33f3dbcb3e2df7

9 Date: Wed, 18 Jul 2018 03:26:13GMT

10 Expires: Wed, 18 Jul 2018 03:25:42 GMT

11 Server: BWS/1.1

12 Set-Cookie: BDSVRTM=0; path=/

13 Set-Cookie: BD_HOME=0; path=/

14 Set-Cookie: H_PS_PSSID=1435_21118_20929; path=/; domain=.baidu.com

15 Strict-Transport-Security: max-age=172800

16 Vary:Accept-Encoding

17 X-Ua-Compatible: IE=Edge,chrome=1

18 Transfer-Encoding: chunked

響應消息的解析:

第一部分:響應頭,包含:HTTP協議版本、狀態碼(1XX-告知請求處理進度和情況,2XX-成功,3XX-表示需要進一步操作,4XX-客戶端錯誤;5XX-服務器錯誤;)

第二部分:響應頭部,包含服務器發送的附加信息;這裏針對幾個重要的進行解析說明:https://www.cnblogs.com/mylanguage/p/5689879.html-->有詳細說明

第三部分:"\r\n" --分割header和body的分割線

第四部分:包含服務器向客戶端發送的數據。

以上就請求消息和響應消息的內容格式,由瀏覽器或者客戶端將信息根據HTTP協議轉換而來。

3、怎麼根據域名獲取服務器的IP地址?

首先web瀏覽器會調用操作系統下的解析器即DNS客戶端,隨後由解析器發送請求給最近的DNS服務器(發送過程與C/S架構模型一樣),若所需域名不在最近的DNS服務器,則由該服務器向域的DNS服務器發送詢查消息,若該域名不在根域DNS服務器上,則讓最近DNS服務器向其下級域發送詢查消息,以此遞歸便能查找到該域名所在域的DNS服務器,最後由請求的DNS服務器發送響應消息到最近的DNS服務器,得到該域名的IP地址;

同時DNS服務器有一個緩存功能,可以記住之前查詢過的域名,如果所查詢的域名和相關信息已經在緩存中,那麼久可以直接返回響應。

二、TCP的三次握手和四次揮手

首先我們需要知道在客戶端與服務器基於TCP協議建立聯繫時需要經過三次握手,而在斷開連接時需經歷四次揮手的過程,那麼我們來看一下該過程是怎樣的?

三次握手:

解析:

首先服務器通常是處於監聽的狀態,而客戶端通常是主動建立連接的一方,即

1、TCP服務器進程先創建傳輸控制塊TCB,時刻準備接受客戶進程的連接請求,此時服務器就進入了LISTEN(監聽)狀態;

2、TCP客戶進程也是先創建傳輸控制塊TCB,然後向服務器發出連接請求報文,這是報文首部中的同部位SYN=1,同時選擇一個初始序列號 seq=x ,此時,TCP客戶端進程進入了 SYN-SENT(同步已發送狀態)狀態。TCP規定,SYN報文段(SYN=1的報文段)不能攜帶數據,但需要消耗掉一個序號。

3、TCP服務器收到請求報文後,如果同意連接,則發出確認報文。確認報文中應該 ACK=1,SYN=1,確認號是ack=x+1,同時也要爲自己初始化一個序列號 seq=y,此時,TCP服務器進程進入了SYN-RCVD(同步收到)狀態。這個報文也不能攜帶數據,但是同樣要消耗一個序號。

4、TCP客戶進程收到確認後,還要向服務器給出確認。確認報文的ACK=1,ack=y+1,自己的序列號seq=x+1,此時,TCP連接建立,客戶端進入ESTABLISHED(已建立連接)狀態。TCP規定,ACK報文段可以攜帶數據,但是如果不攜帶數據則不消耗序號。

5、當服務器收到客戶端的確認後也進入ESTABLISHED狀態,此後雙方就可以開始通信了。

四次揮手:

同時我們需要知道的是:通常服務器不會主動斷開連接,而是客戶端主動斷開連接。

1、客戶端進程發出連接釋放報文,並且停止發送數據。釋放數據報文首部,FIN=1,其序列號爲seq=u(等於前面已經傳送過來的數據的最後一個字節的序號加1),此時,客戶端進入FIN-WAIT-1(終止等待1)狀態。 TCP規定,FIN報文段即使不攜帶數據,也要消耗一個序號。

2、服務器收到連接釋放報文,發出確認報文,ACK=1,ack=u+1,並且帶上自己的序列號seq=v,此時,服務端就進入了CLOSE-WAIT(關閉等待)狀態。TCP服務器通知高層的應用進程,客戶端向服務器的方向就釋放了,這時候處於半關閉狀態,即客戶端已經沒有數據要發送了,但是服務器若發送數據,客戶端依然要接受。這個狀態還要持續一段時間,也就是整個CLOSE-WAIT狀態持續的時間。

3、客戶端收到服務器的確認請求後,此時,客戶端就進入FIN-WAIT-2(終止等待2)狀態,等待服務器發送連接釋放報文(在這之前還需要接受服務器發送的最後的數據)。

4、服務器將最後的數據發送完畢後,就向客戶端發送連接釋放報文,FIN=1,ack=u+1,由於在半關閉狀態,服務器很可能又發送了一些數據,假定此時的序列號爲seq=w,此時,服務器就進入了LAST-ACK(最後確認)狀態,等待客戶端的確認。

5、客戶端收到服務器的連接釋放報文後,必須發出確認,ACK=1,ack=w+1,而自己的序列號是seq=u+1,此時,客戶端就進入了TIME-WAIT(時間等待)狀態。注意此時TCP連接還沒有釋放,必須經過2

6、服務器只要收到了客戶端發出的確認,立即進入CLOSED狀態。同樣,撤銷TCB後,就結束了這次的TCP連接。可以看到,服務器結束TCP連接的時間要比客戶端早一些。

三、實現web靜態服務器

直接看示例:

import socket

import re

def server_client(server_client_socket):

"""接收來自瀏覽器的數據和發送報文""" # 對接收到的請求消息進行解析request = server_client_socket.recv(1024).decode("utf-8")# 請求消息頭部格式大概爲 : GET /index.html HTTP/1.1 request_lines = request.splitlines() # 將接收到的信息按行分割,並返回列表ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])# 若正則表達式匹配成功有返回值,則檢測是由爲 "/"或者空字符,則設置默認文件爲/index.html文件if ret:filename = ret.group(1)if filename == "/" or filename == "": filename = "/index.html"# print(request)respone = "HTTP/1.1 200 OK\r\n"respone += "\r\n"# respone += "

hello world
" # 檢測服務器中是否有該文件,有則發生內容,無則返回錯誤 try: f = open("html"+ filename, "rb")except: respone = "HTTP/1.1 404 Not found file\r\n"respone += "\r\n"respone += "
Not found File
"respone = respone.encode("utf-8")else: file_content = f.read() f.close() respone = respone.encode("utf-8") + file_content # 字節之間的拼接server_client_socket.send(respone)server_client_socket.close()def main():# 1、創建套接字對象server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)# 2、綁定本地信息server_socket.bind(("", 6969))# 3、監聽server_socket.listen(128)while True:# 4、等待客戶端連接server_client_socket, client_addr = server_socket.accept()# 5、服務客戶端server_client(server_client_socket) server_socket.close()if name == "main": main()

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章