一個目標：容器操作；兩地三中心；四層服務發現；五種Pod共享資源；六個CNI常用插件；七層負載均衡；八種隔離維度；九個網絡模型原則；十類IP地址；百級產品線；千級物理機；萬級容器；相如無億，K8s有億：億級日服務人次。
一個目標：容器操作
Kubernetes（k8s）是自動化容器操作的開源平臺。這些容器操作包括：部署、調度和節點集羣間擴展。
具體功能：
- 自動化容器部署和複製。
- 實時彈性收縮容器規模。
- 容器編排成組，並提供容器間的負載均衡。
調度：容器在哪個機器上運行。
組成：
- kubectl:客戶端命令行工具，作爲整個系統的操作入口。
- kube-apiserver:以REST API服務形式提供接口，作爲整個系統的控制入口。
- kube-controller-manager:執行整個系統的後臺任務，包括節點狀態狀況、Pod個數、Pods和Service的關聯等。
- kube-scheduler:負責節點資源管理，接收來自kube-apiserver創建Pods任務，並分配到某個節點。
- etcd:負責節點間的服務發現和配置共享。
- kube-proxy:運行在每個計算節點上，負責Pod網絡代理。定時從etcd獲取到service信息來做相應的策略。
- kubelet:運行在每個計算節點上，作爲agent，接收分配該節點的Pods任務及管理容器，週期性獲取容器狀態，反饋給kube-apiserver。
- DNS：一個可選的DNS服務，用於爲每個Service對象創建DNS記錄，這樣所有的Pod就可以通過DNS訪問服務了。
下面是K8s的架構拓撲圖：
兩地三中心
兩地三中心包括本地生產中心、本地災備中心、異地災備中心。
兩地三中心要解決的一個重要問題就是數據一致性問題。k8s使用etcd組件作爲一個高可用、強一致性的服務發現存儲倉庫。用於配置共享和服務發現。
它作爲一個受到Zookeeper和doozer啓發而催生的項目。除了擁有他們的所有功能之外，還擁有以下4個特點：
- 簡單：基於http+json的api讓你用curl命令就可以輕鬆使用。
- 安全：可選SSL客戶認證機制。
- 快速：每個實例每秒支持一千次寫操作。
- 可信：使用Raft算法充分實現了分佈式。
四層服務發現
先一張圖解釋一下網絡七層協議：
k8s提供了兩種方式進行服務發現：
環境變量：當創建一個Pod的時候，kubelet會在該Pod中注入集羣內所有Service的相關環境變量。需要注意的是，要想一個Pod中注入某個Service的環境變量，則必須Service要先比該Pod創建。這一點，幾乎使得這種方式進行服務發現不可用。
比如，一個ServiceName爲redis-master的Service，對應的ClusterIP:Port爲10.0.0.11:6379，則對應的環境變量爲：
DNS：可以通過cluster add-on的方式輕鬆的創建KubeDNS來對集羣內的Service進行服務發現。
以上兩種方式，一個是基於tcp，衆所周知，DNS是基於UDP的，它們都是建立在四層協議之上。
五種Pod共享資源
Pod是K8s最基本的操作單元，包含一個或多個緊密相關的容器，一個Pod可以被一個容器化的環境看作應用層的“邏輯宿主機”；一個Pod中的多個容器應用通常是緊密耦合的，Pod在Node上被創建、啓動或者銷燬；每個Pod裏運行着一個特殊的被稱之爲Volume掛載卷，因此他們之間通信和數據交換更爲高效，在設計時我們可以充分利用這一特性將一組密切相關的服務進程放入同一個Pod中。
同一個Pod裏的容器之間僅需通過localhost就能互相通信。
一個Pod中的應用容器共享五種資源：
- PID命名空間：Pod中的不同應用程序可以看到其他應用程序的進程ID。
- 網絡命名空間：Pod中的多個容器能夠訪問同一個IP和端口範圍。
- IPC命名空間：Pod中的多個容器能夠使用SystemV IPC或POSIX消息隊列進行通信。
- UTS命名空間：Pod中的多個容器共享一個主機名。
- Volumes(共享存儲卷)：Pod中的各個容器可以訪問在Pod級別定義的Volumes。
Pod的生命週期通過Replication Controller來管理；通過模板進行定義，然後分配到一個Node上運行，在Pod所包含容器運行結束後，Pod結束。
Kubernetes爲Pod設計了一套獨特的網絡配置，包括：爲每個Pod分配一個IP地址，使用Pod名作爲榮期間通信的主機名等。
六個CNI常用插件
CNI(Container Network Interface)容器網絡接口，是Linux容器網絡配置的一組標準和庫，用戶需要根據這些標準和庫來開發自己的容器網絡插件。CNI只專注解決容器網絡連接和容器銷燬時的資源釋放，提供一套框架，所以CNI可以支持大量不同的網絡模式，並且容易實現。
下面用一張圖表示六個CNI常用插件：
七層負載均衡
提負載均衡就不得不先提服務器之間的通信。
IDC(Internet Data Center),也可稱 數據中心、機房，用來放置服務器。IDC網絡是服務器間通信的橋樑。
上圖裏畫了很多網絡設備，它們都是幹啥用的呢？
路由器、交換機、MGW/NAT都是網絡設備，按照性能、內外網劃分不同的角色。
- 內網接入交換機：也稱爲TOR(top of rack),是服務器接入網絡的設備。每臺內網接入交換機下聯40-48臺服務器，使用一個掩碼爲/24的網段作爲服務器內網網段。
- 內網核心交換機：負責IDC內各內網接入交換機的流量轉發及跨IDC流量轉發。
- MGW/NAT：MGW即LVS用來做負載均衡，NAT用於內網設備訪問外網時做地址轉換。
- 外網核心路由器：通過靜態互聯運營商或BGP互聯美團統一外網平臺。
先說說各層負載均衡：
- 二層負載均衡：基於MAC地址的二層負載均衡。
- 三層負載均衡：基於IP地址的負載均衡。
- 四層負載均衡：基於IP+端口的負載均衡。
- 七層負載均衡：基於URL等應用層信息的負載均衡。
這裏用一張圖來說說四層和七層負載均衡的區別：
上面四層服務發現講的主要是k8s原生的kube-proxy方式。K8s關於服務的暴露主要是通過NodePort方式，通過綁定minion主機的某個端口，然後進行pod的請求轉發和負載均衡，但這種方式有下面的缺陷：
- Service可能有很多個，如果每個都綁定一個node主機端口的話，主機需要開放外圍的端口進行服務調用，管理混亂。
- 無法應用很多公司要求的防火牆規則。
理想的方式是通過一個外部的負載均衡器，綁定固定的端口，比如80，然後根據域名或者服務名向後面的Service ip轉發，Nginx很好的解決了這個需求，但問題是如果有的心得服務加入，如何去修改Nginx的配置，並且加載這些配置？Kubernetes給出的方案就是Ingress。這是一個基於7層的方案。
八種隔離維度
K8s集羣調度這邊需要對上面從上到下從粗粒度到細粒度的隔離做相應的調度策略。
九個網絡模型原則
K8s網絡模型要符合4個基礎原則，3個網絡要求原則，1個架構原則，1個IP原則。
每個Pod都擁有一個獨立的IP地址，而且假定所有Pod都在一個可以直接連通的、扁平的網絡空間中，不管是否運行在同一Node上都可以通過Pod的IP來訪問。
K8s中的Pod的IP是最小粒度IP。同一個Pod內所有的容器共享一個網絡堆棧，該模型稱爲IP-per-Pod模型。
- Pod由docker0實際分配的IP
- Pod內部看到的IP地址和端口與外部保持一致
- 同一個Pod內的不同容器共享網絡，可以通過localhost來訪問對方的端口，類似同一個VM內不同的進程。
IP-per-Pod模型從端口分配、域名解析、服務發現、負載均衡、應用配置等角度看，Pod可以看做是一臺獨立的VM或物理機。
- 所有容器都可以不用NAT的方式同別的容器通信。
- 所有節點都可以在不同NAT方式下同所有容器心痛，反之亦然。
- 容器的地址和別人看到的地址是同一個地址。
要符合下面的架構：
由上圖架構引申出來IP概念從集羣外部到集羣內部
十類IP地址
大家都知道IP地址分爲ABCDE類，另外還有5類特殊用途的IP。
第一類
A 類：1.0.0.0-1226.255.255.255，默認子網掩碼/8，即255.0.0.0。 B 類：128.0.0.0-191.255.255.255，默認子網掩碼/16，即255.255.0.0。 C 類：192.0.0.0-223.255.255.255，默認子網掩碼/24，即255.255.255.0。 D 類：224.0.0.0-239.255.255.255，一般用於組播。 E 類：240.0.0.0-255.255.255.255(其中255.255.255.255爲全網廣播地址)。E 類地址一般用於研究用途。
第二類
0.0.0.0 嚴格來說，0.0.0.0 已經不是一個真正意義上的 IP 地址了。它表示的是這樣一個集合：所有不清楚的主機和目的網絡。這裏的不清楚是指在本機的路由表裏沒有特定條目指明如何到達。作爲缺省路由。 127.0.0.1 本機地址。
第三類
224.0.0.1 組播地址。
如果你的主機開啓了IRDP（internet路由發現，使用組播功能），那麼你的主機路由表中應該有這樣一條路由。
第四類
169.254.x.x 使用了 DHCP 功能自動獲取了 IP 的主機，DHCP 服務器發生故障，或響應時間太長而超出了一個系統規定的時間，系統會爲你分配這樣一個 IP，代表網絡不能正常運行。
第五類
10.xxx、172.16.x.x~172.31.x.x、192.168.x.x 私有地址。 大量用於企業內部。保留這樣的地址是爲了避免亦或是哪個接入公網時引起地址混亂。
