Kubernetes V1.17開啓 拓撲感知服務路由
1、名詞解釋：
拓撲域：表示在集羣中某個節點，可操作區域，也就是拓撲域名。
Endpoint: IP-Port 一般來說是Node當中pod的ip+port。
Service：一組依靠labelselector的pod，起到流量均衡分發管理的作用。
2、給所有組件打開ServiceTopology和Endpointslice
集羣版本在V1.17以上
Kube-proxy 以iptables或IPVS模式運行(alpha階段暫時只實現這兩種模式)。
Service K8S的service資源，關聯一組endpoint，準發到某個endpoint。
啓用了Endpoint Slices
給所有組件打開ServiceTopology和Endpointslice這兩個Feature gate：
--feature-gates=ServiceTopology=true,EndpointSlice=true
3、kube-apiserver 組件修改
kube-apiserver 前期啓動OwnerReferencesPermissionEnforcement 插件請刪除不然一直提示 Warning FailedToUpdateEndpointSlices 8m24s (x7 over 11m) endpoint-slice-controller (combined from similar events): Error updating Endpoint Slices for Service kube-system/kube-dns: Error creating EndpointSlice for Service kube-syste
m/kube-dns: endpointslices.discovery.k8s.io "kube-dns-x8qmh" is forbidden: cannot set blockOwnerDeletion if an ownerReference refers to a resource you can't set finalizers on: , <nil>
4、更新配置文件及重啓所有組件
5、驗證endpointslices 是否正常
root@Qist:/opt/kube14# kubectl get endpointslices
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
kube-dns-kh5ls IPv4 53,9153,53 10.83.98.136,10.90.153.135 15m
metrics-server-gqgqm IPv4 443 10.93.92.195 15m
6、 驗證ServiceTopology
在 Service spec 里加上 topologyKeys 字段，表示該 Service 優先順序選用的拓撲域列表，對應節點標籤的 key；當訪問此 Service 時，會找是否有 endpoint 有對應 topology key 的拓撲信息並且 value 跟當前節點也一樣，如果是，那就選定此 topology key 作爲當前轉發的拓撲域，並且篩選出其餘所有在這個拓撲域的 endpoint 來進行轉發；如果沒有找到任何 endpoint 在當前 topology key 對應拓撲域，就會嘗試第二個 topology key，依此類推；如果遍歷完所有 topology key 也沒有匹配到 endpoint 就會拒絕轉發，就像此 service 沒有後端 endpoint 一樣。
有一個特殊的 topology key “*“，它可以匹配所有 endpoint，如果 topologyKeys 包含了 *，它必須在列表末尾，通常是在沒有匹配到合適的拓撲域來實現就近轉發時，就打消就近轉發的念頭，可以轉發到任意 endpoint 上。
當前 topology key 支持以下可能的值（未來會增加更多）:
kubernetes.io/hostname: 節點的 hostname，通常將它放列表中第一個，表示如果本機有 endpoint 就直接轉發到本機的 endpoint。
topology.kubernetes.io/zone: 節點所在的可用區，通常將它放在 kubernetes.io/hostname 後面，表示如果本機沒有對應 endpoint，就轉發到當前可用區其它節點上的 endpoint（部分雲廠商跨可用區通信會收取額外的流量費用）。
topology.kubernetes.io/region: 表示節點所在的地域，表示轉發到當前地域的 endpoint，這個用的應該會比較少，因爲通常集羣所有節點都只會在同一個地域，如果節點跨地域了，節點之間通信延時將會很高。
*: 忽略拓撲域，匹配所有 endpoint，相當於一個保底策略，避免丟包，只能放在列表末尾。
topologyKeys 與 externalTrafficPolicy=Local 不兼容，是互斥的，如果 externalTrafficPolicy 爲 Local，就不能定義 topologyKeys，反之亦然。
topology key 必須是合法的 label 格式，並且最多定義 16 個 key。
# 以kube-dns 爲例：
---
apiVersion: v1
kind: Service
metadata:
name: kube-dns
namespace: kube-system
labels:
k8s-app: kube-dns
kubernetes.io/cluster-service: "true"
addonmanager.kubernetes.io/mode: Reconcile
kubernetes.io/name: "CoreDNS"
spec:
selector:
k8s-app: kube-dns
clusterIP: 192.66.0.2
topologyKeys: ["kubernetes.io/hostname", "topology.kubernetes.io/zone", "*"] # 添加參數
ports:
- name: dns
port: 53
protocol: UDP
- name: dns-tcp
port: 53
protocol: TCP
- name: metrics
port: 9153
protocol: TCP
# 驗證ServiceTopology 是否生效
進去node 節點
無kube-dns 容器節點
root@k8s-master-01:~# ipvsadm -Ln | grep :53
TCP 10.66.0.2:53 rr
-> 10.83.98.136:53 Masq 1 0 0
-> 10.90.153.135:53 Masq 1 0 0
UDP 10.66.0.2:53 rr
-> 10.83.98.136:53 Masq 1 0 0
-> 10.90.153.135:53 Masq 1 0 0
# 有kube-dns 容器節點
[root@k8s-node-09 ~]# ipvsadm -Ln| grep :53
TCP 10.66.0.2:53 rr
-> 10.90.153.135:53 Masq 1 0 0
UDP 10.66.0.2:53 rr
-> 10.90.153.135:53 Masq 1 0 0
# 直接就是當前node 節點容器IP
