Kubernetes V1.17開啓 拓撲感知服務路由

Kubernetes V1.17開啓 拓撲感知服務路由

1、名詞解釋:

拓撲域:表示在集羣中某個節點,可操作區域,也就是拓撲域名。
Endpoint: IP-Port 一般來說是Node當中pod的ip+port。
Service:一組依靠labelselector的pod,起到流量均衡分發管理的作用。

2、給所有組件打開ServiceTopology和Endpointslice

集羣版本在V1.17以上
Kube-proxy 以iptables或IPVS模式運行(alpha階段暫時只實現這兩種模式)。
Service K8S的service資源,關聯一組endpoint,準發到某個endpoint。
啓用了Endpoint Slices
給所有組件打開ServiceTopology和Endpointslice這兩個Feature gate:
--feature-gates=ServiceTopology=true,EndpointSlice=true 

3、kube-apiserver 組件修改

kube-apiserver 前期啓動OwnerReferencesPermissionEnforcement 插件請刪除不然一直提示  Warning  FailedToUpdateEndpointSlices  8m24s (x7 over 11m)  endpoint-slice-controller  (combined from similar events): Error updating Endpoint Slices for Service kube-system/kube-dns: Error creating EndpointSlice for Service kube-syste
m/kube-dns: endpointslices.discovery.k8s.io "kube-dns-x8qmh" is forbidden: cannot set blockOwnerDeletion if an ownerReference refers to a resource you can't set finalizers on: , <nil>

4、更新配置文件及重啓所有組件

5、驗證endpointslices 是否正常

[email protected]:/opt/kube14# kubectl get endpointslices
NAME                   ADDRESSTYPE   PORTS        ENDPOINTS                    AGE
kube-dns-kh5ls         IPv4          53,9153,53   10.83.98.136,10.90.153.135   15m
metrics-server-gqgqm   IPv4          443          10.93.92.195                 15m

6、 驗證ServiceTopology

在 Service spec 里加上 topologyKeys 字段,表示該 Service 優先順序選用的拓撲域列表,對應節點標籤的 key;當訪問此 Service 時,會找是否有 endpoint 有對應 topology key 的拓撲信息並且 value 跟當前節點也一樣,如果是,那就選定此 topology key 作爲當前轉發的拓撲域,並且篩選出其餘所有在這個拓撲域的 endpoint 來進行轉發;如果沒有找到任何 endpoint 在當前 topology key 對應拓撲域,就會嘗試第二個 topology key,依此類推;如果遍歷完所有 topology key 也沒有匹配到 endpoint 就會拒絕轉發,就像此 service 沒有後端 endpoint 一樣。

有一個特殊的 topology key “*“,它可以匹配所有 endpoint,如果 topologyKeys 包含了 *,它必須在列表末尾,通常是在沒有匹配到合適的拓撲域來實現就近轉發時,就打消就近轉發的念頭,可以轉發到任意 endpoint 上。

當前 topology key 支持以下可能的值(未來會增加更多):

kubernetes.io/hostname: 節點的 hostname,通常將它放列表中第一個,表示如果本機有 endpoint 就直接轉發到本機的 endpoint。
topology.kubernetes.io/zone: 節點所在的可用區,通常將它放在 kubernetes.io/hostname 後面,表示如果本機沒有對應 endpoint,就轉發到當前可用區其它節點上的 endpoint(部分雲廠商跨可用區通信會收取額外的流量費用)。
topology.kubernetes.io/region: 表示節點所在的地域,表示轉發到當前地域的 endpoint,這個用的應該會比較少,因爲通常集羣所有節點都只會在同一個地域,如果節點跨地域了,節點之間通信延時將會很高。
*: 忽略拓撲域,匹配所有 endpoint,相當於一個保底策略,避免丟包,只能放在列表末尾。
topologyKeys 與 externalTrafficPolicy=Local 不兼容,是互斥的,如果 externalTrafficPolicy 爲 Local,就不能定義 topologyKeys,反之亦然。
topology key 必須是合法的 label 格式,並且最多定義 16 個 key。
# 以kube-dns 爲例:
---
apiVersion: v1
kind: Service
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "CoreDNS"
spec:
  selector:
    k8s-app: kube-dns
  clusterIP: 192.66.0.2
  topologyKeys: ["kubernetes.io/hostname", "topology.kubernetes.io/zone", "*"] # 添加參數
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP
  - name: metrics
    port: 9153
    protocol: TCP
# 驗證ServiceTopology 是否生效
進去node 節點
無kube-dns 容器節點
[email protected]:~# ipvsadm -Ln | grep :53
TCP  10.66.0.2:53 rr
  -> 10.83.98.136:53              Masq    1      0          0
  -> 10.90.153.135:53             Masq    1      0          0
UDP  10.66.0.2:53 rr
  -> 10.83.98.136:53              Masq    1      0          0
  -> 10.90.153.135:53             Masq    1      0          0
# 有kube-dns 容器節點
[[email protected] ~]# ipvsadm -Ln| grep :53
TCP  10.66.0.2:53 rr
  -> 10.90.153.135:53             Masq    1      0          0
UDP  10.66.0.2:53 rr
  -> 10.90.153.135:53             Masq    1      0          0
# 直接就是當前node 節點容器IP
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章