手把手實操教程！使用k3s運行輕量級VM

前 言

k3s作爲輕量級的Kubernetes發行版，運行容器是基本功能。VM的管理原本是IaaS平臺的基本能力，隨着Kubernetes的不斷髮展，VM也可以納入其管理體系。結合Container和VM的各自優勢，又發展出輕量級VM的理念，兼具容器的輕量特性，又有VM的隔離安全性，這其中kata-container是時下比較受關注的開源項目。那麼輕量級的k3s和輕量級VM碰撞，又有怎樣的效果，結合兩者進行實踐，謹以此文進行說明。

請注意，本文部署時使用的主要軟件版本是：

k8s v1.17.2+k3s.1，kata-containers v1.9.3。

環境準備

kata-containers既可以在純Docker上運行，也可以運行在Kubernetes中，但本文只關注Kubernetes場景。kubelet本身可以支持多種滿足CRI接口的runtime，包括CRI-O和CRI-Containerd，Kubernetes的RuntimeClaas可以配置Pod使用那種運行時，創建容器時對應的runtime調用runc創建容器，創建VM時調用kata-runtime創建VM。kata-runtime支持多種形式的輕量VM，kata-qemu是默認支持選項，另外也可以使用firecracker（另一種MicroVM）。整體調用關係如下圖所示：

無論哪種VM，KVM的支持是需要的，現在主流的MicroVM技術都是基於KVM，所以我們的環境需要準備支持KVM的Host。你可以用Bare Metal，也可以用支持KVM的PC server，還可以用嵌套虛擬化方式。Host開啓KVM支持後，可以用以下命令檢查：

# 檢測虛擬化情況（需要>0）
grep -cw vmx /proc/cpuinfo

安裝k3s和kata-containers

k3s的安裝部署非常簡單，直接參考官方文檔即可：

https://rancher.com/docs/k3s/latest/en/installation/

筆者使用GCP的Host，並開啓嵌套虛擬化，所以採用在線腳本安裝方式：

curl -sfL https://get.k3s.io | sh -
 
# 備份 containerd原始配置，後面會用到
cd /var/lib/rancher/k3s/agent/etc/containerd/
cp config.toml config.toml.base

kata-containers部署有些需要注意的地方，kata-deploy（https://github.com/kata-containers/packaging/tree/master/kata-deploy）是官方維護的部署腳本，可以幫助部署kata-containers。但是，kata-deploy的k3s支持有些問題，儘管已經有PR提交聲明支持了k3s，筆者整理了這一部署過程遇到的問題，僅作參考。

首先設置RBAC，先安裝文檔中默認的RBAC yaml，再做一些修改：

kubectl apply -f https://raw.githubusercontent.com/kata-containers/packaging/master/kata-deploy/kata-rbac/base/kata-rbac.yaml
 
# 編輯 clusterrole node-labeler，添加新的api授權
# 新增coordination.k8s.io的leases授權 
kubectl edit clusterrole node-labeler
...
...
rules:
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - get
  - patch
- apiGroups:
  - coordination.k8s.io
  resources:
  - leases
  verbs:
  - get
  - list

部署kata，依然是先安裝文檔中默認的yaml：

kubectl apply -k github.com/kata-containers/packaging/kata-deploy/kata-deploy/overlays/k3s

查看kata-deploy Pod的運行情況，基本上你肯定會看到出錯信息：

crictl ps -a | grep kube-kata
crictl logs <kube-kata-container-id>
...
...
Failed to restart containerd.service: Unit containerd.service not found.

這時候發現containerd雖然配置完成，但是重啓失敗。k3s目前的containerd是內置在k3s管理的，並不是通過systemd，而kata-deploy無法識別，這需要我們手動來完成這個過程：

# 創建/var/lib/rancher/k3s/agent/etc/containerd/config.toml.tmpl
 
# 使用之前保留的原始配置
cat config.toml.base > config.toml.tmpl
 
# 在config.toml.tmpl末尾追加
# 你可以篩選加入你使用的runtimes，也可以全部添加
[plugins.cri.containerd.runtimes.kata]
  runtime_type = "io.containerd.kata.v2"
[plugins.cri.containerd.runtimes.kata.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration.toml"
 
[plugins.cri.containerd.runtimes.kata-fc]
  runtime_type = "io.containerd.kata-fc.v2"
[plugins.cri.containerd.runtimes.kata-fc.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-fc.toml"
 
[plugins.cri.containerd.runtimes.kata-qemu]
  runtime_type = "io.containerd.kata-qemu.v2"
[plugins.cri.containerd.runtimes.kata-qemu.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-qemu.toml"
 
[plugins.cri.containerd.runtimes.kata-qemu-virtiofs]
  runtime_type = "io.containerd.kata-qemu-virtiofs.v2"
[plugins.cri.containerd.runtimes.kata-qemu-virtiofs.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-qemu-virtiofs.toml"
 
[plugins.cri.containerd.runtimes.kata-nemu]
  runtime_type = "io.containerd.kata-nemu.v2"
[plugins.cri.containerd.runtimes.kata-nemu.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-nemu.toml"

由於kata-deploy每次啓動都會重寫k3s containerd配置，爲了避免干擾，在一切就緒後，我們可以刪除kata-deploy，並重啓k3s：

# 由於kata-deploy stop時會清理安裝的kata相關程序，所以刪除kata-deploy前，我們先去掉這個機制
# 編輯kata-deploy，刪除lifecycle preStop
 
lifecycle:
  preStop:
    exec:
      command:
      - bash
      - -c
      - /opt/kata-artifacts/scripts/kata-deploy.sh cleanup
 
 
kubectl delete -k github.com/kata-containers/packaging/kata-deploy/kata-deploy/overlays/k3s
 
systemctl restart k3s.service

運行demo

添加RuntimeClass，目前經過筆者測試，k3s只支持kata-qemu，所以我們只安裝kata-qemu-runtimeClass：

kubectl apply -f https://raw.githubusercontent.com/kata-containers/packaging/master/kata-deploy/k8s-1.14/kata-qemu-runtimeClass.yaml

添加workload

kubectl apply -f https://raw.githubusercontent.com/kata-containers/packaging/master/kata-deploy/examples/test-deploy-kata-qemu.yaml
 
kubectl get deploy php-apache-kata-qemu
NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
php-apache-kata-qemu   1/1     1            1           1m

確認kata-qemu正常創建VM：

ps aux| grep qemu
root      3589  0.9  0.9 2490176 151368 ?      Sl   06:49   0:15 /opt/kata/bin/qemu-system-x86_64
 
# 進入VM
crictl ps | grep php-apache
crictl exec -it <php-apache-container-id> bash
# uname -r
4.19.75
# exit
 
# 查看Host kernel
uname -r
5.0.0-1029-gcp

我們可以看到通過k3s創建的每個kata容器都具有獨立的內核，沒有共享主機內核。

後 記

隨着k3s的進一步發展，越來越多的軟件不僅僅支持完整的Kubernetes，也會支持在k3s中安裝部署。k3s除了會在devops領域和邊緣計算領域外不斷髮展外，作爲軟件運行載體也在不斷被各個開源產品接受，k3s輔助其他軟件給用戶提供輕量級的交付體驗，開箱即用的使用感受。