Linux虛擬網絡技術學習

一個執着於技術的公衆號

地方

背景

在Linux虛擬化技術中，網絡層面，通常重要的三個技術分別是Network Namespace、veth pair、以及網橋或虛擬交換機技術。今天就通過實驗帶大家一起學習下Linux網絡虛擬化技術。

我們首先了解下Network Namespace，它是由Linux內核提供，是實現網絡虛擬化的重要功能。通過創建多個隔離的網絡空間，實現網絡資源的隔離。

不同的Network Namespace的資源互相不可見，彼此之間無法通信。如下圖所示：

Network Namespace

ip netns命令

Network Namespace是Linux內核提供的功能，本文藉助ip命令來完成各種操作。ip命令來自於iproute2安裝包，一般系統默認安裝，如果沒有的話，讀者可自行安裝。

ip命令管理的功能很多，和Network Namespace有關的操作都在其子命令ip netns下進行的，可以通過ip netns help查詢命令幫助信息

[root@qll253 ~]# ip netns help
Usage: ip netns list
       ip netns add NAME
       ip netns set NAME NETNSID
       ip [-all] netns delete [NAME]
       ip netns identify [PID]
       ip netns pids NAME
       ip [-all] netns exec [NAME] cmd ...
       ip netns monitor
       ip netns list-id

創建Network Namespace

1、通過 ip netns add 命令創建一個名爲`ns0`的網絡命名空間：

[root@1ll253 ~]# ip netns add ns0

2、查詢命名空間

[root@1ll253 ~]# ip netns list
ns0

3、命名空間所在目錄

[root@1ll253 ~]# ls /var/run/netns/
ns0

注意：新創建的 Network Namespace 會出現在/var/run/netns/目錄下。如果需要管理其他不是 ip netns 創建的 network namespace，只要在這個目錄下創建一個指向對應 network namespace 文件的鏈接即可。

操作Network Namespace

對於每個 Network Namespace 來說，它會有自己獨立的網卡、路由表、ARP 表、iptables 等和網絡相關的資源。ip命令提供了ip netns exec子命令可以在對應的 Network Namespace 中執行命令。

1、查看網絡命名空間 ns0 的網卡信息

[root@1ll253 ~]# ip netns exec ns0 ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

每個 namespace 在創建時會自動創建一個迴環接口lo，默認不啓用。它的作用和Linux系統中默認看到的lo一樣，都是爲了實現loopback通信，如果希望lo口能工作，可以通過下面的步驟2啓用它。

2、啓用lo迴環網卡：

[root@1ll253 ~]# ip netns exec ns0 ip link set lo up

再次檢查迴環網卡狀態：

[root@1ll253 ~]# ip netns exec ns0 ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever

會發現此時迴環口卡處於UP狀態，並且系統分配127.0.0.1/8的ip地址。

3、在 ns0 中打開一個shell終端

[root@1ll253 ~]# ip netns exec ns0 /bin/bash
[root@1ll253 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
[root@1ll253 ~]# exit
exit

通過執行ip netns exec ns0 /bin/bash進入ns0的shell終端，後面所有的命令都在這個Network Namespace中執行，好處是不用每次執行命令時都要帶上ip netns exec ，缺點是我們無法清楚知道自己當前所在的shell，容易混淆。

可以採用下面的方法解決：

[root@1ll253 ~]# ip netns exec ns0 /bin/bash --rcfile <(echo "PS1=\"ns0> \"")
ns0>

Network Namespace 之間的通信

默認情況下，network namespace 是不能和主機網絡，或者其他 network namespace 通信的。

可以使用 Linux 提供的veth pair來完成通信，veth pair你可以理解爲使用網線連接好的兩個接口，把兩個端口放到兩個namespace中，那麼這兩個namespace就能打通。

接下來我們通過實驗進行驗證：

實驗拓撲圖

1、創建veth pair

[root@1ll253 ~]# ip link add type veth
[root@1ll253 ~]# ip link
14: veth0@veth1: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 06:17:62:85:64:fc brd ff:ff:ff:ff:ff:ff
15: veth1@veth0: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether fe:9a:48:e4:a3:99 brd ff:ff:ff:ff:ff:ff
[root@1ll253 ~]#

可以看到，此時系統中新增了一對veth pair：veth0和veth1，需要記住的是veth pair無法單獨存在，刪除其中一個，另一個也會自動消失。

如果需要指定veth pair兩個端點的名稱，可以使用下面的命令：

[root@1ll253 ~]# ip link add veth001 type veth peer name veth002
[root@1ll253 ~]# ip link
12: veth002@veth001: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether aa:3e:04:da:a7:69 brd ff:ff:ff:ff:ff:ff
13: veth001@veth002: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 3e:5d:5f:4e:06:2b brd ff:ff:ff:ff:ff:ff

2、創建Network Namespace

我們已創建了一個名爲ns0的Network Namespace，下面再創建一個名稱爲ns1的網絡命名空間。

[root@1ll253 ~]# ip netns add ns1
[root@1ll253 ~]# ip netns list
ns1
ns0

3、把veth pair分別加入到這兩個namespace中

將veth0加入到ns0，將veth1加入到ns1，如下所示：

[root@1ll253 ~]# ip link set veth0 netns ns0
[root@1ll253 ~]# ip link set veth1 netns ns1

4、分別爲這對veth pair配置上ip地址，並啓用

1）爲veth0配置IP，並啓用該虛擬網卡

[root@1ll253 ~]# ip netns exec ns0 ip addr add 192.168.1.1/24 dev veth0
[root@1ll253 ~]# ip netns exec ns0 ip link set veth0 up

2）爲veth1配置IP，並啓用該虛擬網卡

[root@1ll253 ~]# ip netns exec ns1 ip addr add 192.168.1.2/24 dev veth1
[root@1ll253 ~]# ip netns exec ns1 ip link set veth1 up

5、查看這對veth pair的狀態

6、驗證兩個Network Namespace之間的互通

可以看到，veth pair成功實現了兩個不同Network Namespace之間的網絡交互。

網橋

雖然veth pair可以實現兩個 Network Namespace 之間的通信，但 veth pair 有一個明顯的缺陷，就是隻能實現兩個網絡接口之間的通信。如果多個network namespace需要進行通信，則需要藉助bridge。

下面我們通過實驗來進行講解：

實驗拓撲圖

0、還原網絡環境

爲方便接下來的實驗，我們把剛剛創建的Network Namespace及veth pair刪除，保證純淨的網絡環境。

[root@1ll253 ~]# ip netns delete ns0
[root@1ll253 ~]# ip netns delete ns1

1、創建3個Network Namespace

[root@1ll253 ~]# ip netns add ns0
[root@1ll253 ~]# ip netns add ns1
[root@1ll253 ~]# ip netns add ns2

2、創建3對veth pair

[root@1ll253 ~]# ip link add type veth
[root@1ll253 ~]# ip link
16: veth0@veth1: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ba:fa:d6:14:e1:32 brd ff:ff:ff:ff:ff:ff
17: veth1@veth0: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether a2:ef:d9:a5:96:51 brd ff:ff:ff:ff:ff:ff
18: veth2@veth3: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether a2:5b:e7:9e:b1:55 brd ff:ff:ff:ff:ff:ff
19: veth3@veth2: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 92:91:67:ab:69:ac brd ff:ff:ff:ff:ff:ff
20: veth4@veth5: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 8a:c8:35:f6:11:3f brd ff:ff:ff:ff:ff:ff
21: veth5@veth4: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 2a:b7:82:d4:49:d5 brd ff:ff:ff:ff:ff:ff

3、創建網橋

// 創建名爲 docker0 的網橋
[root@1ll253 ~]# ip link add docker0 type bridge

//啓動 docker0 網橋
[root@1ll253 ~]# ip link set dev docker0 up

//爲docker0網橋配置IP
[root@1ll253 ~]# ifconfig docker0 172.17.0.1/16

此時可以通過ifconfig命令查看：

docker0

4、綁定網口

Network Namespace、veth pair、bridge 都創建完畢，下面通過命令將每對veth pair的一端綁定在network namespace，另一端綁定在docker0網橋上，用於實現網絡互通

1）配置第一個網絡命名空間 ns0

// 將veth1添加進ns0
[root@1ll253 ~]# ip link set dev veth1 netns ns0

//將veth1重命名爲eth0
[root@1ll253 ~]# ip netns exec ns0 ip link set dev veth1 name eth0

//爲ns0中的eth0配置ip
[root@1ll253 ~]# ip netns exec ns0 ip addr add 172.17.0.101/16 dev eth0

// 啓動ns0中的eth0網卡
[root@1ll253 ~]# ip netns exec ns0 ip link set dev eth0 up

// 將veth0添加加網橋docker0
[root@1ll253 ~]# ip link set dev veth0 master docker0

// 啓動veth0網卡
[root@1ll253 ~]# ip link set dev veth0 up

2）配置第二個網絡命名空間 ns1

[root@1ll253 ~]# ip link set dev veth3 netns ns1
[root@1ll253 ~]# ip netns exec ns1 ip link set dev veth3 name eth0
[root@1ll253 ~]# ip netns exec ns1 ip addr add 172.17.0.102/16 dev eth0
[root@1ll253 ~]# ip netns exec ns1 ip link set dev eth0 up
[root@1ll253 ~]# ip link set dev veth1 master docker0
[root@1ll253 ~]# ip link set dev veth3 up

2）配置第三個網絡命名空間 ns2

[root@1ll253 ~]# ip link set dev veth5 netns ns2
[root@1ll253 ~]# ip netns exec ns2 ip link set dev veth5 name eth0
[root@1ll253 ~]# ip netns exec ns2 ip addr add 172.17.0.103/16 dev eth0
[root@1ll253 ~]# ip netns exec ns1 ip link set dev eth0 up
[root@1ll253 ~]# ip link set dev veth5 master docker0
[root@1ll253 ~]# ip link set dev veth5 up

5、查看綁定端口

和網橋有關的操作還可以使用brctl，這個命令來自 bridge-utils安裝包。這裏使用brctl show來查詢網橋docker0下綁定的網卡。

6、驗證多個namespace之間的通信

// 進入ns0 bash終端
[root@1ll253 ~]# ip netns exec ns0 /bin/bash --rcfile <(echo "PS1=\"ns0> \"")

// ping 網橋docker0
ns0> ping -c 1 172.17.0.1
PING 172.17.0.1 (172.17.0.1) 56(84) bytes of data.
64 bytes from 172.17.0.1: icmp_seq=1 ttl=64 time=0.033 ms
...

// ping ns1上的eth0網卡
ns0> ping -c 1 172.17.0.102
PING 172.17.0.102 (172.17.0.102) 56(84) bytes of data.
64 bytes from 172.17.0.102: icmp_seq=1 ttl=64 time=0.049 ms
...

// ping ns2上的eth0網卡
ns0> ping -c 1 172.17.0.103
PING 172.17.0.103 (172.17.0.103) 56(84) bytes of data.
64 bytes from 172.17.0.103: icmp_seq=1 ttl=64 time=0.038 ms
...