使用 OVS 打通多节点上的容器通信(Overlay)

概述

在《启动》这一篇中，学习了如何启动 ovs 服务，并使用 ovs 创建 bridge 设备，然后打通节点内容器间的通信。这一节主要是学习在多节点之间构建一个 overlay 的网络，然后打通所有容器间的通信。最终的网络拓扑图可能如下：

图 1

准备工作

我这里写了两个很简单的创建 bridge，然后将容器加入到 bridge 上。

#!/bin/bash

BR0_IP="172.19.49.2"
C1_IP="172.19.2.1"
C2_IP="172.19.2.2"

ovs-vsctl add-br br0
ifconfig br0 $BR0_IP/16
docker run -d --name c1 -it --net=none --privileged=true busybox sh
ovs-docker add-port br0 eth0 c1 --ipaddress=$C1_IP/16 --gateway=$BR0_IP
docker run -d -it --name c2 --net=none --privileged=true busybox sh
ovs-docker add-port br0 eth0 c2 --ipaddress=$C2_IP/16 --gateway=$BR0_IP

使用上面的脚本创建基本环境后，可以得到下图所示的情况：

图 2

使用 VXLAN 构建 overlay 网络

VXLAN 在每个节点上都会启动 vtep，然后使用 UDP 封装 IP 包进行转发，由 vtep 进行封包和解包。我们这里使用 ovs 来创建 VXLAN 网络，写了一个简单的脚本帮助快速创建：

#!/bin/bash

REMOTE_IP="192.168.33.11"

ovs-vsctl add-port br0 vxlan1 -- set interface vxlan1 type=vxlan options:remote_ip=$REMOTE_IP options:key=flow options:dst_port=8472

创建结束后，我们确认一下 vxlan 的 vtep 是否启动了。可以看到确实有进程监听了 8472 这个端口。

$  netstat -anp | grep 8472
udp        0      0 0.0.0.0:8472            0.0.0.0:*                           -                   
udp6       0      0 :::8472                 :::* 

现在测试一下容器之间的网络通信：

# 同一个节点内的网络通信
$ docker exec -it c1 sh -c "ping -c 3 172.19.1.2"
PING 172.19.1.2 (172.19.1.2): 56 data bytes
64 bytes from 172.19.1.2: seq=0 ttl=64 time=0.197 ms
64 bytes from 172.19.1.2: seq=1 ttl=64 time=0.147 ms
64 bytes from 172.19.1.2: seq=2 ttl=64 time=0.135 ms

# 和另一个节点上容器的通信
$ docker exec -it c1 sh -c "ping -c 3 172.19.2.2"
PING 172.19.2.2 (172.19.2.2): 56 data bytes
64 bytes from 172.19.2.2: seq=0 ttl=64 time=1.150 ms
64 bytes from 172.19.2.2: seq=1 ttl=64 time=1.289 ms
64 bytes from 172.19.2.2: seq=2 ttl=64 time=1.071 ms

此时的网络拓扑图应该如下：

图 3

TODO: 此时容器中还没法访问互联网

使用 GRE 构建 overlay 网络

使用 GRE 来构建 overlay 网络和使用 VXLAN 类似，执行类似以下代码即可：

#!/bin/bash

REMOTE_IP="192.168.33.11"

ovs-vsctl add-port br0 gre0 -- set interface gre0 type=gre options:remote_ip=$REMOTE_IP

测试一下跨节点容器的网络连通性：

$ docker exec -it c1 sh -c "ping -c 3 172.19.2.1"
PING 172.19.2.1 (172.19.2.1): 56 data bytes
64 bytes from 172.19.2.1: seq=0 ttl=64 time=0.643 ms
64 bytes from 172.19.2.1: seq=1 ttl=64 time=1.175 ms
64 bytes from 172.19.2.1: seq=2 ttl=64 time=1.088 ms