使用k8s时，一直好奇不同主机上的pod是如何通信的。近期研究了下使用flannel 插件时，不同主机上pod间的通信流程。本文首先直接给出了pod间通信的框架，然后到pod所在主机上查看网络设置或抓包的方式，验证pod间的通信框架，加深对其理解

k8s环境

操作系统：centos7，k8s version:1.16.3， master节点数：3， node 节点数：10

部署2副本的nginx pod位于不同的主机：apaas-node0008, apaas-node0009

[root@apaas-master0001 ~]# kubectl -n demo get pods -o wide
NAME                                READY   STATUS    RESTARTS   AGE   IP            NODE             NOMINATED NODE   READINESS GATES
nginx-deployment-574b87c764-b7hlb   1/1     Running   0          26h   10.7.5.166    apaas-node0009   <none>           <none>
nginx-deployment-574b87c764-d8598   1/1     Running   0          26h   10.7.12.147   apaas-node0008   <none>           <none>

在apaas-node0009 nginx pod 上ping 另一个nginx pod ip 10.7.12.147，会经历哪些千奇百怪？

不同主机pod间通信框架

直接上图，看下不同主机上pod间的通信流程。通过图中标号，可以知道请求处理过程。我们把apaas-node0009 nginx pod称为nginx1，apaas-node0008 nginx pod称为nginx2。nginx1 ping nginx2，

1. 请求通过pod eth0发送请求数据给apaas-node0009上cni0网桥，
2. apaas-node0009上cni0网桥转发数据给flannel网卡
3. apaas-node0009上flannel网卡转发数据到主机eth0
4. apaas-node0009上eth0转发数据到主机apaas-node0008上eth0
5. apaas-node0008上eth0转发数据到flannel网卡
6. apaas-node0008上flannel网卡转发数据到cni0网桥
7. apaas-node0008上cni0网桥转发数据到nginx2
8. nginx2处理请求后，响应数据原路返回

下面我看下pod间通信为什么有这样的通信流程

pod到cni0

每个pod有自己的network namespace，因此不同pod间网络是隔离的，一个pod请求另一个pod时需要使用veth。veth是linux的一种虚拟网络设备，它有点类似于中间用一条网线连着的两张网卡，veth总是成对出现。pod中eth0是veth的一端，在pod的network namespace，veth的另一端连着cni0。我们到主机apaas-node0009上，查看下nginx1使用的veth

到nginx1 查看eth0配置即veth在pod中的一端，link-netnsid 0是指veth的另一端在0号network namespace也就是默认namespace中，网卡号901。

root@nginx-deployment-574b87c764-b7hlb:/# ip link
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
3: eth0@if901: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP mode DEFAULT group default 
    link/ether 3e:59:0d:fa:77:4e brd ff:ff:ff:ff:ff:ff link-netnsid 0

我们在主机上ip link查看901号网卡，可见它连接的是network namespace id为22(link-netnsid 22)的3号(@if3)网卡。并且901号网卡veth3612ad0c已经连接cni0

[root@apaas-node0009 netns]# ip link | grep -A 1 901 
901: veth3612ad0c@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default 
    link/ether 8a:4e:22:fe:fc:0c brd ff:ff:ff:ff:ff:ff link-netnsid 22
[root@apaas-node0009 ~]# brctl show 
bridge name     bridge id               STP enabled     interfaces
cni0            8000.0a5be3643b1b       no              veth019c1d69
                                                        veth09f5c388
                                                        veth0e701f29
                                                        veth3500eca2
                                                        veth3612ad0c

通过network namespace id 22 获取 namespace名称。注意docker 创建的 namespace 需要软链后才能查到，获得此id对应的namespace名称为4aaf726e8c00

[root@apaas-node0009 netns]# ln -s /var/run/docker/netns/ /var/run/netns
[root@apaas-node0009 netns]# ip netns list| grep 22
4aaf726e8c00 (id: 22)

查看4aaf726e8c00的网络设置，正是nginx1的网络配置

[root@apaas-node0009 netns]# ip netns exec 4aaf726e8c00 ip link
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
3: eth0@if901: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP mode DEFAULT group default 
    link/ether 3e:59:0d:fa:77:4e brd ff:ff:ff:ff:ff:ff link-netnsid 0

可见，nginx1发送的ping请求数据可以从pod发送到cni0

cni0到flannel

cni0(ip 10.7.5.1)如何转发数据到10.7.12.147？ip route(删除部分无用输出)查看路由，可知会通过10.7.5.0转发

[root@apaas-node0009 ~]# ip route
default via 10.65.154.1 dev eth0  
10.7.5.0/24 dev cni0 proto kernel scope link src 10.7.5.1 
10.7.12.0/24 via 10.7.12.0 dev flannel.1 onlink 
10.65.154.0/24 dev eth0 proto kernel scope link src 10.65.154.19 

而10.7.5.0正是flannel.1

[root@apaas-node0009 ~]# ifconfig flannel.1
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.7.5.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::6cd5:a3ff:fecb:6a6b  prefixlen 64  scopeid 0x20<link>
        ether 6e:d5:a3:cb:6a:6b  txqueuelen 0  (Ethernet)

flannel到eth0

首先了解下flannel的基础知识

1. 使集群中的不同Node主机创建的Docker容器都具有全集群唯一的虚拟IP地址。
2. 建立一个覆盖网络（overlay network），通过这个覆盖网络，将数据包原封不动地传递到目标容器。覆盖网络是建立在另一个网络之上并由其基础设施支持的虚拟网络。覆盖网络通过将一个分组封装在另一个分组内来将网络服务与底层基础设施分离。在将封装的数据包转发到端点后，将其解封装。
3. 创建一个新的虚拟网卡flannel.1接收k8s网桥的数据，通过维护路由表，对接收到的数据进行封包和转发。
4. etcd保证了所有node上flanned所看到的配置是一致的。同时每个node上的flanned监听etcd上的数据变化，实时感知集群中node的变化

我们使用的flannel覆盖网络类型是什么呢？ip -d link查看是vxlan

[root@apaas-node0009 ~]# ip -d link show | grep -A 3 flannel
4: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default 
    link/ether 6e:d5:a3:cb:6a:6b brd ff:ff:ff:ff:ff:ff promiscuity 0 
    vxlan id 1 local 10.65.154.19 dev eth0 srcport 0 0 dstport 8472 nolearning ageing 300 noudpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

vxlan转发数据到10.7.12.147，请求包需要发往 10.7.12.0，而10.7.12.0只是apaas-node0008主机上flannel.1地址，如何从apaas-node0009主机上flannel.1发送数据到apaas-node0008主机上flannel.1，vxlan会解决此问题。vxlan查看10.7.12.0 MAC地址

[root@apaas-node0009 ~]# ip neigh show dev flannel.1 | grep 10.7.12.0
10.7.12.0 lladdr 92:40:07:4d:bf:cc PERMANENT

通过10.7.12.0 MAC地址获取此flannel.1所在node即apaas-node0008 ip10.65.154.18

[root@apaas-node0009 ~]# bridge fdb show dev flannel.1 | grep 92:40:07:4d:bf:cc
92:40:07:4d:bf:cc dst 10.65.154.18 self permanent

发送到10.7.12.147的数据可以udp封装从apaas-node0009 eth0发送到apaas-node0008 eth0

发送请求的UDP数据包格式如下

eth0到flannel

apaas-node0008 eth0接收到vxlan数据包，发现是vxlan包，将其拆包后转发给节点上的flannel网卡。

在apaas-node0008上，我们使用tcpdump抓包，查看数据转发流程。

tcpdump查看eth0，可见发送到10.65.154.18的vxlan数据包解包后，会发送到 92:40:07:4d:bf:cc flannel.1解析处理。6e:d5:a3:cb:6a:6b正是apaas-node0009上flannel.1MAC地址

[root@apaas-node0008 ~]# tcpdump -nn -s0 -v -e -i eth0 host 10.65.154.19
09:40:03.559490 fe:fc:fe:62:bf:27 > fe:fc:fe:6b:4f:b1, ethertype IPv4 (0x0800), length 148: (tos 0x0, ttl 64, id 11760, offset 0, flags [none], proto UDP (17), length 134)
    10.65.154.19.22383 > 10.65.154.18.8472: OTV, flags [I] (0x08), overlay 0, instance 1
6e:d5:a3:cb:6a:6b > 92:40:07:4d:bf:cc, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 62721, offset 0, flags [DF], proto ICMP (1), length 84)
    10.7.5.166 > 10.7.12.147: ICMP echo request, id 425, seq 2042, length 64
09:40:03.559603 fe:fc:fe:6b:4f:b1 > fe:fc:fe:62:bf:27, ethertype IPv4 (0x0800), length 148: (tos 0x0, ttl 64, id 17816, offset 0, flags [none], proto UDP (17), length 134)
    10.65.154.18.37684 > 10.65.154.19.8472: OTV, flags [I] (0x08), overlay 0, instance 1
92:40:07:4d:bf:cc > 6e:d5:a3:cb:6a:6b, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 11416, offset 0, flags [none], proto ICMP (1), length 84)
    10.7.12.147 > 10.7.5.166: ICMP echo reply, id 425, seq 2042, length 64

tcpdump查看flanne.1，也可以看到数据是从apaas-node0009上flannel.1发送到apaas-node0008上flannel.1。即使用flannel，nginx1和nginx2 互相访问时，不需要关心它们是否处于不同主机

[root@apaas-node0008 ~]# tcpdump -n -s0 -v -p -e host 10.7.12.147 -i flannel.1
tcpdump: listening on flannel.1, link-type EN10MB (Ethernet), capture size 262144 bytes
09:01:42.621483 6e:d5:a3:cb:6a:6b > 92:40:07:4d:bf:cc, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 42740, offset 0, flags [DF], proto ICMP (1), length 84)
    10.7.5.166 > 10.7.12.147: ICMP echo request, id 419, seq 2595, length 64
09:01:42.621540 92:40:07:4d:bf:cc > 6e:d5:a3:cb:6a:6b, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 8070, offset 0, flags [none], proto ICMP (1), length 84)
    10.7.12.147 > 10.7.5.166: ICMP echo reply, id 419, seq 2595, length 64

[root@apaas-node0008 ~]# ip neigh show | grep 6e:d5:a3:cb:6a:6b
10.7.5.0 dev flannel.1 lladdr 6e:d5:a3:cb:6a:6b PERMANENT

[root@apaas-node0008 ~]# ifconfig flannel.1
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.7.12.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::9040:7ff:fe4d:bfcc  prefixlen 64  scopeid 0x20<link>
        ether 92:40:07:4d:bf:cc  txqueuelen 0  (Ethernet)

flannel到cni0

flannel.1接收到数据，目的地址为10.7.12.147，flannel.1查找自己的路由表，要通过cni0发送

[root@apaas-node0008 ~]# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         gateway         0.0.0.0         UG    0      0        0 eth0
10.7.0.0        10.7.0.0        255.255.255.0   UG    0      0        0 flannel.1
10.7.12.0       0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.65.154.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
link-local      0.0.0.0         255.255.0.0     U     1002   0        0 eth0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0

tcpdump查看cni0，可以看到数据，最终发送到了nginx2 eth0。登录nginx2 查看eth0 MAC da:f9:cc:94:45:0a，正是cni0转发的MAC地址：42:5f:42:fe:8e:c7 > da:f9:cc:94:45:0a

[root@apaas-node0008 ~]# tcpdump -n -s0 -v -p -e host 10.7.12.147 -i cni0
tcpdump: listening on cni0, link-type EN10MB (Ethernet), capture size 262144 bytes
08:59:26.611470 42:5f:42:fe:8e:c7 > da:f9:cc:94:45:0a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 33929, offset 0, flags [DF], proto ICMP (1), length 84)
    10.7.5.166 > 10.7.12.147: ICMP echo request, id 419, seq 2459, length 64
08:59:26.611513 da:f9:cc:94:45:0a > 42:5f:42:fe:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 3712, offset 0, flags [none], proto ICMP (1), length 84)
    10.7.12.147 > 10.7.5.166: ICMP echo reply, id 419, seq 2459, length 64

[root@apaas-node0008 ~]# ifconfig cni0
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.7.12.1  netmask 255.255.255.0  broadcast 0.0.0.0
        inet6 fe80::405f:42ff:fefe:8ec7  prefixlen 64  scopeid 0x20<link>
        ether 42:5f:42:fe:8e:c7  txqueuelen 1000  (Ethernet)

root@nginx-deployment-574b87c764-d8598:/# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.7.12.147  netmask 255.255.255.0  broadcast 0.0.0.0
        ether da:f9:cc:94:45:0a  txqueuelen 0  (Ethernet)

至此从nginx1 发送数据已经成功到达nginx2 ，nginx2 响应数据如何返回，不再赘述。