第32周：隧道协议深入

字数统计: 2.7k字   |   阅读时长≈ 13分

第32周：隧道协议深入

目标：理解 VXLAN、GENEVE、GRE 等隧道协议的工作原理，能够在多主机环境中配置跨主机二层网络。

1. 隧道协议概览

1.1 为什么需要隧道？

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
云网络问题：

主机 A 上的容器 1（10.0.0.1）
主机 B 上的容器 2（10.0.0.2）
主机之间通过 IP 网络连接（10.0.0.0/16 不可达）

需要：
  - 跨主机的二层互通
  - 多租户隔离（10K+ 隔离域）
  - 物理网络无需变更

解决方案：隧道协议
  - 在 L3 网络上建立 L2 overlay
  - 封装原始 L2 帧到 L3 包
  - 通过 IP 网络传输

1.2 主要隧道协议对比

1
2
3
4
5
6
7
8
9
┌────────┬──────────┬──────────┬──────────┬─────────────┐
│ 协议   │ 头部开销 │ 元数据  │ 隔离域数  │ 复杂度      │
├────────┼──────────┼──────────┼──────────┼─────────────┤
│ VXLAN  │ 50B      │ 24 bit  │ 16M     │ 中          │
│ Geneve │ 可变     │ 可扩展   │ 16M+    │ 中          │
│ GRE    │ 4-8B     │ 无      │ 65K     │ 简单        │
│ NVGRE  │ 4B+      │ 24 bit  │ 16M     │ 较复杂      │
│ IPIP   │ 20B      │ 无      │ 1       │ 最简单      │
└────────┴──────────┴──────────┴──────────┴─────────────┘

2. VXLAN 详解

2.1 VXLAN 原理

1
2
3
4
5
6
7
8
9
10
11
12
13
VXLAN（Virtual Extensible LAN）= L2 over L3 over UDP

  原始包：    [L2 Header | IP | TCP/UDP | Payload]
  VTEP 封装后：[Outer IP | UDP(4789) | VXLAN | Original L2 | ...]
                ↑               ↑           ↑
                VTEP IP         VXLAN ID    原始包
                (24 bit)        1600万 隔离域

核心概念：
  - VTEP（VXLAN Tunnel Endpoint）：封装/解封装设备
  - VNI（VXLAN Network Identifier）：24-bit 标识
  - Underlay：底层 IP 网络
  - Overlay：逻辑 L2 网络（VTEP 之间）

2.2 VXLAN 报文格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
┌─────────────────────────────────────────────────────────┐
│ Outer Ethernet  (14B)                                   │
├─────────────────────────────────────────────────────────┤
│ Outer IPv4       (20B)                                   │
│  - src: VTEP IP                                         │
│  - dst: 目标 VTEP IP（组播或单播）                       │
│  - protocol: UDP                                         │
├─────────────────────────────────────────────────────────┤
│ UDP Header      (8B)                                     │
│  - src port: 随机                                        │
│  - dst port: 4789（IANA 分配）                            │
│  - checksum: 0（可选）                                    │
├─────────────────────────────────────────────────────────┤
│ VXLAN Header    (8B)                                     │
│  - VNI: 24 bit                                           │
│  - flags: I (Instance bit)                                │
│  - Reserved: 1 1 1 1 1 0 0 0                            │
├─────────────────────────────────────────────────────────┤
│ Inner Ethernet  (14B)                                   │
│  - 原始 L2 头                                             │
├─────────────────────────────────────────────────────────┤
│ Inner IP                                                  │
├─────────────────────────────────────────────────────────┤
│ Payload                                                   │
└─────────────────────────────────────────────────────────┘

总开销：14+20+8+8+14+20 = 84 bytes

2.3 VTEP 工作流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
封装（Ingress VTEP）：

  原始包： 10.0.1.2 -> 10.0.1.3 (in VNI 100)
  VTEP A 收到
  │
  ├── 1. 查 VTEP 表
  │   10.0.1.3 的 VTEP IP 是什么？
  │
  ├── 2. 添加 VXLAN 头（VNI 100）
  │
  ├── 3. 添加 UDP 头（dst 4789）
  │
  ├── 4. 添加 Outer IP 头
  │   src = VTEP_A IP (10.1.0.1)
  │   dst = VTEP_B IP (10.1.0.2)
  │
  └── 5. 发送到 Underlay 网络

解封装（Egress VTEP）：

  VTEP B 收到 outer IP = 10.1.0.2 的包
  │
  ├── 1. UDP dst = 4789 → VXLAN
  │
  ├── 2. 检查 VNI
  │   VNI 100 是否有此 VTEP？
  │
  ├── 3. 删除 VXLAN/UDP/Outer IP 头
  │
  └── 4. 内部包按本机 bridge/vxlan100 处理

2.4 VXLAN 控制平面

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
VXLAN 控制平面学习方式：

1. 组播方式（传统）
   - VTEP 加入组播组 239.1.1.100
   - 未知目的 MAC 通过组播泛洪
   - 需要物理交换机支持组播

2. EVPN（推荐，BGP 替代）
   - 通过 BGP 协议学习 MAC-IP 映射
   - 类似 ARP 缓存
   - 无需组播

3. SDN 控制器方式
   - 由控制器集中学习
   - 控制器统一下发流表

3. 配置 VXLAN 隧道

3.1 主机环境

1
2
3
4
5
6
7
8
9
10
11
12
13
实验环境：

  Host A (10.1.0.1)                    Host B (10.1.0.2)
  ┌──────────────┐                     ┌──────────────┐
  │ eth0: 10.1.0.1│ ──── 网络 ────    │ eth0: 10.1.0.2│
  │              │   (Underlay)       │              │
  │ vxlan100     │                     │ vxlan100     │
  │ 172.16.0.1/24│                     │ 172.16.0.2/24│
  │              │                     │              │
  │ br0          │                     │ br0          │
  │ └── veth1    │                     │ └── veth2    │
  │   172.16.0.10│                     │   172.16.0.20│
  └──────────────┘                     └──────────────┘

3.2 Host A 配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
#!/bin/bash
# Host A

set -e

# 1. 创建 VXLAN 设备
ip link add vxlan100 type vxlan \
    id 100                          # VNI
    dstport 4789                    # VXLAN 端口
    local 10.1.0.1                  # VTEP IP（本机）
    remote 10.1.0.2                 # 对端 VTEP（可选，未知时用组播）
    dev eth0                        # 物理设备
    # group 239.1.1.100             # 组播组（未知目的用）
    # learning on

# 2. 配置 IP
ip addr add 172.16.0.1/24 dev vxlan100
ip link set vxlan100 up

# 3. 创建网桥（可选）
ip link add br0 type bridge
ip link set vxlan100 master br0
ip link set br0 up

# 4. 添加容器端
ip netns add c1
ip link add veth1-host type veth peer name veth1-ns
ip link set veth1-ns netns c1
ip link set veth1-host master br0
ip link set veth1-host up
ip netns exec c1 bash -c "
    ip addr add 172.16.0.10/24 dev veth1-ns
    ip link set veth1-ns up
    ip link set lo up
"

3.3 Host B 配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#!/bin/bash
# Host B

set -e

# 1. 创建 VXLAN
ip link add vxlan100 type vxxlan \
    id 100 \
    dstport 4789 \
    local 10.1.0.2 \
    remote 10.1.0.1 \
    dev eth0

# 2. 配置 IP
ip addr add 172.16.0.2/24 dev vxlan100
ip link set vxlan100 up

# 3. 创建网桥
ip link add br0 type bridge
ip link set vxlan100 master br0
ip link set br0 up

# 4. 容器
ip netns add c2
ip link add veth2-host type veth peer name veth2-ns
ip link set veth2-ns netns c2
ip link set veth2-host master br0
ip link set veth2-host up
ip netns exec c2 bash -c "
    ip addr add 172.16.0.20/24 dev veth2-ns
    ip link set veth2-ns up
    ip link set lo up
"

3.4 测试

1
2
3
4
5
6
7
8
9
10
# 在 Host A 的 c1 中 ping Host B 的 c2
ip netns exec c1 ping 172.16.0.20

# 抓包观察 VXLAN 封装
# 在 Host A 的 eth0 上抓
tcpdump -i eth0 -nn -e udp port 4789
# 输出：
# 10.1.0.1.49152 > 10.1.0.2.4789: VXLAN, flags [I] (0x08), vni 100
#   aa:bb:cc:dd:ee:ff > cc:dd:ee:ff:00:11, ethertype IPv4
#     172.16.0.10 > 172.16.0.20: ICMP echo request

6.5 动态 VTEP（未知目的）

1
2
3
4
5
6
7
8
9
10
11
# 启用学习模式（默认）
ip link add vxlan100 type vxlan id 100 learning on

# 查看 fdb（forwarding database）
bridge fdb show dev vxlan100

# 静态添加远程 VTEP
bridge fdb add 00:00:00:00:00:00 dev vxlan100 dst 10.1.0.2 self permanent

# 远程 VTEP 看到的 MAC
bridge fdb add <remote_mac> dev vxlan100 dst 10.1.0.2

6.6 使用 EVPN BGP 学习

1
2
3
4
5
6
7
8
9
10
11
12
# 安装 FRR
apt install frr

# 配置 BGP EVPN
# /etc/frr/frr.conf
router bgp 65000
  neighbor 10.1.0.2 remote-as 65000
  address-family l2vpn evpn
    neighbor 10.1.0.2 activate
    advertise-all-vni

# 详细配置略，见 FRR 文档

4. Geneve 详解

4.1 Geneve vs VXLAN

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Geneve（Generic Network Virtualization Encapsulation）= 灵活的元数据扩展

  ┌──────────────────────────────────────────┐
  │ Outer IP (20B)                          │
  ├──────────────────────────────────────────┤
  │ UDP Header (8B)                          │
  │  - dst port: 6081                       │
  ├──────────────────────────────────────────┤
  │ Geneve Header (可变长度)                 │
  │  - ver (2b), opt_len (6b), oam (1b), critical (1b) │
  │  - protocol type (16b)                  │
  │  - VNI (24b)                            │
  │  - 可选 TLV 扩展（变长）                │
  ├──────────────────────────────────────────┤
  │ Inner Ethernet                          │
  ├──────────────────────────────────────────┤
  │ ...                                      │
  └──────────────────────────────────────────┘

优势：
  - 比 VXLAN 多了 32-bit 字段
  - 支持 TLV 扩展（metadata）
  - 更灵活

4.2 Geneve TLV

1
2
3
4
5
6
7
8
9
10
11
12
13
14
TLV（Type-Length-Value）：
  - 类型标识元数据含义
  - 如租户 ID、QoS 标记、安全上下文等

示例 TLV：
  Class      | Type  | Length | Value
  ---------- | ----- | ------ | -----
  0x0000     | 0x00  | 0x04   | <data>
  0x0001     | 0x01  | 0x04   | <8-bit>
  0x0100     | 0x80  | 0x04   | 32-bit OAM

Class = 0x0000：通用
Class = 0x0001：Cisco
Class = 0x0100：Linux 自定义

4.3 Geneve 配置

1
2
3
4
5
6
7
8
9
10
11
12
# 创建 Geneve
ip link add geneve0 type geneve \
    id 1000                       # VNI
    remote 10.1.0.2               # 远端 VTEP
    dstport 6081                  # Geneve 默认端口
    dev eth0

# 添加 TLV
ip link set geneve0 type geneve id 1000 ttl 64 tos 0

# 查看
ip -d link show geneve0

5. GRE 协议

5.1 GRE 格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
GRE（Generic Routing Encapsulation）= 简单 IP 隧道

  ┌────────────────────────────────────────┐
  │ Outer IP (20B)                         │
  ├────────────────────────────────────────┤
  │ GRE Header (4-8B)                      │
  │  - flags (16b)                         │
  │  - protocol type (16b)                 │
  │  - checksum, key, sequence (可选)       │
  ├────────────────────────────────────────┤
  │ Inner IP / Ethernet / 其他             │
  └────────────────────────────────────────┘

特点：
  - 简单、轻量
  - 支持 IPv4/IPv6/MPLS
  - 不支持 VNI 隔离
  - 适合简单的 IP-in-IP 隧道

5.2 GRE 配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 创建 GRE 隧道
ip tunnel add gre1 mode gre \
    local 10.1.0.1 \
    remote 10.1.0.2 \
    ttl 64

# 启用
ip link set gre1 up
ip addr add 192.168.100.1/30 dev gre1

# IP-in-IP（最简单）
ip tunnel add ipip1 mode ipip \
    local 10.1.0.1 \
    remote 10.1.0.2

5.3 GRE vs VXLAN vs Geneve

特性 GRE VXLAN Geneve
默认端口 协议 47 4789 6081
VNI 隔离 无 24 bit 24 bit
元数据 无 极少 TLV
硬件卸载 一般 好 良好
Cloud 使用 少 多 多（Cilium）

6. NVGRE

1
2
3
4
5
6
NVGRE（Network Virtualization using GRE）：

  使用 GRE 扩展（24 bit Tenant Network Identifier）
  24 bit = 16M 隔离域
  与 VXLAN 容量相同
  较少使用（被 VXLAN 取代）

7. 隧道与 MTU

7.1 MTU 规划

1
2
3
4
5
6
7
8
9
10
11
12
13
包大小计算：

  原始包:    1500B（标准 MTU）
  + VXLAN 头: +50B（外 IP + UDP + VXLAN + 内部 Ethernet）
  = 1550B

  → 物理网络 MTU 必须 ≥ 1550
  → 典型配置：物理网络 MTU 设为 9000（巨型帧/jumbo frames）
  → VXLAN 接口 MTU 设为 1450（1500 - 50）

警告：
  - 如果物理网络 MTU = 1500，VXLAN 包会被分片
  - 分片严重影响性能

7.2 配置巨型帧

1
2
3
4
5
6
7
8
9
10
11
12
# 物理网卡（两端都要配置）
ip link set eth0 mtu 9000

# 验证
ip link show eth0
# mtu 9000

# VXLAN 设备
ip link set vxlan100 mtu 1450

# 容器内网卡
ip link set veth1-ns mtu 1450

8. 抓包分析 VXLAN

8.1 Wireshark 解码

1
2
3
4
5
6
7
8
9
10
11
# 抓 VXLAN
tcpdump -i eth0 -nn -e udp port 4789 -w vxlan.pcap

# Wireshark 打开
# 1. 解码为 VXLAN：右键 → Decode As → VXLAN
# 2. 或 UDP port 4789 自动识别

# 关键观察字段：
# - VNI 标识
# - Inner MAC（VTEP 间交换）
# - Inner IP

8.2 观察转发过程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 1. 查看 fdb（forwarding database）
bridge fdb show dev vxlan100
# 00:00:00:00:00:00 dev vxlan100 dst 10.1.0.2 self permanent
# aa:bb:cc:dd:ee:ff dev vxlan100 dst 10.1.0.2

# 2. 发送 ping 触发 MAC 学习
ip netns exec c1 ping 172.16.0.20

# 3. 再次查看
bridge fdb show dev vxlan100
# 已学到远端 MAC

# 4. 查看 vxlan 设备统计
ip -s link show vxlan100

8.3 常见问题排查

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# === VXLAN 不通 ===

# 1. 检查 VTEP 端口
netstat -tuln | grep 4789
# 应能看到 4789 端口

# 2. 检查 UDP 4789 是否被拦截
sudo iptables -L -n | grep 4789

# 3. 检查 VTEP 可达
ping 10.1.0.2

# 4. 抓包
tcpdump -i eth0 -nn udp port 4789

# 5. 检查 fdb
bridge fdb show

# 6. 防火墙开启？
sudo iptables -I INPUT -p udp --dport 4789 -j ACCEPT

9. 实践：完整跨主机 VXLAN 实验

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
#!/bin/bash
# vxlan_lab.sh — 跨主机 VXLAN 实验（单机模拟两台"主机"）

set -e

# === 准备工作 ===
# 我们用两个 netns 模拟两台"主机"
# host-a: 物理网卡在 10.1.0.1
# host-b: 物理网卡在 10.1.0.2
# 在物理网络 10.1.0.0/24 互通（loopback 或实际网络）

NS_A="host-a"
NS_B="host-b"

# === 1. 创建 "主机" netns ===
ip netns add $NS_A
ip netns add $NS_B

# 2. 给 "主机" 配置 veth 模拟物理网卡
ip link add ha-eth type veth peer name ha-eth-peer
ip link set ha-eth netns $NS_A

ip link add hb-eth type veth peer name hb-eth-peer
ip link set hb-eth netns $NS_B

# 3. 在 "物理网络" 桥接（不隔离）
ip link add br-phys type bridge
ip link set ha-eth-peer master br-phys
ip link set hb-eth-peer master br-phys
ip link set br-phys up
ip link set ha-eth-peer up
ip link set hb-eth-peer up

# 4. 配置 "主机" 物理网卡 IP
ip netns exec $NS_A ip addr add 10.1.0.1/24 dev ha-eth
ip netns exec $NS_A ip link set ha-eth up
ip netns exec $NS_A ip link set lo up

ip netns exec $NS_B ip addr add 10.1.0.2/24 dev hb-eth
ip netns exec $NS_B ip link set hb-eth up
ip netns exec $NS_B ip link set lo up

# 5. 验证物理层互通
echo "=== Test: 物理网络互通 ==="
ip netns exec $NS_A ping -c 2 10.1.0.2

# 6. 在 host-a 创建 VXLAN
echo ""
echo "=== 创建 VXLAN ==="
ip netns exec $NS_A bash -c "
    ip link add vxlan100 type vxlan \
        id 100 \
        dstport 4789 \
        local 10.1.0.1 \
        remote 10.1.0.2 \
        dev ha-eth
    ip addr add 172.16.0.1/24 dev vxlan100
    ip link set vxlan100 up
"

# 7. 在 host-b 创建 VXLAN
ip netns exec $NS_B bash -c "
    ip link add vxlan100 type vxlan \
        id 100 \
        dstport 4789 \
        local 10.1.0.2 \
        remote 10.1.0.1 \
        dev hb-eth
    ip addr add 172.16.0.2/24 dev vxlan100
    ip link set vxlan100 up
"

# 8. 验证 overlay 互通
echo ""
echo "=== Test: VXLAN overlay 互通 ==="
ip netns exec $NS_A ping -c 2 172.16.0.2

# 9. 抓包观察
echo ""
echo "=== 抓包观察（5 秒）==="
timeout 5 ip netns exec $NS_B tcpdump -i hb-eth -nn udp port 4789 -c 1 &
sleep 1
ip netns exec $NS_A ping -c 1 172.16.0.2
wait

# 清理
ip netns del $NS_A
ip netns del $NS_B
ip link del br-phys

10. 主流开源实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
VXLAN 实现：
  - Linux 内核原生 vxlan.ko（标准）
  - Open vSwitch (OVS)
  - Cilium / Calico / Flannel
  - Tungsten Fabric

Geneve 实现：
  - Linux 内核原生 geneve.ko
  - OVS 2.4+
  - VPP（fd.io）
  - Cilium 优先支持

控制平面：
  - EVPN/BGP（最成熟）
  - OVN（Open Virtual Network）
  - Flannel（简单）
  - Calico IPIP/BGP
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Linux开发、
公众号开发、开源爱好者、Linux

联系QQ:562054870