第31周：Linux 网络虚拟化基础

字数统计: 3k字   |   阅读时长≈ 15分

第31周：Linux 网络虚拟化基础

目标：掌握 Linux 网络虚拟化核心概念（netns、veth、bridge、macvlan），能够构建容器网络原型。

1. Linux 网络虚拟化全景

1.1 容器网络架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
┌──────────────────────────────────────────────────────────┐
│                       主机                                │
│  ┌────────────────┐        ┌────────────────┐            │
│  │   netns A      │        │   netns B      │            │
│  │  ┌──────────┐  │        │  ┌──────────┐  │            │
│  │  │  veth1A  │  │        │  │  veth1B  │  │            │
│  │  │  (veth   │  │        │  │  (veth   │  │            │
│  │  │   pair)  │  │        │  │   pair)  │  │            │
│  │  └────┬─────┘  │        │  └────┬─────┘  │            │
│  └───────┼────────┘        └───────┼────────┘            │
│          │                          │                    │
│  ┌───────┴──────────────────────────┴────────┐          │
│  │              bridge (主机)                 │          │
│  │           docker0 / cbr0                    │          │
│  └──────────────┬─────────────────────────────┘          │
│                 │                                       │
│            物理网卡 eth0                                  │
│            (NAT / 直通到外网)                            │
└──────────────────────────────────────────────────────────┘

1.2 核心技术

技术 作用 Docker 用法
netns 网络协议栈隔离 每个容器一个 netns
veth pair 连接 netns 与主机 容器 eth0 ↔ 主机 vethxxx
bridge L2 转发 docker0 网桥
iptables NAT、过滤 端口映射、SNAT
vlan L2 隔离 -
macvlan/ipvlan 多个 MAC/IP 共享物理网卡 macvlan 网络
路由 L3 转发 自定义网络

2. 网络命名空间（netns）

2.1 基本操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# === 创建/删除 ===

# 创建 netns
ip netns add ns1
ip netns add ns2

# 列出
ip netns list

# 删除
ip netns del ns1

# 在 netns 中执行命令
ip netns exec ns1 ip addr show
ip netns exec ns1 bash           # 进入 ns1 的 shell

# === 配置 netns 网络 ===

# 创建 veth pair（一端在主机，一端在 ns1）
ip link add veth-host type veth peer name veth-ns
ip link set veth-ns netns ns1

# 配置 IP
ip addr add 10.0.1.1/24 dev veth-host
ip link set veth-host up

# 进入 ns1 配置
ip netns exec ns1 bash
ip addr add 10.0.1.2/24 dev veth-ns
ip link set veth-ns up
ip link set lo up

# 测试连通性
ip netns exec ns1 ping 10.0.1.1

2.2 完整示例：模拟两个容器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#!/bin/bash
# setup_netns.sh — 创建两个互相通信的 netns

set -e

# 1. 创建 netns
ip netns add ns1
ip netns add ns2

# 2. 创建 veth pair
ip link add veth1-host type veth peer name veth1-ns
ip link add veth2-host type veth peer name veth2-ns

# 3. 分配到 netns
ip link set veth1-ns netns ns1
ip link set veth2-ns netns ns2

# 4. 配置 IP
ip addr add 10.0.1.1/24 dev veth1-host
ip addr add 10.0.2.1/24 dev veth2-host
ip link set veth1-host up
ip link set veth2-host up

ip netns exec ns1 ip addr add 10.0.1.2/24 dev veth1-ns
ip netns exec ns2 ip addr add 10.0.2.2/24 dev veth2-ns

ip netns exec ns1 ip link set veth1-ns up
ip netns exec ns1 ip link set lo up
ip netns exec ns2 ip link set veth2-ns up
ip netns exec ns2 ip link set lo up

# 5. 主机转发
echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A POSTROUTING -s 10.0.0.0/16 -j MASQUERADE

# 6. 互通测试
ip netns exec ns1 ip route add default via 10.0.1.1
ip netns exec ns2 ip route add default via 10.0.2.1

echo "Test connectivity:"
ip netns exec ns1 ping -c 2 10.0.2.2

# 清理
ip netns del ns1
ip netns del ns2

2.3 netns 内部都隔离了什么

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 查看 ns1 隔离了什么
ip netns exec ns1 ls /sys/class/net/
# 只有 lo 和 veth1-ns（看不到主机的 eth0）

ip netns exec ns1 cat /proc/net/route
# ns1 自己的路由表（看不到主机的）

ip netns exec ns1 ip rule list
ip netns exec ns1 iptables -L
# ns1 独立的 iptables 规则

# netns 共享的资源：
# - CPU
# - 内存
# - 文件系统（默认）
# - PID 1（init 进程）

3. veth pair

3.1 工作原理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
veth pair = 一对虚拟网卡，一端发的包，另一端收到

  主机                          netns
┌─────────┐                  ┌─────────┐
│ veth-A  │ ──── 镜像 ────▶│ veth-B  │
│ (主机)  │                 │ (ns)    │
└─────────┘                 └─────────┘

特性：
  - 一根"虚拟网线"
  - 任何一端发的包，对端立即收到
  - 物理等价：像一根交叉的网线
  - 长度可配置（veth peer）

常见用途：
  - 连接容器与主机
  - 连接多个 netns
  - 跨 namespace 通信

3.2 配置命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 创建 veth pair
ip link add <name1> type veth peer name <name2>

# 设置 MTU
ip link set <name> mtu 1400

# 移动一端到 netns
ip link set <name> netns <nsname>

# 查看
ip link show
ip -d link show <name>  # 详细

# 删除（任一端）
ip link del <name>

3.3 抓包观察

1
2
3
4
5
6
7
8
# 在 veth-A 上抓包（双向）
tcpdump -i veth-A -nn

# 在 veth-B 上也能看到镜像
tcpdump -i veth-B -nn

# 跨 netns 抓包
ip netns exec ns1 tcpdump -i veth1-ns

4. Linux Bridge（网桥）

4.1 工作原理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
网桥：L2 交换机，转发 MAC 帧

  ┌──────┐  ┌──────┐  ┌──────┐
  │ eth0 │  │ veth0│  │ veth1│
  └──┬───┘  └──┬───┘  └──┬───┘
     │         │         │
     └─────────┼─────────┘
               │
          ┌────▼────┐
          │ bridge  │  ← L2 转发
          │ (br0)   │
          └─────────┘

功能：
  - 学习 MAC 地址
  - 转发 / 泛洪 / 过滤
  - STP（生成树）
  - VLAN 过滤

4.2 配置 bridge

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# === 创建 bridge ===

# 1. 创建网桥
ip link add br0 type bridge
ip link set br0 up
ip addr add 192.168.100.1/24 dev br0

# 2. 添加接口
ip link set veth-host-1 master br0
ip link set veth-host-2 master br0

# 3. 查看
ip link show master br0
bridge link show

# 4. 查看 MAC 表
bridge fdb show

# === 配置端口 ===

# 设置 path cost 和优先级
ip link set veth-host-1 master br0 cost 4

# 启用 STP
ip link set br0 type bridge stp_state 1

# 阻止某端口转发
ip link set veth-host-1 type bridge_slave flood off

# === 删除 bridge ===
ip link del br0

4.3 完整示例：网桥连接两个 netns

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
#!/bin/bash
# setup_bridge.sh — 用网桥连接两个 netns

set -e

ip netns add ns1
ip netns add ns2

# 创建 veth pair
ip link add veth1-host type veth peer name veth1-ns
ip link add veth2-host type veth peer name veth2-ns

# 创建 bridge
ip link add br0 type bridge
ip link set br0 up

# 添加到 bridge
ip link set veth1-host master br0
ip link set veth2-host master br0

# 移到 netns
ip link set veth1-ns netns ns1
ip link set veth2-ns netns ns2

# 启动 veth-host 端
ip link set veth1-host up
ip link set veth2-host up

# 配置 ns1
ip netns exec ns1 bash -c "
  ip addr add 10.0.1.2/24 dev veth1-ns
  ip link set veth1-ns up
  ip link set lo up
"

# 配置 ns2
ip netns exec ns2 bash -c "
  ip addr add 10.0.2.2/24 dev veth2-ns
  ip link set veth2-ns up
  ip link set lo up
"

# 测试
echo "Test 1: ns1 -> ns2"
ip netns exec ns1 ping -c 2 10.0.2.2

echo "Test 2: 查看网桥 MAC 表"
bridge fdb show br br0

# 清理
ip netns del ns1
ip netns del ns2
ip link del br0

5. macvlan / ipvlan

5.1 macvlan

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
macvlan：在一个物理网卡上虚拟出多个 MAC 地址

  物理网卡 eth0
  ┌─────────┐
  │  eth0   │
  └────┬────┘
       │  macvlan 子接口
       ├── eth0.10  (MAC: AA:AA:AA:AA:AA:AA)
       ├── eth0.20  (MAC: BB:BB:BB:BB:BB:BB)
       └── eth0.30  (MAC: CC:CC:CC:CC:CC:CC)

  每个子接口：
  - 有自己的 MAC 地址
  - 可以直接配置 IP
  - 不需要桥接
  - 性能好（内核直接处理）

  模式：
  - bridge: 子接口间互相通信（默认）
  - vepa:  通过外部交换机通信
  - private: 互相隔离
  - passthru: 一对一
1
2
3
4
5
6
7
8
9
10
11
# === macvlan 配置 ===

# 创建 macvlan 接口
ip link add link eth0 name eth0.10 type macvlan mode bridge
ip addr add 192.168.10.2/24 dev eth0.10
ip link set eth0.10 up

# 创建 netns 中的 macvlan
ip link add link eth0 name eth0.20 type macvlan mode bridge netns ns1
ip netns exec ns1 ip addr add 192.168.10.3/24 dev eth0.20
ip netns exec ns1 ip link set eth0.20 up

5.2 ipvlan

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
ipvlan：共享 MAC（与 macvlan 不同）

  物理网卡 eth0
  ┌─────────┐
  │  eth0   │  共享 MAC: XX:XX:XX:XX:XX:XX
  └────┬────┘
       │  ipvlan 子接口
       ├── eth0.10  (IP: 10.0.10.2/24)
       ├── eth0.20  (IP: 10.0.20.2/24)
       └── eth0.30  (IP: 10.0.30.2/24)

  特点：
  - 子接口共享 MAC
  - 更轻量（无需 MAC 分配）
  - 在某些交换机上可能有问题（MAC 限制）
  - 性能好

  模式：
  - l2: 与 macvlan bridge 类似
  - l3: 路由模式（每个子接口独立路由）
  - l3s: 类似 l3 + 邻居处理
1
2
3
4
# ipvlan 配置
ip link add link eth0 name eth0.10 type ipvlan mode l2
ip addr add 10.0.10.2/24 dev eth0.10
ip link set eth0.10 up

6. 主机端口映射（Docker 风格）

6.1 iptables 端口映射

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 容器内运行服务
ip netns exec ns1 python3 -m http.server 80 &

# 主机外网卡上 8080 映射到容器 80
iptables -t nat -A PREROUTING \
    -d 192.168.1.100 -p tcp --dport 8080 \
    -j DNAT --to-destination 10.0.1.2:80

iptables -t nat -A POSTROUTING \
    -s 10.0.1.2 -d 10.0.1.2 -p tcp --dport 80 \
    -j MASQUERADE

# 验证
# 在主机或外部访问 192.168.1.100:8080 应能访问到容器
curl http://192.168.1.100:8080

6.2 完整示例：模拟容器端口映射

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#!/bin/bash
# port_mapping.sh — 模拟 Docker 端口映射

set -e

# 假设主机外网 IP 为 192.168.1.100
HOST_IP="192.168.1.100"

# 1. 创建 netns（"容器"）
ip netns add web

# 2. 创建 veth pair
ip link add veth-host type veth peer name veth-net
ip link set veth-net netns web

# 3. 配置 IP
ip addr add 172.17.0.1/16 dev veth-host
ip link set veth-host up

ip netns exec web bash -c "
  ip addr add 172.17.0.2/16 dev veth-net
  ip link set veth-net up
  ip link set lo up
  ip route add default via 172.17.0.1
"

# 4. 启动 HTTP 服务（容器内）
ip netns exec web python3 -m http.server 80 > /dev/null 2>&1 &
SERVER_PID=$!
sleep 1

# 5. 配置端口映射
iptables -t nat -A PREROUTING \
    -d $HOST_IP -p tcp --dport 8080 \
    -j DNAT --to-destination 172.17.0.2:80

iptables -t nat -A POSTROUTING \
    -s 172.17.0.2/16 -j MASQUERADE

# 6. 启用转发
echo 1 > /proc/sys/net/ipv4/ip_forward

# 7. 测试
echo "=== Test 1: 容器内访问自身 ==="
ip netns exec web curl -s http://172.17.0.2/ | head -2

echo ""
echo "=== Test 2: 从主机访问外部 IP 8080 ==="
curl -s --connect-timeout 5 http://$HOST_IP:8080/ | head -2

# 清理
kill $SERVER_PID 2>/dev/null
ip netns del web
iptables -t nat -F

7. 抓包分析

7.1 观察 veth pair

1
2
3
4
5
6
7
8
# 在一端发包，在另一端抓
ip netns exec ns1 ping 10.0.1.1 &
tcpdump -i veth-A -nn -e
# 输出：
# 12:34:56.789 aa:bb:cc:dd:ee:ff > 00:00:00:00:00:00, ethertype IPv4
#   10.0.1.2 > 10.0.1.1: ICMP echo request
# 12:34:56.790 00:00:00:00:00:00 > aa:bb:cc:dd:ee:ff, ethertype IPv4
#   10.0.1.1 > 10.0.1.2: ICMP echo reply

7.2 观察 bridge

1
2
3
4
5
6
7
8
9
10
# bridge 上的 MAC 学习
# 1. 启动
ip netns exec ns1 ping 10.0.2.2 &

# 2. 观察 MAC 表
watch -n 1 "bridge fdb show br br0"
# 输出：
# 33:33:00:00:00:01 dev veth1-host self permanent
# aa:bb:cc:dd:ee:ff dev veth1-host  ← 学到的 MAC
# cc:dd:ee:ff:00:11 dev veth2-host  ← 学到的 MAC

7.3 观察 NAT

1
2
3
4
5
6
7
8
# 观察 NAT 转换
iptables -t nat -L -nv

# 在 nat 表的 POSTROUTING 链上
iptables -t nat -I POSTROUTING 1 -j LOG

# 然后观察
sudo dmesg -w

8. TUN/TAP 设备

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
TUN/TAP = 用户态网络设备

  TUN：模拟 L3 设备（IP 包）
  TAP：模拟 L2 设备（以太网帧）

  ┌─────────────┐
  │  内核       │ ←→ 字符设备 /dev/net/tun ←→ ┌──────────┐
  │  TUN/TAP    │                              │ 用户态   │
  │  device     │                              │ 程序     │
  └─────────────┘                              └──────────┘

常见用途：
  - VPN（OpenVPN、WireGuard）
  - 隧道协议
  - 容器网络（Cilium/Flannel 的 host-gw）
  - 调试抓包
1
2
3
4
5
6
7
8
# 创建 TUN
ip tuntap add dev tun0 mode tun
ip addr add 10.10.0.1/24 dev tun0
ip link set tun0 up

# 创建 TAP
ip tuntap add dev tap0 mode tap
ip link set tap0 up

9. 实践：完整容器网络

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
#!/bin/bash
# container_net.sh — 完整容器网络拓扑

set -e

# === 网络规划 ===
# 主机: 192.168.1.100
# bridge: 172.17.0.1/16
# 容器 1: 172.17.0.2
# 容器 2: 172.17.0.3

# === 1. 创建 bridge ===
ip link add docker0 type bridge
ip addr add 172.17.0.1/16 dev docker0
ip link set docker0 up

# === 2. 创建两个 "容器" ===
for i in 1 2; do
    ip netns add c$i

    ip link add veth$i-host type veth peer name veth$i-net
    ip link set veth$i-net netns c$i

    ip link set veth$i-host master docker0
    ip link set veth$i-host up

    ip netns exec c$i bash -c "
        ip addr add 172.17.0.$((i+1))/16 dev veth$i-net
        ip link set veth$i-net up
        ip link set lo up
        ip route add default via 172.17.0.1
    "
done

# === 3. 启用 IP 转发 ===
echo 1 > /proc/sys/net/ipv4/ip_forward

# === 4. 配置 NAT（容器访问外网）===
iptables -t nat -A POSTROUTING -s 172.17.0.0/16 -j MASQUERADE

# === 5. 配置端口映射（可选）===
# 例如 c1 的 80 端口映射到主机的 8080
# iptables -t nat -A PREROUTING -d 192.168.1.100 -p tcp --dport 8080 \
#     -j DNAT --to-destination 172.17.0.2:80

# === 6. 测试 ===
echo "=== Test 1: 容器间互通 ==="
ip netns exec c1 ping -c 2 172.17.0.3

echo ""
echo "=== Test 2: 容器访问外网 ==="
ip netns exec c1 ip route show

# 启动容器内的服务
ip netns exec c1 python3 -m http.server 80 > /dev/null 2>&1 &
SRV1_PID=$!
ip netns exec c2 python3 -m http.server 80 > /dev/null 2>&1 &
SRV2_PID=$!
sleep 1

# 容器间通过 IP 访问
echo "=== Test 3: 容器 HTTP 互通 ==="
ip netns exec c2 curl -s http://172.17.0.2 | head -1
ip netns exec c1 curl -s http://172.17.0.3 | head -1

# 清理
kill $SRV1_PID $SRV2_PID 2>/dev/null
ip netns del c1
ip netns del c2
ip link del docker0
iptables -t nat -F

10. 常见问题

10.1 netns 之间无法通信

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 1. 检查 veth pair 状态
ip link show
ip netns exec ns1 ip link show

# 2. 检查 IP 配置
ip netns exec ns1 ip addr show

# 3. 检查路由
ip netns exec ns1 ip route show

# 4. 检查 iptables
iptables -L -n -v
iptables -t nat -L -n -v

# 5. 检查 IP 转发
cat /proc/sys/net/ipv4/ip_forward

# 6. 抓包调试
tcpdump -i any -n -e host 10.0.1.2

10.2 性能问题

1
2
3
4
5
6
7
8
9
10
11
12
# 1. 启用 GRO/GSO
ethtool -K eth0 gro on gso on tso on

# 2. 调整 ring buffer
ethtool -G eth0 rx 4096 tx 4096

# 3. veth MTU
ip link set veth-host mtu 1500

# 4. 禁用 RPS/RFS（如果是 veth）
# 写到 /etc/sysctl.d/99-xxx.conf
# net.core.rps_sock_flow_entries = 0

10.3 macvlan 模式选择

1
2
3
4
- bridge:  子接口互通（默认），适合 Pod 网络
- vepa:   通过外部交换机（高级）
- private: 完全隔离（强安全）
- passthru: 一对一映射（VM 直通）
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Linux开发、
公众号开发、开源爱好者、Linux

联系QQ:562054870