第44周：项目收尾、文档与压测

字数统计: 3k字   |   阅读时长≈ 12分

第44周：项目收尾、文档与压测

目标：完成高性能云网关原型的最终交付——完整设计文档、API 规范、性能测试报告、演示视频。

1. 交付物清单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
完整项目交付物：

  ┌─────────────────────────────────────────┐
  │  1. 源码                                  │
  │     - XDP BPF 程序                          │
  │     - DPDK 用户态应用                     │
  │     - gRPC 控制面                          │
  │     - 配置 / 工具 / 测试                   │
  ├─────────────────────────────────────────┤
  │  2. 文档                                  │
  │     - 架构设计文档                         │
  │     - API 规范                             │
  │     - 部署运维手册                         │
  │     - 性能测试报告                         │
  ├─────────────────────────────────────────┤
  │  3. 演示                                  │
  │     - 演示视频                             │
  │     - 在线文档（GitHub Pages）             │
  │     - Quick start 教程                    │
  ├─────────────────────────────────────────┤
  │  4. 测试                                  │
  │     - 单元测试                             │
  │     - 集成测试                             │
  │     - 性能测试                             │
  │     - 稳定性测试（24h+ 长跑）              │
  └─────────────────────────────────────────┘

2. 架构设计文档

2.1 文档结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
docs/
├── architecture.md           # 整体架构
│   ├── 系统目标
│   ├── 关键决策
│   ├── 模块划分
│   ├── 数据流
│   └── 部署架构
│
├── design/
│   ├── data_plane.md        # 数据面设计
│   ├── control_plane.md     # 控制面设计
│   ├── xdp_path.md          # XDP 路径详解
│   ├── dpdk_path.md         # DPDK 路径详解
│   ├── conntrack.md         # 连接跟踪设计
│   └── nat.md               # NAT 设计
│
├── api/
│   ├── rest_api.md          # REST API 规范
│   ├── grpc_api.md          # gRPC API 规范
│   └── proto/               # proto 文件
│
├── operations/
│   ├── deploy.md            # 部署指南
│   ├── monitor.md           # 监控指南
│   ├── troubleshooting.md   # 故障排查
│   └── upgrade.md           # 升级流程
│
└── reports/
    ├── perf_report.md       # 性能测试报告
    └── stability_report.md  # 稳定性报告

2.2 架构文档模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 架构设计文档

## 1. 概述

### 1.1 项目目标
- 千万并发连接
- 10Gbps 线速
- 微秒级延迟
- 多租户隔离

### 1.2 范围
- L4 负载均衡
- 状态防火墙
- SNAT/DNAT
- VXLAN 隧道
- 控制面动态配置

### 1.3 不在范围内
- L7 处理（HTTP 路由、限速等）
- SSL 卸载
- ...

## 2. 关键决策

### 2.1 为什么选 XDP + DPDK 混合
- XDP：处理简单流量（< 200ns）
- DPDK：处理复杂逻辑（状态跟踪、NAT）
- 控制面：gRPC + 微服务

### 2.2 关键技术选型
- ...

## 3. 模块划分

┌─────────────────────────────────────────┐
│ Cloud Gateway │
│ │
│ ┌──────────┐ ┌──────────┐ ┌────────┐ │
│ │ XDP Path │ │DPDK Path │ │ Ctrl │ │
│ └──────────┘ └──────────┘ └────────┘ │
└─────────────────────────────────────────┘

1
2
3
4
5
6
7
8
9
10
11
12

## 4. 数据流
[图示：包从进入到离开的完整路径]

## 5. 性能目标
- PPS: 14M (线速 64B)
- 延迟: < 1μs P50
- 并发连接: 1M
- CPU 占用: < 2 核

## 6. 部署架构
[图示：生产部署拓扑]

2.3 API 规范模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
# openapi.yaml — REST API 规范
openapi: 3.0.0
info:
  title: Cloud Gateway API
  version: 1.0.0
  description: 控制面 API

servers:
  - url: http://localhost:8080/api/v1

paths:
  /tenants:
    get:
      summary: 列出所有租户
      responses:
        '200':
          description: 成功
          content:
            application/json:
              schema:
                type: array
                items:
                  $ref: '#/components/schemas/Tenant'
    post:
      summary: 添加租户
      requestBody:
        required: true
        content:
          application/json:
            schema:
              $ref: '#/components/schemas/TenantInput'
      responses:
        '201':
          description: 创建成功
        '400':
          description: 参数错误

  /tenants/{tenantId}:
    delete:
      summary: 删除租户
      parameters:
        - name: tenantId
          in: path
          required: true
          schema:
            type: string
      responses:
        '204':
          description: 删除成功
        '404':
          description: 不存在

components:
  schemas:
    Tenant:
      type: object
      properties:
        id: { type: string }
        name: { type: string }
        vni: { type: integer }
        subnet: { type: string }
        gateway: { type: string }
        backends:
          type: array
          items: { $ref: '#/components/schemas/Backend' }

3. 性能测试报告

3.1 报告模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
# 性能测试报告 v1.0

## 1. 测试目的
验证云网关在 10Gbps 流量下的性能。

## 2. 测试环境

### 2.1 硬件
| 组件       | 规格                  |
|-----------|---------------------|
| CPU        | Intel Xeon Gold 6248R @ 3.0GHz, 24 核 |
| 网卡       | Intel XL710 10GbE SFP+ x 2 |
| 内存       | 128GB DDR4 2666MHz     |
| NUMA       | 2 节点                |

### 2.2 软件
| 组件       | 版本                  |
|-----------|---------------------|
| OS         | Ubuntu 22.04          |
| 内核        | Linux 6.8.0-101-generic |
| DPDK       | 22.11                |
| 巨型帧      | 9000 bytes            |

### 2.3 配置
- 网卡绑定：vfio-pci
- 隔离 CPU：2-7
- 性能模式：performance
- 巨型帧：MTU 9000

## 3. 测试场景

### 3.1 场景 1：纯转发（基线）
- 配置：仅 XDP fast path
- 流量：64B 单包，PPS 最大

### 3.2 场景 2：完整 LB
- 配置：XDP + DPDK（conntrack + NAT）
- 流量：HTTP 模拟（混合包大小）

### 3.3 场景 3：ACL 启用
- 配置：完整 LB + 10000 条 ACL
- 流量：1% 攻击 + 99% 合法

### 3.4 场景 4：VXLAN 封装
- 配置：完整 LB + VXLAN
- 流量：内网互通

## 4. 测试结果

### 4.1 吞吐量（64B 包）

| 场景           |  PPS     |  吞吐    | CPU 占用 |
|---------------|---------|---------|---------|
| 纯转发         | 14.88M  | 9.5 Gbps | 1.0 核   |
| XDP fast only | 14.85M  | 9.5 Gbps | 1.0 核   |
| 完整 LB        | 12.5M   | 8.0 Gbps | 1.5 核   |
| LB + ACL      | 11.8M   | 7.5 Gbps | 1.6 核   |
| LB + VXLAN    | 9.2M    | 5.9 Gbps | 2.0 核   |

### 4.2 延迟（混合流量）

| 场景           |  P50    |  P99    |  P99.9  |
|---------------|---------|---------|---------|
| 纯转发         | 80ns    | 200ns   | 500ns   |
| 完整 LB        | 200ns   | 500ns   | 1.5μs   |
| LB + ACL      | 250ns   | 600ns   | 2.0μs   |
| LB + VXLAN    | 350ns   | 1.0μs   | 3.0μs   |

### 4.3 并发连接

| 指标         | 数值                |
|-------------|--------------------|
| 最大连接数    | 1.2M               |
| 新建连接速率  | 100K conn/s         |
| 老化速率     | 50K conn/s          |
| 内存使用     | 1.2M conn × 200B = 240MB |

## 5. 对比

| 方案        | PPS      | 延迟 P99  |  10x 优势 |
|-----------|----------|-----------|----------|
| iptables  | 1-3M     | 5-10μs    | 1x       |
| nftables  | 2-4M     | 3-5μs     | 2x       |
| XDP only  | 12-14M   | < 1μs     | 5x       |
| 本项目     | 10-12M   | < 1μs     | 4x       |

## 6. 结论

- 性能达到预期（线速 10Gbps 小包）
- 延迟 < 1μs P99
- 并发连接 > 1M
- 多租户隔离正确
- ACL/NAT/VXLAN 功能完备

## 7. 改进建议

- 增加 RPS/RFS 配置
- 优化 conntrack LRU
- 进一步使用 AVX-512 优化校验和
- 添加更多协议支持

3.2 压测脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/bin/bash
# benchmark_full.sh — 完整压测

# === 1. 准备工作 ===
sudo modprobe vfio-pci
echo 1024 | sudo tee /proc/sys/vm/nr_hugepages
sudo systemctl restart openvswitch-switch

# 启动后端
python3 -m http.server 8080 &
BACKEND_PID=$!

# === 2. 启动网关 ===
sudo ./build/cloud_gateway -l 2-7 --socket-mem 2048 &
GW_PID=$!
sleep 2

# === 3. 启动流量生成 ===
sudo ./build/dpdk-pktgen -l 0-1 --socket-mem 1024 \
    -- -p 0x1 -T 1 -t -s 192.168.1.100 -D aa:bb:cc:dd:ee:ff &
GEN_PID=$!
sleep 30  # 跑 30 秒

# === 4. 收集数据 ===
echo "=== 网关统计 ==="
curl http://localhost:8080/api/v1/stats | jq

# === 5. 清理 ===
kill $GW_PID $BACKEND_PID $GEN_PID

3.3 长稳测试

1
2
3
4
5
6
7
8
9
# 24 小时长稳测试
./run_24h_stability_test.sh

# 监控指标
- 内存泄漏检查（valgrind / asan）
- 文件描述符泄漏
- conntrack 表增长
- 错误率
- 延迟分布

4. 演示视频

4.1 视频结构（10-15 分钟）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1. 项目介绍（1 分钟）
   - 目标
   - 架构概览

2. 部署演示（2 分钟）
   - 启动网关
   - 配置租户
   - 连接后端

3. 功能演示（4 分钟）
   - HTTP 访问
   - 多租户隔离
   - ACL 拦截
   - 故障切换

4. 性能演示（3 分钟）
   - 实时统计
   - 延迟分布
   - PPS/BPS 曲线

5. 故障演示（2 分钟）
   - 后端故障 → 自动摘除
   - 攻击流量 → 清洗
   - 恢复

6. 总结（1 分钟）
   - 性能数据
   - 后续规划

4.2 录屏工具

1
2
3
4
5
6
7
8
9
10
11
12
13
# === 屏幕录制工具 ===

# Linux
ffmpeg -f x11grab -video_size 1920x1080 -framerate 30 \
    -i :0.0 -t 600 -c:v libx264 out.mp4

# 或使用 asciinema（终端录制）
asciinema rec demo.cast
# 上传到 asciinema.org

# === 终端高亮工具（可选） ===
# 使用 byobu / tmux
# 或 rich / pyfiglet 美化输出

5. 简历与面试材料

5.1 简历项目描述

1
2
3
4
5
6
7
8
9
10
11
高性能云网关 (2024)
- 设计并实现基于 XDP + DPDK 混合架构的 10Gbps 云网关
- 集成 Maglev 一致性哈希、conntrack、Full-NAT、状态防火墙、VXLAN 隧道
- 微服务控制面基于 gRPC，支持动态配置下发
- 性能：14M pps（线速），P99 延迟 < 1μs，并发连接 > 1M
- 相比 iptables 性能提升 5-10x

技术栈：DPDK 22.11, XDP/eBPF, Linux Kernel 6.8, C, gRPC,
      Protocol Buffers, Prometheus, OpenTelemetry

GitHub: github.com/<username>/cloud-gateway

5.2 面试常见问题

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Q1: 为什么不只用 DPDK 或 XDP？
A1: XDP 处理简单流量最快（驱动级），但状态管理困难；
    DPDK 处理复杂逻辑灵活，但简单流量开销大。
    混合方案：XDP fast path + DPDK slow path + eBPF maps 共享。

Q2: 如何处理 conntrack 满了的情况？
A2: 1) 动态扩容（用 LRU hash 替换普通 hash）
    2) 多级老化（ESTABLISHED 60s, TIME_WAIT 30s）
    3) 早期丢弃（连接数接近上限时，丢弃新连接）
    4) 流量调度（区分 VIP，给关键租户预留）

Q3: 性能瓶颈在哪里？
A3: 通常是：
    - NUMA 跨节点访问（用 lscpu 检查）
    - 锁竞争（用 perf lock contention 找）
    - 缓存缺失（perf stat -e cache-misses）
    - 系统调用（strace）

Q4: 为什么要用 eBPF/XDP 而不是 DPDK only？
A4: XDP 与内核网络栈无缝集成
    - 可以让同一 NIC 既处理 fast path 又走内核栈
    - 调试方便（bpftool, bpftrace）
    - 不需要用户态轮询线程（节能）

Q5: 控制面为什么用 gRPC？
A5: 1) 跨语言（控制面用 Go/Python 都行）
    2) 高效（基于 HTTP/2）
    3) 流式（适合日志、指标导出）
    4) IDL（protobuf）强类型

6. 持续维护

6.1 监控告警

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# prometheus-alerts.yml
groups:
- name: cloud-gateway
  rules:
  - alert: HighPPSDrop
    expr: rate(gateway_dropped_packets_total[5m]) > 1000
    for: 2m
    labels:
      severity: warning
    annotations:
      summary: "高丢包率"

  - alert: HighLatency
    expr: gateway_latency_p99_ns > 1000000
    for: 5m
    labels:
      severity: warning

  - alert: ConntrackFull
    expr: gateway_conntrack_used / gateway_conntrack_max > 0.9
    for: 2m
    labels:
      severity: critical

6.2 升级流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
升级流程：

1. 测试环境验证
   - 部署到 staging
   - 跑 24h 稳定性测试
   - 跑性能回归

2. 灰度发布
   - 1 个实例 → 1 小时观察
   - 10% 流量 → 2 小时
   - 50% → 4 小时
   - 100% → 持续

3. 回滚
   - 保留旧版本（不删除）
   - 1 分钟内可回滚
   - 通过配置版本切换

6.3 故障恢复 Runbook

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 故障恢复 Runbook

## 场景 1：PPS 突降

检查项：
- 1. 是否有 DDoS 攻击？
  - 查日志：tail -f /var/log/gateway.log | grep DROP
- 2. 后端是否过载？
  - 查后端 metrics
- 3. conntrack 满了？
  - 查 /proc/net/nf_conntrack
- 4. 网卡有错？
  - ip -s link show eth0

恢复：
- 1. 启用更严格 ACL
- 2. 联系后端扩容
- 3. 清理 conntrack
- 4. 重启网关（必要时）

## 场景 2：延迟突增

检查项：
- 1. CPU 隔离是否被破坏？
- 2. 软中断分布？
- 3. NUMA 跨节点？
- 4. 锁竞争？

恢复：
- 1. 检查系统中断进程
- 2. 重新绑定 CPU
- 3. 必要时重启

7. 后续规划

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
下一步：

1. 完善数据面
   - 添加 IPsec 卸载
   - 集成 VPP 加速
   - 智能网卡卸载（Flow Director）

2. 完善控制面
   - 配置版本管理
   - 灰度发布
   - 灾备切换

3. 完善观测
   - 集成 OpenTelemetry
   - 自动化压测
   - SLO 监控

4. 商业化方向
   - 公有云 LB 服务
   - 私有云方案
   - 5G UPF（用户面功能）
   - 边缘计算网关

8. 整个阶段的总结

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
通过第 1-44 周，你已经掌握了：

✅ 系统编程基础
   - C 语言高级特性
   - 内存管理、指针、字节序
   - 系统调用、文件 I/O

✅ 进程线程与并发
   - fork/exec/pthread
   - 同步原语
   - 无锁编程

✅ 网络基础
   - TCP/IP 协议栈
   - Socket 编程
   - 多路复用（epoll）

✅ 内核网络
   - Netfilter 框架
   - TCP 协议栈实现
   - 路由子系统
   - 邻居子系统

✅ 高性能数据面
   - DPDK（轮询模式驱动）
   - 内存池、ring
   - PMD 收发包
   - 多核优化

✅ 可编程内核
   - eBPF 基础
   - XDP 程序开发
   - BPF maps
   - Cilium 生态

✅ 网络虚拟化
   - netns、veth、bridge
   - 隧道（VXLAN、Geneve）
   - OVS 与 SDN
   - P4 可编程数据面
   - SmartNIC、SR-IOV

✅ 大规模系统设计
   - 工业级 LB（Maglev、Katran）
   - NAT 网关
   - DDoS 防护
   - 可观测性
   - 性能优化

✅ 工程能力
   - 开源贡献
   - 文档编写
   - 性能测试
   - 演示展示

你已经具备了：
  - 设计千万级并发网络系统的能力
  - 深入理解 Linux 网络栈
  - 掌握工业级数据面技术
  - 进行开源项目贡献

下一步方向（可选）：
  - 5G / 电信云（UPF）
  - DPU / 智能网卡开发
  - SDN 控制器
  - 可编程交换机 (P4)
  - 性能调优专家

9. 最终交付检查清单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
□ 代码
  □ 所有 BPF 程序编译通过
  □ 所有 DPDK 程序编译通过
  □ 所有控制面代码编译通过
  □ 代码格式化（clang-format）
  □ 无编译警告

□ 测试
  □ 单元测试通过
  □ 集成测试通过
  □ 性能测试完成
  □ 24h 稳定性测试完成
  □ 边界条件覆盖

□ 文档
  □ 架构设计文档
  □ API 规范
  □ 部署运维手册
  □ 故障排查手册
  □ 性能测试报告
  □ 演示视频

□ 工具
  □ 压测脚本
  □ 部署脚本
  □ 监控配置
  □ 告警规则

□ 提交
  □ 仓库结构清晰
  □ README 完善
  □ LICENSE
  □ CONTRIBUTING
  □ CHANGELOG
  □ Issue 模板
  □ PR 模板

□ 准备
  □ 简历描述
  □ 面试问题准备
  □ 演示材料

10. 结语

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
🎉 恭喜！

你完成了 C 网络编程的 44 周系统学习。

从最基础的 C 语法，到千万并发的云网关，
你建立了一个完整的知识体系：

  基础 → 系统编程 → 网络 → 内核 → 数据面 → SDN → 大规模架构

下一步（无论是面试还是工作），你都有了：
  - 扎实的技术深度
  - 丰富的实战项目
  - 开源社区的协作经验
  - 系统设计的能力

继续前进！

—— Code_learn 项目
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Linux开发、
公众号开发、开源爱好者、Linux

联系QQ:562054870