第17周：DPDK 环境搭建与原理

字数统计: 2.8k字   |   阅读时长≈ 13分

第17周：DPDK 环境搭建与原理

目标：理解 DPDK 绕过内核直接访问网卡的原理，能够搭建开发环境并运行示例程序。

1. DPDK 概述

1.1 为什么需要 DPDK？

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
传统内核网络栈（Linux）：

  应用 → socket → 内核协议栈 → 驱动 → 网卡
                                ↑
                    每次收包都触发中断
                    → 内核上下文切换（慢）
                    → 内存复制（sk_buff）
                    → 随机内存访问（缓存不友好）

DPDK 数据面（用户态轮询）：

  应用 ──────────────────────────▶ 网卡
  直接读写 PCI 寄存器                     ↑
  轮询 RX/TX descriptor                无中断开销
  用户态内存池                           连续内存（hugepage）
                                        ↓
  吞吐：10M pps（内核）→ 80M+ pps（DPDK）
  延迟：μs → sub-μs

1.2 核心原理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
DPDK 绕过内核的四项关键技术：

1. UIO/VFIO：用户态驱动框架
   - 内核不处理网络中断
   - 用户态程序直接映射网卡寄存器
   - DPDK PMD（Poll Mode Driver）在用户态直接操作网卡

2. Hugepage：大页内存
   - 避免 TLB miss（页表翻译缓存未命中）
   - 2MB 或 1GB 大页，减少页表条目
   - mbuf 数据包缓冲区分配在大页上

3. 轮询模式（Poll Mode）
   - 主动循环检查 RX/TX descriptor
   - 无中断开销
   - 独占 CPU 核心

4. CPU 亲和性
   - 每个 lcore（逻辑核心）绑定到独占 CPU
   - 避免上下文切换和缓存失效
   - lcore 之间通过 ring 通信

2. UIO 与 VFIO

2.1 UIO（Userspace I/O）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
内核 UIO 子系统：
  /dev/uioX — 用户态设备节点

  映射流程：
  1. open(/dev/uioX)       — 打开设备
  2. mmap()                — 映射 BAR（PCI Base Address Register）
                            — 映射中断
  3. read()                — 等待中断（阻塞）
  4. write()               — 启用中断
  5. close()               — 清理

  限制：
  - 无 DMA 保护
  - 需要 root 权限
  - 不安全（进程可以访问所有物理内存）

2.2 VFIO（Virtual Function I/O）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
VFIO（推荐，现代内核使用）：

  基于 IOMMU 的安全 IO 框架：
  /dev/vfio/0             — VFIO 组设备
  /dev/vfio/vfio          — 控制接口

  映射流程：
  1. 打开 /dev/vfio/vfio
  2. 获取 IOMMU 组
  3. 将设备添加到组
  4. 设置 DMA 映射（安全隔离）
  5. 映射 BAR 区域
  6. 启动/停止/重置设备

  优势：
  - IOMMU 保护（DMA 隔离）
  - 支持 SR-IOV
  - 更安全

2.3 网卡绑定

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# === 查看网卡信息 ===
lspci | grep -i eth
# 01:00.0 Ethernet controller: Intel Corporation 82599ES

# 查看当前驱动
ethtool -i eth1
# driver: ixgbe
# bus-info: 0000:01:00.0

# === 绑定到 vfio-pci ===

# 1. 加载 vfio-pci 模块
sudo modprobe vfio-pci

# 2. 绑定网卡（DPDK 提供 dpdk-devbind.py 脚本）
sudo dpdk-devbind.py --bind=vfio-pci 01:00.0

# 3. 验证
sudo dpdk-devbind.py --status
# 0000:01:00.0 if=eth1 drv=vfio-pci unused=ixgbe

# === 解绑回内核驱动 ===
sudo dpdk-devbind.py --bind=ixgbe 01:00.0

# === UIO 方式（旧版）===
sudo modprobe uio
sudo insmod kmod/igb_uio.ko
sudo dpdk-devbind.py --bind=igb_uio 01:00.0

3. Hugepage 配置

3.1 什么是 Hugepage

1
2
3
4
5
6
7
8
9
10
11
12
正常页（4KB）：
  [Page Table] → [Physical Page 4KB]
  
  10000 个 mbuf（2048+256 bytes each）需要大量页表条目
  → TLB（Translation Lookaside Buffer）miss 频繁

Hugepage（2MB）：
  [Page Table] → [Physical Page 2MB]
  
  同样数量的 mbuf 只需要 1/512 的页表条目
  → TLB miss 大幅减少
  → 内存访问更快

3.2 配置 Hugepage

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# === 2MB Hugepage ===

# 1. 挂载 hugepage 文件系统
sudo mkdir -p /mnt/huge
sudo mount -t hugetlbfs nodev /mnt/huge

# 2. 预留页数（echo 到 nr_hugepages）
echo 1024 | sudo tee /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

# 3. 验证
cat /proc/meminfo | grep Huge
# HugePages_Total:    1024
# HugePages_Free:     1024
# HugePages_Rsvd:        0
# HugePages_Surp:        0
# Hugepagesize:       2048 kB

# 自动挂载（/etc/fstab）
# nodev /mnt/huge hugetlbfs pagesize=2M 0 0

# === 1GB Hugepage（需要内核支持）===
echo 4 | sudo tee /sys/kernel/mm/hugepages/hugepages-1048576kB/nr_hugepages

# === 在 DPDK 中指定 hugepage 路径 ===
./l2fwd -l 0-3 --socket-mem 1024,1024 --huge-dir /mnt/huge

4. DPDK 编译

4.1 获取源码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 克隆仓库
git clone https://github.com/DPDK/dpdk.git
cd dpdk
git checkout v22.11.5  # 选择稳定版本

# 配置（启用所有驱动和库）
make config T=x86_64-native-linuxapp-gcc
make -j$(nproc)

# 结果：build 目录包含编译结果
ls build/
# app/       # 示例程序
# lib/       # 库文件
# include/   # 头文件
# kmod/      # 内核模块（igb_uio 等）

4.2 编译选项

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# === 常用配置 ===

# 最小配置（只编译核心）
make config T=x86_64-native-linuxapp-gcc
cd build
make -j4

# 启用所有驱动
make config T=x86_64-native-linuxapp-gcc \
    EXTRA_CFLAGS="-fno-omit-frame-pointer -g -O3"
make -j$(nproc) EXTRA_CFLAGS="-O3"

# 启用共享库
make config T=x86_64-native-linuxapp-gcc
cd build
make install T=x86_64-native-linuxapp-gcc DESTDIR=install

# 配置目标平台（platform target）：
# native-linuxapp-gcc    — 当前机器，最优指令集
# x86_64-native-linuxapp-gcc  — 同上
# arm64-native-linuxapp-gcc   — ARM64
# powerpc64le-native-linuxapp-gcc — POWER

4.3 DPDK 目录结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
dpdk/
├── app/                  # 示例应用
│   ├── test-pmd/        # 最常用的测试工具
│   ├── l2fwd/           # 二层转发
│   ├── l3fwd/           # 三层转发
│   ├── dpdk-test/       # 单元测试
│   └── ...
├── lib/                  # DPDK 核心库
│   ├──eal/             # Environment Abstraction Layer（初始化）
│   ├── mbuf/            # 包缓冲区管理
│   ├── ring/            # 无锁队列
│   ├── mempool/         # 内存池
│   ├── ethdev/          # 以太网设备抽象层
│   ├── net/             # 网络协议（IP/TCP/UDP 校验）
│   ├── acl/             # 访问控制列表
│   ├── hash/            # 哈希表
│   ├── timer/           # 高精度定时器
│   ├── cmdline/         # 命令行解析
│   └── ...
├── drivers/              # PMD 驱动
│   ├── net/
│   │   ├── ixgbe/       # Intel 10GbE
│   │   ├── i40e/        # Intel 40GbE
│   │   ├── e1000/       # Intel 1GbE
│   │   ├── mlx5/        # Mellanox
│   │   ├── virtio/      # Virtio（虚拟机）
│   │   └── ...
│   └── bus/
│       └── pci/
├── kernel/              # 内核模块
│   ├── linux/
│   │   ├── eal/         # EAL 内核部分
│   │   └── igb_uio/     # UIO 驱动
│   └── ...
├── mk/                  # 构建系统
├── meson.build         # Meson 构建配置（新版本）
├── config/
│   └── common_base      # 通用配置
└── doc/                 # 文档

5. Hello World 示例

5.1 代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
// helloworld.c
#include <stdio.h>
#include <string.h>
#include <rte_eal.h>
#include <rte_ethdev.h>
#include <rte_lcore.h>

static const struct rte_eth_conf port_conf_default = {
    .rxmode = { .max_rx_pkt_len = RTE_ETHER_MAX_LEN }
};

static int port_init(uint16_t port) {
    struct rte_eth_conf port_conf = port_conf_default;
    uint16_t nb_rx_queues = 0;
    uint16_t nb_tx_queues = 1;
    int ret;
    uint16_t q;

    // 配置设备
    ret = rte_eth_dev_configure(port, nb_rx_queues, nb_tx_queues, &port_conf);
    if (ret != 0) {
        printf("Cannot configure port %u: %d\n", port, ret);
        return ret;
    }

    // 设置 TX 队列
    for (q = 0; q < nb_tx_queues; q++) {
        ret = rte_eth_tx_queue_setup(port, q, 1024,
                                     rte_eth_dev_socket_id(port), NULL);
        if (ret != 0) {
            printf("Cannot setup TX queue: %d\n", ret);
            return ret;
        }
    }

    // 启动设备
    ret = rte_eth_dev_start(port);
    if (ret != 0) {
        printf("Cannot start port %u: %d\n", port, ret);
        return ret;
    }

    // 启用混杂模式（接收所有包）
    rte_eth_promiscuous_enable(port);

    printf("Port %u initialized\n", port);
    return 0;
}

int main(int argc, char **argv) {
    int ret;
    uint16_t port_id;

    // 1. 初始化 EAL（Environment Abstraction Layer）
    ret = rte_eal_init(argc, argv);
    if (ret < 0) {
        printf("EAL init failed: %d\n", ret);
        return 1;
    }
    argc -= ret;
    argv += ret;

    printf("EAL initialized with %d cores\n", rte_lcore_count());

    // 2. 初始化所有可用端口
    RTE_ETH_FOREACH_DEV(port_id) {
        port_init(port_id);
    }

    printf("Hello from DPDK app!\n");
    printf("Press Ctrl+C to exit\n");

    // 主循环（实际应用在这里处理数据包）
    while (1) {
        sleep(1);
    }

    return 0;
}

5.2 编译

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 使用 DPDK 的构建系统
make -C dpdk build

# 或使用 meson/ninja（DPDK 22.x+）
cd dpdk
meson build
ninja -C build

# 编译应用
gcc -o helloworld helloworld.c \
    -I dpdk/build/include \
    -L dpdk/build/lib \
    -ldpdk -Wl,--whole-archive -ldpdk -Wl,--no-whole-archive \
    -lpthread -lm -ldl

5.3 运行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 加载 hugepage
echo 1024 | sudo tee /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
sudo mkdir -p /mnt/huge
sudo mount -t hugetlbfs nodev /mnt/huge

# 绑定网卡（需要 root）
sudo dpdk-devbind.py --bind=vfio-pci 0000:01:00.0

# 运行
sudo ./helloworld -l 0-3 --socket-mem 1024 --vdev=net_null0 -- \
    --port-topology=chained

# 参数说明：
# -l 0-3          — 使用 lcore 0-3
# --socket-mem 1024 — 每个 socket 分配 1024MB hugepage
# --vdev=net_null0  — 虚拟 null 设备（无网卡时测试用）

6. l2fwd 二层转发示例

6.1 运行 l2fwd

1
2
3
4
5
6
7
8
9
10
11
12
# 使用 DPDK 自带的 l2fwd
cd dpdk/build
sudo ./build/app/dpdk-l2fwd -l 0-3 --socket-mem 1024 \
    -- -p 0x1 -T 1

# 参数：
# -l 0-3          — 使用 CPU 0-3
# --socket-mem    — 每个 NUMA node 的 hugepage 内存（MB）
# -p 0x1          — 使用 port 0（bitmask）
# -T 1            — 每秒打印一次统计
# --no-nacache    — 禁用 MAC 缓存
# --forward-mode  — 转发模式（io/skeleton/full）

6.2 l2fwd 核心逻辑

1
2
3
4
5
6
7
8
9
10
11
l2fwd 工作流程：

每个 lcore：
  1. 从 RX 队列收包（rte_eth_rx_burst）
  2. 查找目的 MAC → 对应端口
  3. 修改源/目的 MAC
  4. 发送到 TX 队列（rte_eth_tx_burst）

MAC 地址缓存：
  l2fwd_mac_cache[port] = 已学习的目的 MAC → 端口映射
  每收到一个包就学习源 MAC

7. pktgen 压测

7.1 编译 pktgen

1
2
3
4
5
6
7
cd dpdk
make config T=x86_64-native-linuxapp-gcc
make -j$(nproc) EXTRA_CFLAGS="-O3"

# 构建 pktgen
cd app/pktgen
make

7.2 运行 pktgen

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 单端口打流
sudo ./build/app/dpdk-pktgen -l 0-3 --socket-mem 1024 \
    -- -p 0x1 -T 1 -f pktgen.pcap

# 多端口
sudo ./build/app/dpdk-pktgen -l 0-7 --socket-mem 2048 \
    -- -p 0x3 -T 5

# 参数：
# -p 0x1          — portmask（0x1 = port 0, 0x3 = port 0,1）
# -T 1            — 统计输出间隔（秒）
# -t              — 发射模式（连续发送）
# -r <rate>       — 发送速率（Mpps）
# -l <size>       — 包大小
# -s <file>       — 从 pcap 文件发送
# -S              — 源 MAC
# -D              — 目的 MAC
# -m              — 模式（周期/突发）
# -M              — 每秒最大包数

8. 性能指标

8.1 性能目标

1
2
3
4
5
6
7
8
9
10GbE 线速（64 字节小包）：
  线速 = 10 Gbps = 1.25 GB/s
  64 字节/包 = 54 PPS（每秒百万包）

  实际目标：
  - 10GbE: 14.88 Mpps（64B 帧）
  - 25GbE: 37.24 Mpps
  - 40GbE: 59.56 Mpps
  - 100GbE: 148.81 Mpps

8.2 常用测试命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# === testpmd（DPDK 自带调试工具）===

# 基础转发测试
sudo ./build/app/dpdk-testpmd -l 0-3 --socket-mem 1024 \
    -- --forward-mode=io --port-topology=chained -p 0x3

# 在 testpmd 中可用的命令：
# show port stats all      — 显示端口统计
# set fwd io               — 设置 IO 转发模式
# set txpkts 100           — 发送 100 个包
# start tx_first           — 开始持续发送
# stop                     — 停止

# === 性能测试（端口到端口）===

sudo ./build/app/dpdk-testpmd -l 0-3 --socket-mem 1024 \
    -- --forward-mode=io --port-topology=chained -p 0x3 \
    --nb-cores=2 --mbcache=250 --txd=1024 --rxd=1024

# 关键参数：
# --nb-cores=2            — 收发包核心数
# --mbcache=250           — mbuf cache 大小
# --txd=1024              — TX descriptor 数量
# --rxd=1024              — RX descriptor 数量

# === 查看统计 ===

# 在 testpmd 中：
testpmd> show port stats all

9. 开发环境检查清单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
#!/bin/bash
# check_dpdk_env.sh — DPDK 环境检查脚本

echo "=== DPDK Environment Check ==="

# 1. CPU 支持
echo "CPU:"
grep -E "vmx|svm" /proc/cpuinfo | head -1
echo "  VT-x/AMD-V: $(grep -c 'vmx\|svm' /proc/cpuinfo) cores"

# 2. 内核版本
echo ""
echo "Kernel: $(uname -r)"
echo "Required: >= 4.14 for vfio-pci"

# 3. IOMMU
echo ""
echo "IOMMU:"
cat /proc/cmdline | grep -o 'intel_iommu=on\|amd_iommu=on' || echo "  NOT ENABLED (reboot with intel_iommu=on)"

# 4. Hugepage
echo ""
echo "Hugepages:"
grep -E "HugePages_Total|Hugepagesize" /proc/meminfo

# 5. VFIO
echo ""
echo "VFIO modules:"
lsmod | grep vfio || echo "  NOT LOADED (sudo modprobe vfio-pci)"

# 6. DPDK
echo ""
echo "DPDK:"
which dpdk-devbind.py || echo "  NOT FOUND"
echo "  DPDK version: $(dpdk-devbind.py --version 2>/dev/null || echo unknown)"

# 7. NICs
echo ""
echo "Network interfaces:"
ip link show | grep -E "^[0-9]"

# 8. 网卡 PCI
echo ""
echo "PCI devices:"
lspci | grep -i ethernet

echo ""
echo "=== Check complete ==="

10. 常见问题

10.1 编译错误

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 问题：找不到 rte_eal.h
# 解决：确保包含正确的 include 路径
export RTE_SDK=/path/to/dpdk
export RTE_TARGET=x86_64-native-linuxapp-gcc
gcc -I$RTE_SDK/$RTE_TARGET/include ...

# 问题：链接错误
# 解决：链接 DPDK 库
gcc -L$RTE_SDK/$RTE_TARGET/lib -ldpdk ...

# 问题：meson 构建失败
# 解决：安装依赖
sudo apt install meson ninja-build python3-pip
pip3 install --user meson ninja

10.2 运行问题

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 问题：Cannot initialize port
# 解决：检查网卡是否绑定到 DPDK 驱动
sudo dpdk-devbind.py --status

# 问题：EAL: No probed ethernet devices
# 解决：
#   1. 检查 hugepage 是否挂载
#   2. 检查网卡是否绑定
#   3. 检查是否有 root 权限

# 问题：SIGBUS 错误
# 解决：hugepage 内存不足
#   echo 2048 | sudo tee /sys/.../nr_hugepages

# 问题：Performance below expected
# 解决：
#   1. 检查 CPU 频率（禁用 turbo boost 会导致性能下降）
#   2. 检查 NUMA（socket-mem 要和网卡 NUMA 一致）
#   3. 检查中断是否被禁用
#   4. 检查是否使用了正确的 lcore

10.3 NUMA 注意事项

1
2
3
4
5
6
7
8
9
10
# 查看 NUMA 拓扑
lscpu | grep -E "NUMA|CPU"
numactl --hardware

# 网卡绑定到哪个 NUMA 节点？
cat /sys/bus/pci/devices/0000:01:00.0/numa_node

# 分配 hugepage 时注意 NUMA
# socket-mem 参数应该匹配网卡的 NUMA 节点
# 如果网卡在 NUMA 0，用 --socket-mem 1024（不是 0,1024）
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Linux开发、
公众号开发、开源爱好者、Linux

联系QQ:562054870