第35周：智能网卡与硬件卸载

字数统计: 3.1k字   |   阅读时长≈ 15分

第35周：智能网卡与硬件卸载

目标：理解 SR-IOV、SmartNIC、RDMA/RoCE 等硬件加速技术，能够为 VM 配置网卡直通和高性能网络。

1. SR-IOV 概述

1.1 什么是 SR-IOV

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
SR-IOV（Single Root I/O Virtualization）：
  - 单个 PCIe 设备虚拟化为多个虚拟功能
  - 让多个 VM 共享一个物理 NIC
  - 每个 VM 直通访问硬件（接近原生性能）

核心概念：
  - PF（Physical Function）：完整 PCIe 设备
  - VF（Virtual Function）：轻量虚拟设备
  - 一个 PF 可以虚拟出多个 VF（通常 8-128）
  - VF 拥有自己的 PCI BAR 空间
  - VM 通过 IOMMU 访问 VF

性能优势：
  - 接近原生带宽
  - 微秒级延迟
  - CPU 占用低（绕过 hypervisor 数据路径）

1.2 架构图

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
┌─────────────────────────────────────────────┐
│                物理服务器                      │
│                                                │
│  ┌─────────────┐                              │
│  │   NIC       │                              │
│  │  ┌──┐  ┌──┐│                              │
│  │  │PF│  │VF││ ← 单个 NIC 虚拟出多个 VF        │
│  │  │  │  │1 ││                              │
│  │  │  │  ├──┤│                              │
│  │  │  │  │2 ││                              │
│  │  │  │  ├──┤│                              │
│  │  │  │  │N ││                              │
│  │  └──┴  └──┘│                              │
│  └─────┬──────┘                              │
│        │ PCIe                                │
│  ┌─────┴────────────────────┐                │
│  │ IOMMU (VT-d)              │                │
│  └──┬─────┬─────┬─────┬─────┘                │
│     │     │     │     │                       │
│   ┌─┴─┐ ┌─┴─┐ ┌─┴─┐ ┌─┴─┐                   │
│   │VF1│ │VF2│ │VF3│ │VF4│ VM 直通            │
│   └─┬─┘ └─┬─┘ └─┬─┘ └─┬─┘                   │
│   ┌─┴─┐ ┌─┴─┐ ┌─┴─┐ ┌─┴─┐                   │
│   │VM1│ │VM2│ │VM3│ │VM4│                   │
│   └───┘ └───┘ └───┘ └───┘                   │
└─────────────────────────────────────────────┘

1.3 SR-IOV vs 其他虚拟化方式

1
2
3
4
5
6
7
8
┌─────────────┬─────────┬────────┬─────────────┐
│ 方式        │ 性能    │ 灵活性 │ 隔离性      │
├─────────────┼─────────┼────────┼─────────────┤
│ 软件模拟    │ 1-2 Gbps│ 高     │ 强         │
│ 半虚拟化    │ 5-10    │ 中     │ 中         │
│ SR-IOV 直通 │ 10-25   │ 低     │ 强（IOMMU）│
│ 物理直通   │ 线速    │ 低     │ 最强       │
└─────────────┴─────────┴────────┴─────────────┘

2. SR-IOV 配置

2.1 BIOS 和内核要求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# === BIOS 设置 ===
# - SR-IOV: Enabled
# - IOMMU: Enabled (VT-d for Intel / AMD-Vi for AMD)
# - ACS: Enabled（Access Control Services）
# - ARI: Enabled（Alternative Routing-ID Interpretation）

# === 内核参数 ===
# /etc/default/grub
GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt"
# iommu=pt: 透传模式（性能更好）

# 更新 grub
sudo update-grub
sudo reboot

2.2 加载 VFIO 驱动

1
2
3
4
5
6
7
# 加载必要模块
sudo modprobe vfio
sudo modprobe vfio-pci

# 验证 IOMMU 启用
dmesg | grep -i "IOMMU\|DMAR"
# 应有 "DMAR: IOMMU enabled" 之类的消息

2.3 启用 VF

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 查看 NIC 当前的 VF 数量
cat /sys/bus/pci/devices/0000:01:00.0/sriov_totalvfs
# 可能是 0 或 7

# 设置 VF 数量（例如 4）
echo 4 | sudo tee /sys/bus/pci/devices/0000:01:00.0/sriov_numvfs

# 查看生成的 VF
lspci | grep -i ethernet
# 0000:01:00.0  ← PF
# 0000:01:00.1  ← VF 0
# 0000:01:00.2  ← VF 1
# 0000:01:00.3  ← VF 2
# 0000:01:00.4  ← VF 3

# 查看每个 VF 的 MAC 地址
for i in 0 1 2 3; do
    echo "VF $i MAC: $(cat /sys/bus/pci/devices/0000:01:00.$i/net/*/address 2>/dev/null || echo N/A)"
done

# 修改 VF MAC
ip link set eth0 vf 0 mac aa:bb:cc:dd:ee:01
ip link set eth0 vf 1 mac aa:bb:cc:dd:ee:02

# 修改 VF VLAN
ip link set eth0 vf 0 vlan 10

2.4 绑定到 VFIO 驱动

1
2
3
4
5
6
7
8
9
# === 方式 1：自动（推荐） ===
sudo modprobe vfio-pci
echo "vfio-pci" | sudo tee /sys/bus/pci/devices/0000:01:00.1/driver_override
echo 0000:01:00.1 | sudo tee /sys/bus/pci/drivers/vfio-pci/bind
# 需要先 echo 0 到 sriov_numvfs 解除原绑定

# === 方式 2：使用 dpdk-devbind ===
sudo dpdk-devbind.py --bind=vfio-pci 0000:01:00.1
sudo dpdk-devbind.py --status

2.5 分配 VF 给 VM（KVM）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# === QEMU 命令行（KVM） ===
qemu-system-x86_64 \
    -enable-kvm \
    -m 4096 \
    -drive file=vm.qcow2 \
    -device vfio-pci,host=0000:01:00.1  # 直通 VF
    ...

# === virsh 方式 ===
# 在 VM XML 中：
cat > vm.xml <<EOF
<interface type='hostdev'>
    <source>
        <address type='pci' domain='0x0000' bus='0x01' slot='0x00' function='0x1'/>
    </source>
</interface>
EOF
virsh attach-device vm vm.xml

2.6 完整脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/bin/bash
# sriov_setup.sh — 启用 SR-IOV 并直通给 VM

set -e

# 1. 检查 BIOS 和内核
echo "检查 IOMMU..."
if ! dmesg | grep -q "DMAR.*IOMMU enabled"; then
    echo "错误：IOMMU 未启用"
    echo "请在 BIOS 中启用 VT-d/AMD-Vi，并在内核参数中添加 intel_iommu=on"
    exit 1
fi

# 2. 加载 VFIO 驱动
echo "加载 VFIO 驱动..."
modprobe vfio
modprobe vfio-pci

# 3. 找到网络设备
PF=$(lspci | grep "Ethernet controller" | head -1 | awk '{print $1}')
echo "找到 PF: $PF"

# 4. 启用 VF
echo "启用 VF..."
echo 4 | tee /sys/bus/pci/devices/0000:$PF/sriov_numvfs

# 5. 列出生成的 VF
echo "生成的 VF:"
lspci | grep "Ethernet controller"

# 6. 配置 VF MAC
PF_IF=$(ls /sys/bus/pci/devices/0000:$PF/net/ | head -1)
for i in 0 1 2 3; do
    ip link set $PF_IF vf $i mac aa:bb:cc:dd:ee:0$((i+1))
done

# 7. 查看结果
ip link show dev $PF_IF

3. Virtio-net（半虚拟化）

3.1 Virtio 架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Virtio：I/O 虚拟化的标准框架

  主机                     客户机
┌─────────┐              ┌─────────┐
│ 后端驱动 │ ← virtio → │ 前端驱动 │
│ (host)  │    总线      │ (guest)  │
└────┬────┘              └────┬────┘
     │                        │
     ▼                        ▼
  virtio-net.ko           virtio-net.ko
     │                        │
     └──── 共享 ring ───────┘
     
  - 半虚拟化，guest 知道是虚拟化
  - 性能接近直通
  - 灵活、跨平台

3.2 三种模式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
virtio-net 的三种模式：

1. virtio (legacy)：
   - 旧版
   - 单 vring
   - 性能一般

2. virtio-1.0 (modern)：
   - PCI 标准
   - 多个 vring
   - 性能好

3. vhost-net/vhost-user：
   - 主机态后端（vhost-net）
   - 完全在主机内核态处理
   - 性能接近原生
   - 延迟 < 5 μs

3.3 配置 Virtio

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# === KVM VM 配置 ===
# 1. QEMU 命令行
qemu-system-x86_64 \
    -drive file=vm.qcow2 \
    -netdev tap,id=net0,ifname=tap0,vhost=on \
    -device virtio-net-pci,netdev=net0 \
    ...

# 2. libvirt 方式
<interface type='network'>
    <source network='default'/>
    <model type='virtio'/>
    <driver name='vhost'/>  # 启用 vhost-net
    <mtu size='9000'/>      # 巨型帧
</interface>

# === 启用多队列 ===
<driver name='vhost' queues='N'/>
# guest 端：ethtool -L eth0 combined N

4.4 Virtio-net 性能优化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# === 主机端 ===

# 启用 vhost-net（必需）
modprobe vhost_net

# 配置多队列
cat /proc/sys/net/core/netdev_max_backlog

# === 客户机端 ===

# 多队列（提升并行性）
ethtool -L eth0 combined 8

# 启用 GRO
ethtool -K eth0 gro on

# 启用 TSO
ethtool -K eth0 tso on

# 巨型帧（如果主机支持）
ifconfig eth0 mtu 9000

5. SmartNIC（智能网卡）

5.1 智能网卡概念

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
SmartNIC = 带 CPU 的网卡

  传统 NIC：
  ┌─────────┐
  │ PHY/MAC │  简单的网络功能
  └─────────┘
  
  SmartNIC：
  ┌─────────────────────────────┐
  │ ARM/MIPS 处理器（多核）      │  ← 卸载主机 CPU 工作
  │ ┌──────────┐  ┌──────────┐  │
  │ │ 控制面   │  │ 数据面   │  │
  │ │  ARM     │  │ NPU/ASIC │  │
  │ └──────────┘  └──────────┘  │
  │  PCIe 40G/100G              │
  └─────────────────────────────┘

优势：
  - 卸载主机的网络功能（OVS、LB、防火墙）
  - 降低主机 CPU 占用
  - 提供更稳定的性能
  - 支持 P4 编程

主流产品：
  - Mellanox ConnectX（NVIDIA）
  - Intel XXV710 / E810
  - Netronome Agilio
  - Marvell LiquidIO
  - Broadcom Stingray

5.2 卸载特性

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
传统 NIC 智能：基础 L2/L3 转发
SmartNIC 智能：

1. 协议卸载：
   - TCP/UDP/IP 校验和
   - TSO（TCP Segmentation Offload）
   - LRO（Large Receive Offload）
   - GRO（Generic Receive Offload）
   - RSS（Receive Side Scaling）
   - Flow Director（精确匹配）

2. 网络功能卸载：
   - OVS 卸载
   - 防火墙
   - NAT
   - 负载均衡
   - IPSec 加密

3. 虚拟化：
   - SR-IOV
   - VXLAN/Geneve 封装
   - NVMe over Fabrics

4. 安全：
   - 加密加速
   - 密钥管理
   - 可信启动

5. 监控：
   - 流量统计
   - 遥测（Telemetry）

5.3 Flow Director

1
2
3
4
5
6
7
8
9
Flow Director：网卡硬件包过滤

  - 精确匹配（src/dst IP、端口、协议）
  - 直接在网卡层处理
  - 卸载 CPU 过滤负担
  - 加速 DDoS 防护

  使用：
  ethtool -N eth0 flow-type tcp4 src-ip 10.0.0.1 dst-port 80 action 1

6. RDMA 概览

6.1 RDMA 概念

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
RDMA（Remote Direct Memory Access）：
  - 远程直接内存访问
  - 绕过 CPU 和内核
  - 零拷贝
  - 极低延迟（< 1 μs）
  - 高吞吐

应用：
  - 高频交易（HFT）
  - HPC（高性能计算）
  - 分布式存储（如 Ceph、SPDK）
  - 机器学习 GPU 集群
  - 数据库（Oracle RAC、Redis Cluster）

实现：
  - InfiniBand（专用网络）
  - RoCE（RDMA over Converged Ethernet）
  - iWARP（RDMA over TCP/IP）

6.2 RDMA 三种类型

1
2
3
4
5
6
7
8
┌────────────┬────────────┬────────────────┐
│ 类型        │ 网络        │ 性能           │
├────────────┼────────────┼────────────────┤
│ InfiniBand │ 专用       │ 最高           │
│ RoCE v1    │ 以太网（MAC）│ 高（受限）      │
│ RoCE v2    │ UDP（IP）   │ 高（最常见）    │
│ iWARP      │ TCP/IP     │ 中（兼容性最好）│
└────────────┴────────────┴────────────────┘

6.3 RoCE 配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# === RoCE v2 基础配置 ===

# 1. 检查硬件支持
ibstat                          # 显示 InfiniBand 设备
ibv_devinfo                     # 显示详细信息

# 2. 配置 IP 地址（RoCE v2 使用 UDP）
ip addr add 192.168.1.100/24 dev mlx5_0
ip link set mlx5_0 up

# 3. 配置子网管理器（用于 InfiniBand）
# 或配置 RoCE 交换机（PFC/ECN）

# 4. 验证 RoCE 工作
ib_send_bw 192.168.1.101         # 发送带宽测试
ib_send_bw --report_gbits        # 以 Gbps 显示

6.4 RDMA 编程基础

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
// rdma_client.c — 简单的 RDMA 客户端
#include <infiniband/verbs.h>
#include <stdio.h>
#include <string.h>

struct rdma_context {
    struct ibv_context *ctx;
    struct ibv_pd *pd;
    struct ibv_cq *cq;
    struct ibv_qp *qp;
    struct ibv_mr *mr;
    char *buf;
    int size;
};

int rdma_init(struct rdma_context *rc, const char *dev_name) {
    int dev_idx = -1;
    struct ibv_device **dev_list = ibv_get_device_list(NULL);
    for (int i = 0; dev_list[i]; i++) {
        if (strcmp(ibv_get_device_name(dev_list[i]), dev_name) == 0) {
            dev_idx = i;
            break;
        }
    }
    if (dev_idx < 0) return -1;

    rc->ctx = ibv_open_device(dev_list[dev_idx]);
    rc->pd = ibv_alloc_pd(rc->ctx);

    // 创建完成队列（CQ）
    rc->cq = ibv_create_cq(rc->ctx, 10, NULL, NULL, 0);

    // 创建内存区域（MR）
    rc->size = 4096;
    rc->buf = malloc(rc->size);
    rc->mr = ibv_reg_mr(rc->pd, rc->buf, rc->size,
                         IBV_ACCESS_LOCAL_WRITE |
                         IBV_ACCESS_REMOTE_READ |
                         IBV_ACCESS_REMOTE_WRITE);

    // 创建 Queue Pair（QP）
    struct ibv_qp_init_attr qp_attr = {
        .send_cq = rc->cq,
        .recv_cq = rc->cq,
        .qp_type = IBV_QPT_RC,        // Reliable Connection
        .cap = {
            .max_send_wr = 10,
            .max_recv_wr = 10,
            .max_send_sge = 1,
            .max_recv_sge = 1,
        },
    };
    rc->qp = ibv_create_qp(rc->pd, &qp_attr);

    return 0;
}

// 发送数据
int rdma_send(struct rdma_context *rc, const void *data, int len) {
    memcpy(rc->buf, data, len);

    struct ibv_sge sge = {
        .addr   = (uint64_t)rc->buf,
        .length = len,
        .lkey   = rc->mr->lkey,
    };

    struct ibv_send_wr wr = {
        .sg_list = &sge,
        .num_sge = 1,
        .opcode  = IBV_WR_SEND,
        .send_flags = IBV_SEND_SIGNALED,
    };

    struct ibv_send_wr *bad_wr;
    return ibv_post_send(rc->qp, &wr, &bad_wr);
}

// 轮询完成
int rdma_poll_cq(struct rdma_context *rc) {
    struct ibv_wc wc;
    int n = ibv_poll_cq(rc->cq, 1, &wc);
    if (n > 0) {
        if (wc.status == IBV_WC_SUCCESS) {
            return wc.opcode;
        }
    }
    return -1;
}

7. 卸载特性详细配置

7.1 卸载特性开关

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# === 查看所有 offload 状态 ===
ethtool -k eth0

# 输出示例：
# rx-checksumming: on
# tx-checksumming: on
# scatter-gather: on
# tcp-segmentation-offload: on
# udp-fragmentation-offload: off
# generic-segmentation-offload: on
# generic-receive-offload: on
# large-receive-offload: off
# rx-vlan-offload: on
# tx-vlan-offload: on

# === 启用/禁用 ===
sudo ethtool -K eth0 tso on gso on gro on
sudo ethtool -K eth0 rxvlan on txvlan on

7.2 Flow Director 配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# === 添加精确流规则 ===

# TCP/IPv4 规则：将特定流定向到队列 1
sudo ethtool -N eth0 flow-type tcp4 \
    src-ip 10.0.0.1 \
    dst-ip 10.0.0.2 \
    src-port 12345 \
    dst-port 80 \
    action 1

# 列出所有流规则
sudo ethtool --show-ntuple eth0 rx

# 删除
sudo ethtool -N eth0 delete <rule_id>

# 清空
sudo ethtool -N eth0 delete

7.3 SR-IOV + Flow Director

1
2
3
4
# 在 PF 上添加 Flow Director 规则
# 规则会对所有 VF 生效

# 实际使用中，Open vSwitch 可以通过 DPDK 配置 Flow Director

8. 性能对比

8.1 不同虚拟化方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
┌──────────────┬──────────┬──────────┬──────────┐
│ 方式          │ 延迟     │ 吞吐     │ CPU 占用  │
├──────────────┼──────────┼──────────┼──────────┤
│ 软件模拟      │ 100-500μs│ 1-2 Gbps │ 高      │
│ Virtio-1.0    │ 30-50μs  │ 5-10     │ 中      │
│ vhost-net     │ 5-20μs   │ 8-20     │ 低      │
│ SR-IOV 直通   │ < 5μs    │ 20-25    │ 极低    │
│ 物理直通      │ < 2μs    │ 线速     │ 极低    │
└──────────────┴──────────┴──────────┴──────────┘

注意：性能也取决于：
  - NIC 型号
  - CPU 频率
  - 内存带宽
  - 虚拟化开销

8.2 RDMA vs TCP

1
2
3
4
5
6
7
8
9
10
11
12
延迟对比：
  TCP loopback:      10-30 μs
  RDMA loopback:     1-2 μs
  
吞吐对比：
  TCP 1 stream:      9-10 Gbps
  RDMA 1 stream:     95-100 Gbps
  
  RDMA 优势：
    - CPU 占用 < 5%
    - 延迟低 10-100 倍
    - 带宽高

9. 实践：SR-IOV 配置和性能测试

9.1 启用 SR-IOV

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#!/bin/bash
# sriov_perf.sh — 启用 SR-IOV 并测试性能

set -e

# 1. 启用 VF
NIC="0000:01:00.0"
echo 4 | sudo tee /sys/bus/pci/devices/$NIC/sriov_numvfs

# 2. 查看生成的 VF
lspci | grep "Ethernet" | grep -i "Virtual Function"
# 0000:01:00.1
# 0000:01:00.2
# 0000:01:00.3
# 0000:01:00.4

# 3. 设置 MAC
ip link set eth0 vf 0 mac aa:bb:cc:dd:ee:01
ip link set eth0 vf 1 mac aa:bb:cc:dd:ee:02
ip link set eth0 vf 2 mac aa:bb:cc:dd:ee:03
ip link set eth0 vf 3 mac aa:bb:cc:dd:ee:04

# 4. 绑定 VF 到 VFIO
for vf in 0000:01:00.{1,2,3,4}; do
    echo "vfio-pci" | sudo tee /sys/bus/pci/devices/$vf/driver_override
    echo $vf | sudo tee /sys/bus/pci/drivers/vfio-pci/bind
done

# 5. 验证
sudo dpdk-devbind.py --status

9.2 性能测试

1
2
3
4
5
6
7
8
9
10
11
12
# === iperf3 测试 ===

# 主机侧启动服务端
iperf3 -s

# 客户机侧（如果使用 VM 启动 iperf3 客户端）
iperf3 -c <host_ip> -t 30 -P 4

# === testpmd 性能（如果用 DPDK 绑定） ===

sudo ./build/app/dpdk-testpmd -l 0-3 --socket-mem 1024 \
    -- --forward-mode=io --portmask=0x1

9.3 对比不同虚拟化方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/bin/bash
# compare_virt.sh — 对比不同虚拟化方式

echo "=== Test 1: 软件模拟 (e1000) ==="
# 启动 VM 用 e1000 网卡
qemu-system-x86_64 -device e1000 ... &
iperf3 -s &
iperf3 -c <ip> -t 10
# 记录带宽

echo "=== Test 2: Virtio-1.0 ==="
# 启动 VM 用 virtio-net
qemu-system-x86_64 -device virtio-net-pci ... &
iperf3 -c <ip> -t 10

echo "=== Test 3: SR-IOV 直通 ==="
# 启动 VM 用 SR-IOV VF
qemu-system-x86_64 -device vfio-pci,host=01:00.1 ... &
iperf3 -c <ip> -t 10

echo "=== Test 4: 物理直通（VT-d）==="
qemu-system-x86_64 -device vfio-pci,host=01:00.0 ... &
iperf3 -c <ip> -t 10

10. 主流工具与平台

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
智能网卡平台：
  - Mellanox/NVIDIA BlueField（ARM + RDMA + DPDK）
  - Intel Columbiaville（E810）
  - Netronome Agilio CX
  - Marvell OCTEON
  - Xilinx Alveo（FPGA）

RDMA 软件栈：
  - OFED（OpenFabrics Enterprise Distribution）
  - libibverbs（用户态 API）
  - librxe/softroce（软件 RDMA）
  - DPDK + RDMA
  - SPDK + RDMA

测试工具：
  - ib_send_bw / ib_write_bw
  - perftest
  - mlx5cmd（配置）
  - ibstat / ibv_devinfo
  - rdma-tool

11. 故障排查

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# === SR-IOV 启用失败 ===

# 检查 BIOS 设置
dmesg | grep -i "IOMMU\|SR-IOV"

# 验证内核参数
cat /proc/cmdline | grep -o "intel_iommu=on\|amd_iommu=on"

# 验证 PF 支持
lspci -vvs <PF_pci_addr> | grep -i "SR-IOV"

# 检查 max_vfs
cat /sys/bus/pci/devices/<PF>/sriov_totalvfs

# === VF 无法启动 ===

# 检查是否在 IOV slot 中
lspci -k -s <VF_pci_addr>

# 验证驱动绑定
cat /sys/bus/pci/devices/<VF>/driver_override

# === RDMA 性能差 ===

# 检查 PFC/ECN 配置（RoCE）
cma_roce_mode -d mlx5_0 -p 1    # 启用 RoCE v2

# 检查 PFC 优先级
mlnx_qos -i eth0

# 验证无损网络
ib_send_bw 192.168.1.101 --report_gbits
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Linux开发、
公众号开发、开源爱好者、Linux

联系QQ:562054870