第15周：内核网络性能调优

字数统计: 2.9k字   |   阅读时长≈ 14分

第15周：内核网络性能调优

目标：深入理解网卡多队列、RSS/RPS/RFS，掌握 /proc/sys/net/ 参数调优方法。

1. 网卡多队列与 RSS

1.1 传统网卡 vs 多队列网卡

1
2
3
4
5
6
7
8
9
10
11
12
传统单队列网卡：
  所有包 → 一个 RX Queue → 一个 CPU 中断 → 一个软中断处理线程
  瓶颈：多核 CPU 只能用一个核心处理网络

多队列网卡（Multi-Queue）：
  多个 RX Queue（通常每个 CPU 一个）
  多个中断向量（MSI-X）
  每个队列独立分配中断到不同 CPU 核心

  10G NIC: 8-16 个队列
  25G NIC: 16-32 个队列
  100G NIC: 32-64+ 个队列

1.2 RSS（Receive Side Scaling）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
RSS：网卡硬件层面将包分发到不同 RX Queue

分发策略：
  哈希公式 = Toeplitz_hash(src_IP, dst_IP, src_port, dst_port)

结果 → 选择 RX Queue → 对应 CPU 中断

效果：同一个 TCP 连接的包始终到同一个 Queue/CPU
       → 缓存亲和（cache affinity）→ 提高处理效率

查看 RSS 配置：
ethtool -n eth0        # 显示 RSS 哈希
ethtool -l eth0        # 显示队列数（combined/ RX/TX）
ethtool -S eth0        # 显示每队列统计
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# === ethtool 命令 ===

# 查看网卡信息
ethtool eth0

# 查看队列信息
ethtool -l eth0
# Channel parameters for eth0:
# Pre-set maximums:
# RX: 16
# TX: 16
# Combined: 16

# 查看 RSS 哈希
ethtool -n eth0
# RX flow hash indirection table for eth0:
#   0  1  2  3  4  5  6  7  8  9  10 11 12 13 14 15
#   0  1  2  3  4  5  6  7  8  9  10 11 12 13 14 15

# 设置 RSS 哈希
sudo ethtool -N eth0 rx-flow-hash tcp4 sdfn  # src+dst+port
sudo ethtool -N eth0 rx-flow-hash udp4 sdfn

# 设置队列数
sudo ethtool -L eth0 combined 8

# 启用 GRO（Generic Receive Offload）
sudo ethtool -K eth0 gro on
sudo ethtool -K eth0 gro off

# 启用 GSO（Generic Segmentation Offload）
sudo ethtool -K eth0 gso on

# 启用 TSO（TCP Segmentation Offload）
sudo ethtool -K eth0 tso on

1.3 RPS（Receive Packet Steering）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
RPS：软件层面模拟 RSS（适用于不支持硬件 RSS 的网卡）

软件将包分发给不同 CPU 的 backlog 队列
  → 不需要网卡支持
  → 增加 CPU 缓存亲和性

RPS 流程：
  1. 网卡收到包（单 Queue）
  2. 软中断在 CPU 0 上处理
  3. enqueue_to_backloop() 计算哈希
  4. 通过 IPI（处理器间中断）发送到目标 CPU 的 softnet_data
  5. 目标 CPU 在自己的 backlog 中处理

启用方式：
  /sys/class/net/eth0/queues/rx-0/rps_cpus
1
2
3
4
5
6
7
8
9
# 启用 RPS
echo "0f" | sudo tee /sys/class/net/eth0/queues/rx-0/rps_cpus
# "0f" = CPU 0-3 的位掩码（二进制 1111）

# 查看
cat /sys/class/net/eth0/queues/rx-0/rps_cpus

# 查看 RSS CPU 关联
cat /sys/class/net/eth0/queues/rx-0/rps_flow_cnt

1.4 RFS（Receive Flow Steering）

1
2
3
4
5
6
7
8
9
10
11
12
RPS 的升级版：
  - RPS：按哈希分发
  - RFS：按应用 CPU 亲和性分发（应用在哪，包就发到哪）

  应用在 CPU 3 上运行
    → socket 关联 CPU 3
      → 包哈希到 CPU 3
        → CPU 3 处理

配置：
  /sys/class/net/eth0/queues/rx-0/rps_flow_cnt  # 最大流数
  /sys/class/net/eth0/queues/rx-0/rps_cpus      # 目标 CPU

1.5 aRFS（aRFS = RSS + RFS 结合）

1
2
3
4
自动 RFS：
  - ethtool + kernel 自动匹配 RSS 和 RPS
  - 通过 ethtool set-rxfh-indir 配置
  - 最佳实践：RSS 哈希 + RSS 到 CPU 的映射

2. Offload 特性

2.1 常见 Offload

Offload 全称 作用 效果
GRO Generic Receive Offload 合并小包为一个大的 sk_buff 减少协议栈处理次数
LRO Large Receive Offload 合并 TCP 包为大段 TCP 专用，与 GRO 类似
GSO Generic Segmentation Offload 发送端将大包拆分 减少发送 syscall
TSO TCP Segmentation Offload TCP 层将大 skb 交给网卡拆分 CPU 卸载，网卡处理分片
UFO UDP Fragmentation Offload UDP 分片由网卡完成 同 TSO，但用于 UDP
LSO Large Send Offload 通用大包发送 通用版 TSO/UFO
Checksum TCP/UDP/IP checksum 网卡计算校验和 CPU 卸载
Scatter-Gather DMA 分散/聚集 网卡从多个不连续内存区读数据 减少内存复制

2.2 Offload 状态查询

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 查看所有 offload 状态
ethtool -k eth0

# 关键输出：
# rx-checksumming: on
# tx-checksumming: on
# scatter-gather: on
# tcp-segmentation-offload: on
# udp-fragmentation-offload: off
# generic-segmentation-offload: on
# generic-receive-offload: on
# large-receive-offload: off
# rx-vlan-offload: on
# tx-vlan-offload: on
# ntuple-filters: on
# rx-hashing: on

# 启用/禁用
sudo ethtool -K eth0 tso on
sudo ethtool -K eth0 gro on
sudo ethtool -K eth0 tx on rx on

3. /proc/sys/net/ 核心参数

3.1 通用网络参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
# === core ===

# 最大连接队列长度（backlog）
cat /proc/sys/net/core/somaxconn          # 默认 128
# 高并发服务建议：65535

# 最大数据包内存
cat /proc/sys/net/core/rmem_default       # 接收缓冲区默认
cat /proc/sys/net/core/rmem_max           # 接收缓冲区最大
cat /proc/sys/net/core/wmem_default       # 发送缓冲区默认
cat /proc/sys/net/core/wmem_max           # 发送缓冲区最大

# 建议值（G 级别带宽）
# somaxconn = 65535
# rmem_default = 262144
# rmem_max = 16777216
# wmem_default = 262144
# wmem_max = 16777216

# === dev ===

cat /proc/sys/net/dev/mcast        # 多播
cat /proc/sys/net/dev/weight       # 权重

# === === ipv4 核心 === ===

# 转发
cat /proc/sys/net/ipv4/ip_forward           # 0=关 1=开
# 开启 IP 转发 = 路由器模式

# 接收/发送缓冲
cat /proc/sys/net/ipv4/tcp_rmem            # 格式: min default max (字节)
# 默认: 4096 87380 6291456
cat /proc/sys/net/ipv4/tcp_wmem            # 同格式
# 默认: 4096 16384 4194304

# 自动调优（当 mem >= default 时，自动扩展到 max）
cat /proc/sys/net/ipv4/tcp_adv_win_scale   # 应用窗口比例
cat /proc/sys/net/ipv4/tcp_app_win         # 应用窗口（块）

# === 连接管理 ===

# 连接追踪
cat /proc/sys/net/ipv4/tcp_syncookies      # 0=关 1=开（防 SYN flood）
cat /proc/sys/net/ipv4/tcp_synack_retries  # SYN+ACK 重试次数（默认 5）
cat /proc/sys/net/ipv4/tcp_syn_retries     # SYN 重试次数（默认 6）
cat /proc/sys/net/ipv4/tcp_max_syn_backlog # SYN 队列大小（默认 2048）

# FIN 超时
cat /proc/sys/net/ipv4/tcp_fin_timeout     # 默认 30s
# 高并发场景可调低：15

# TIME_WAIT
cat /proc/sys/net/ipv4/tcp_tw_reuse       # 0=关 1=开（复用）
cat /proc/sys/net/ipv4/tcp_tw_recycle     # 0=关 1=开（快速回收）
cat /proc/sys/net/ipv4/tcp_max_tw_buckets # TIME_WAIT 上限（默认 262144）

# 端口范围
cat /proc/sys/net/ipv4/ip_local_port_range
# 默认: 32768 60999

# === 滑动窗口 ===

cat /proc/sys/net/ipv4/tcp_window_scaling  # 1=开
cat /proc/sys/net/ipv4/tcp_timestamps     # 1=开（时间戳）

# === 流量控制 ===

cat /proc/sys/net/ipv4/tcp_ecn            # 0=关 ECN
cat /proc/sys/net/ipv4/tcp_ecn_fallback   # ECN 回退策略

# === keepalive ===

cat /proc/sys/net/ipv4/tcp_keepalive_time   # 默认 7200s
cat /proc/sys/net/ipv4/tcp_keepalive_intvl  # 默认 75s
cat /proc/sys/net/ipv4/tcp_keepalive_probes # 默认 9

3.2 生产环境推荐配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
# /etc/sysctl.d/99-net-tuning.conf

# === 核心连接参数 ===
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syncookies = 1

# === 内存缓冲 ===
net.core.rmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_default = 262144
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 16384 16777216

# === TIME_WAIT 调优 ===
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 10000

# === 端口范围 ===
net.ipv4.ip_local_port_range = 1024 65535

# === TCP 特性 ===
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_sack = 1
net.ipv4.tcp_mtu_probing = 1    # PMTU 发现

# === 拥塞控制 ===
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

# === 其他 ===
net.ipv4.tcp_abort_on_overflow = 0
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_retries2 = 8

# 应用
sudo sysctl -p /etc/sysctl.d/99-net-tuning.conf

4. 丢包定位

4.1 dropwatch 工具

1
2
3
4
5
6
7
8
9
10
11
12
13
# 安装
sudo apt install dropwatch

# 实时监控丢包
sudo dropwatch -l kas  # 使用内核地址符号
sudo dropwatch -l src  # 使用源码地址

# 输出示例：
# Dropped:
#    108 skb_release_data
#     56 __kfree_skb
#     42 dev_hard_start_xmit
#     23 tcp_v4_send_check

4.2 丢包原因排查

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# === 各层丢包统计 ===

# 网卡层
cat /proc/net/dev
# 看 RX/TX 的 drop 和 errors 字段
#   RX: packets errs drop fifo frame compressed
#   TX: packets errs drop fifo colls carrier compressed

# 队列溢出（软中断）
cat /proc/net/softnet_stat
# 第一列：正常处理
# 第二列：dropped（netif_receive_skb 失败）
# 第三列：time_squeeze（backlog 队列满）

# conntrack 丢包
sudo sysctl net.netfilter.nf_conntrack_count
sudo sysctl net.netfilter.nf_conntrack_max
# count >= max → 新连接被丢弃

# 路由缓存（FIB）
cat /proc/net/route

# socket 缓冲区
ss -tm          # TCP 发送缓冲区
ss -rm          # TCP 接收缓冲区

# 内核日志
dmesg | grep -i "drop\|overflow\|skb\|oom"

# netstat 统计
netstat -s | grep -i drop

4.3 丢包位置判断

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
判断在哪一层丢包：

1. 网卡层
   cat /proc/net/dev → 看 RX/TX drop
   ethtool -S eth0   → 看网卡驱动统计
   → 可能原因：ring buffer 太小、CPU 瓶颈

2. 协议栈层
   cat /proc/net/softnet_stat → 第二列（dropped）
   → 可能原因：软中断处理不过来

3. conntrack 层
   sysctl net.netfilter.nf_conntrack_count
   → 可能原因：连接跟踪表满

4. socket 层
   ss -tm → 看 skmem:(rbXXXXX,tbXXXXX)
   recv-Q 满 → 应用读太慢
   send-Q 满 → 应用写太快/对端读太慢

5. 应用层
   应用日志 / strace

5. 实践：优化第一阶段负载均衡器

5.1 系统参数优化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
#!/bin/bash
# tune_lb.sh — 负载均衡器调优脚本

echo "=== 优化网络参数 ==="

# 连接队列
sysctl -w net.core.somaxconn=65535
sysctl -w net.ipv4.tcp_max_syn_backlog=65535

# 内存缓冲
sysctl -w net.core.rmem_default=262144
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_default=262144
sysctl -w net.core.wmem_max=16777216
sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 16384 16777216"

# TIME_WAIT
sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.ipv4.tcp_fin_timeout=15

# 端口范围
sysctl -w net.ipv4.ip_local_port_range="1024 65535"

# TCP 特性
sysctl -w net.ipv4.tcp_window_scaling=1
sysctl -w net.ipv4.tcp_timestamps=1
sysctl -w net.ipv4.tcp_sack=1

# 拥塞控制
sysctl -w net.ipv4.tcp_congestion_control=bbr

# 其他
sysctl -w net.ipv4.tcp_syncookies=1
sysctl -w net.ipv4.tcp_abort_on_overflow=0

echo "=== 网卡调优 ==="

# 获取主网卡
IFACE=$(ip route get 8.8.8.8 | awk '{print $5; exit}')

echo "Interface: $IFACE"

# 启用硬件 offload
ethtool -K $IFACE tso on gso on gro on tx on rx on

# 查看队列数
ethtool -l $IFACE

echo "=== 优化完成 ==="

# 验证
echo ""
echo "=== 关键参数 ==="
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_congestion_control
sysctl net.ipv4.tcp_tw_reuse
cat /proc/sys/net/ipv4/tcp_rmem
cat /proc/sys/net/ipv4/tcp_wmem

5.2 网卡 Ring Buffer 调优

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 查看当前 Ring Buffer 大小
ethtool -g eth0
# Ring parameters for eth0:
# Pre-set maximums:
# RX:     4096
# TX:     4096
# Current hardware settings:
# RX:     256
# TX:     256

# 增大 Ring Buffer（高丢包时调）
sudo ethtool -G eth0 rx 4096 tx 4096

# 再次查看
ethtool -g eth0
# Current hardware settings:
# RX:     4096
# TX:     4096

# 监控丢包
watch -n 1 "ethtool -S eth0 | grep -E 'drop|miss'"

6. 软中断与 CPU 亲和性

6.1 软中断分布

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 查看每个 CPU 的软中断计数
cat /proc/softirqs

# 实时监控
watch -n 1 "cat /proc/softirqs | awk '{print \$1, \$2}'"

# 查看软中断统计
cat /proc/net/softnet_stat
# CPU1: 处理次数 dropped time_squeeze
# CPU2: 处理次数 dropped time_squeeze

# dropped 增长 → backlog 队列满
# time_squeeze 增长 → 处理超时

# 查看中断绑定
cat /proc/interrupts | grep eth
#  45:  1234567  0  PCI-MSI  eth0-rx-0
#  46:  1234567  0  PCI-MSI  eth0-rx-1

6.2 中断亲和性

1
2
3
4
5
6
7
8
9
10
11
# 查看 IRQ 亲和性
cat /proc/irq/45/smp_affinity
# 默认可能只绑定到一个 CPU

# 设置亲和性（分散到多个 CPU）
echo "ff" | sudo tee /proc/irq/45/smp_affinity  # CPU 0-7

# 查看 RSS 队列 → CPU 映射
for i in /sys/class/net/eth0/queues/rx-*/rps_cpus; do
    echo "$i: $(cat $i)"
done

7. 性能监控脚本

7.1 综合监控

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
#!/bin/bash
# net_monitor.sh

IFACE=${1:-eth0}
INTERVAL=${2:-2}

echo "=== Network Performance Monitor ==="
echo "Interface: $IFACE, Interval: ${INTERVAL}s"
echo ""

while true; do
    TIMESTAMP=$(date '+%Y-%m-%d %H:%M:%S')

    # 接口统计
    RX_BYTES=$(cat /sys/class/net/$IFACE/statistics/rx_bytes)
    TX_BYTES=$(cat /sys/class/net/$IFACE/statistics/tx_bytes)
    RX_PKTS=$(cat /sys/class/net/$IFACE/statistics/rx_packets)
    TX_PKTS=$(cat /sys/class/net/$IFACE/statistics/tx_packets)
    RX_DROP=$(cat /sys/class/net/$IFACE/statistics/rx_dropped)
    TX_DROP=$(cat /sys/class/net/$IFACE/statistics/tx_dropped)

    # TCP 统计
    TCP_CONN=$(ss -tn state established | wc -l)
    TCP_TW=$(ss -tn state time-wait | wc -l)
    TCP_CW=$(ss -tn state close-wait | wc -l)

    # 内存
    MEM=$(free -h | awk '/^Mem:/{print $7}')

    # CPU
    CPU=$(top -bn1 | grep "Cpu(s)" | awk '{print $2+$4}')

    echo "[$TIMESTAMP]"
    echo "  RX: ${RX_PKTS} pkts, ${RX_BYTES} bytes, drop: ${RX_DROP}"
    echo "  TX: ${TX_PKTS} pkts, ${TX_BYTES} bytes, drop: ${TX_DROP}"
    echo "  TCP: ${TCP_CONN} ESTAB, ${TCP_TW} TIME_WAIT, ${TCP_CW} CLOSE_WAIT"
    echo "  CPU: ${CPU}% used"
    echo "  Mem available: ${MEM}"
    echo ""

    sleep $INTERVAL
done

8. 性能瓶颈诊断流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
高延迟问题：
  1. ping → 基础延迟
  2. ss -ti → 看 rtt, rto
  3. ethtool -S → 网卡 drop/miss
  4. perf → CPU 热点
  5. 检查: 网卡中断、软中断、锁竞争、内存带宽

低吞吐问题：
  1. iperf3 → 基线吞吐
  2. sar -n DEV → 网卡利用率
  3. ss -tm/rm → 缓冲区状态
  4. ethtool -S → 网卡队列
  5. 检查: CPU 瓶颈、网卡 Ring Buffer、GSO/TSO 配置

高丢包问题：
  1. cat /proc/net/softnet_stat → 第二列
  2. cat /proc/net/dev → drop 字段
  3. ethtool -S → 网卡层
  4. conntrack -C → conntrack 满
  5. ss -tm → socket 缓冲区满
  6. 检查: 软中断过载、Ring Buffer、应用处理慢
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Linux开发、
公众号开发、开源爱好者、Linux

联系QQ:562054870