NCCL常用参数

二、 网络硬件开关与协议选择类

这类参数决定了 NCCL 走哪条物理网络通道，是防止网络性能“断崖式退化”的生命线。

• NCCL_IB_DISABLE
• 可选值：0（不禁用，走高性能 InfiniBand/RoCE）、1（强行禁用，退化到普通 TCP）
• 核心作用：决定是否彻底关闭 InfiniBand / RDMA 核心驱动。
• NCCL_P2P_DISABLE
• 可选值：0（允许 P2P 直通）、1（禁用 P2P）
• 核心作用：决定是否禁用机内（Peer-to-Peer）直通通信（如通过 NVLink 或 PCIe Switch 直连）。如果机内走 NVLink 报错挂起，将其设为 1 可以强制其绕道系统内存，用来做故障隔离定位。
• NCCL_IB_CUDA_SUPPORT
• 可选值：0（关闭）、1（开启，默认值）
• 核心作用：是否允许 InfiniBand 网卡直接从 GPU 显存（CUDA 内存）中通过 DMA 存取数据。AI 训练中必须保持为 1。
• NCCL_NET_SHARED_BUFFERS
• 可选值：0（不共享）、1（共享，默认值）
• 核心作用：是否允许不同的 NCCL 通信环（Rings）之间共享网络层缓冲区。在大规模千卡集群中开启（1）可以大幅降低网卡的内存开销。

---

三、 极限带宽压榨与缓冲区优化类（调优重地）

大模型高并发包同步时的吞吐上限，全靠这几个参数强行拓宽。

• NCCL_BUFFSIZE
• 可选值：字节数（默认 4194304 即 4MB，调优常设 8388608 或 16777216）
• 核心作用：在每张 GPU 显存（HBM）中开辟的 NCCL 集合通信环形缓冲区（Ring Buffer）大小。面对千亿大模型的大包同步，将其拉大到 8MB/16MB 可以加粗水管，阻断高频的发送等待。
• NCCL_NET_GDR_LEVEL
• 可选值：0（无GDR）、1（系统内存）、2（同CPU物理座）、3（同PCIe Switch直连）、4（同网卡直连）、5（最高级直通 SYSVAL）
• 核心作用：强制锁定 GPUDirect RDMA（GDR）的物理硬件寻址深度。设为 5 时，数据直接在网卡和 GPU 显存间通过硬件直击传输，完全不惊动主板 CPU 和系统内存。
• NCCL_CROSS_NIC
• 可选值：0（单网卡串行）、1（多网卡并发条带化）
• 核心作用：当单台服务器配备多张高速 RDMA 网卡（如 8 卡配 8 网卡）时，设为 1 会使 NCCL 自动将单次大包切片，同时打入所有可用的物理网卡，实现带宽完美叠加。

---

四、 RoCEv2（以太网 RDMA）专用调优类

如果你们的智算中心网络用的是以太网 RoCEv2 架构，而不是昂贵的纯 InfiniBand 架构，以下参数是保障网络不丢包、能跨路由的“定海神针”。

• NCCL_IB_GID_INDEX
• 可选值：整数（通常 RoCEv2 环境配置为 3）
• 核心作用：强制网卡驱动选择特定的全局唯一标识符（GID）索引。通常 GID 0 是 RoCEv1（不支持跨路由三层传输），而 GID 3 才是真正的 RoCEv2。不配此参数极易导致多机跨网段训练时由于路由丢失而静默死锁。
• NCCL_IB_TC (Traffic Class)
• 可选值：整数（通常配置为 106 或 160）
• 核心作用：对应网络三层的 DSCP 流量染色标签。设为 106 会命令网卡发出包时打上 VIP 标签，让交换机将其塞入专有的无损特权队列（Queue 3），在网络拥塞时优先保障 GPU 梯度数据不被清洗和丢弃。
• NCCL_IB_SL (Service Level)
• 可选值：0 ~ 15（通常配置为 3）
• 核心作用：对应网络二层 VLAN 中的 PCP 优先级。与 NCCL_IB_TC 配合完成端到端的 QoS 标签对齐。

---

五、 硬件接口与设备行为约束类

当一台机器上有非常复杂的网卡和 GPU 拓扑时，用这类参数精细化“点名”设备。

• NCCL_IB_HCA
• 可选值：网卡设备名字符串（如 mlx5_0,mlx5_1 或支持前缀匹配 ^mlx5_bond）
• 核心作用：精准限定 NCCL 只准使用哪些 RDMA 网卡。能强行隔离掉被分配给业务、监控或 K8s 控制面的普通网卡，防止流量混淆。
• CUDA_VISIBLE_DEVICES
• (注：这属于 CUDA 变量，但与 NCCL 高度联动)
• 核心作用：控制当前进程可见的 GPU 物理 ID。NCCL 在初始化拓扑图时，会严格基于此变量映射本地的 Local Rank。
• NCCL_SOCKET_IFNAME
• 可选值：网卡接口名（如 eth0, bond0）
• 核心作用：当多机训练在建立物理连接前，进程之间需要通过普通的 TCP/IP 跑一次控制流和握手暗号。此参数规定了 NCCL 握手时走哪张普通网卡。

---

六、 通信拓扑与图计算控制类（高级调优）

控制 NCCL 内部寻找最优传输路径的算法逻辑。

• NCCL_ALGO

• 可选值：Tree（树状拓扑）、Ring（环状拓扑）

• 核心作用：强行指定多卡集合通信的拓扑算法。

• Ring：适合卡数极多的大规模分布式同步，带宽跑得满，但延迟随卡数线性增加。

• Tree：在多机小规模或跨交换机跳数较多时，延迟更低、收敛更快。如果不配，NCCL 会在运行时根据数据包大小动态切算。

• NCCL_PROTO

• 可选值：LL (Low Latency), LL128, Simple

• 核心作用：指定底层的通信协议。LL 延迟最低但极端压榨带宽（会有数据冗余校验），Simple 适合吞吐极大的大包传输。

• NCCL_GRAPH_DUMP_FILE

• 可选值：文件路径

• 核心作用：开启后，NCCL 会将其在运行时根据拓扑计算出的最优通信路径图（XML 格式）导出来。InfiniBand 专家常用它来微调复杂的算力网络集群拓扑图。

---

💡 SRE 工业级“满血版”注入配置模版：

在真实的生产环境或 K8s 启动脚本中，你可以直接把下面这段调优矩阵复制到脚本最顶部，直接一键点亮极限通信：

# ==============================================================================
#  AI Infra 满血版 NCCL 极限调优环境变量矩阵
# ==============================================================================
export NCCL_DEBUG=INFO
export NCCL_DEBUG_SUBSYS=INIT,ENV,NET   # 监控与排障的“黄金眼睛”
export NCCL_IB_DISABLE=0                # 绝不退化 TCP，死守 RDMA 极速通道
export NCCL_BUFFSIZE=16777216           # 通信水管直接拓宽至 16MB 环形缓冲区
export NCCL_NET_GDR_LEVEL=5             # 强制彻底点亮 GPUDirect RDMA（零CPU参与）
export NCCL_CROSS_NIC=1                 # 8卡8网卡流量均摊，严防单网卡打爆
export NCCL_IB_GID_INDEX=3              # RoCEv2 网络强制路由定向
export NCCL_IB_TC=106                   # 强行给梯度包打上 DSCP 26 标签，走无损特权车道
export NCCL_SOCKET_IFNAME=eth0          # 仅限握手走业务网卡