NCCL/gIB 版本说明 (x86 64 位)

本页提供了 x86 64 位系统上 NCCL/gIB 各版本的版本说明。每个版本部分都介绍了所含的二进制文件、支持的机器系列以及新功能和增强功能。

NCCL/gIB v1.1.2

发布日期:2026 年 5 月 14 日

预构建的二进制文件

以下部分列出了预构建的版本和诊断二进制文件。

版本

为生产工作负载安装这些二进制文件。如需查看安装说明,请参阅在 Compute Engine 实例上运行 NCCL

Docker 安装程序
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib:v1.1.2
SHA256 b71627dcf88862cd0e64434dfd0224441960db58f2022f94b5f56123659c207e
基本 Alpine 3.21.0
内置 Ubuntu 22.04 + CUDA 13.0
.deb 软件包
代码库 https://packages.cloud.google.com/apt gpudirect-gib-apt
软件包 nccl-gib (1.1.2)、nccl-gib-plugins (1.1.2)
基本 Ubuntu 22.04
内置 Ubuntu 22.04 + CUDA 13.0
.rpm 软件包
代码库 https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
软件包 nccl-gib (1.1.2-1)、nccl-gib-plugins (1.1.2-1)
基本 Rocky Linux 9
内置 Ubuntu 22.04 + CUDA 13.0

诊断

安装这些二进制文件以测试或排查网络性能问题。

Docker 容器
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.1.2
SHA256 61c917022538e59d24f597038a8ad7087a026d60715256ae39e7f06ef20ebde0
基本 Ubuntu 22.04 + CUDA 13.0

版本兼容性

机器系列 捆绑的 NCCL 版本 支持的 NCCL 版本 最低 GPU 驱动程序版本 最低 CUDA 运行时版本
A3 Ultra 2.30.4 >= 2.23 550.90.07 12.6
A4 2.30.4 >= 2.25 580.126.09 12.8

组件细分

组件 版本
rdma-core(未包含在 .deb 和 .rpm 软件包中) 2307mlnx47
nccl 2.30.4
nccl-plugin-gib 1.1.2

版本记录

如需查看版本日志,请设置 NCCL_DEBUG=INFONCCL_DEBUG_SUBSYS=INIT 环境变量。

组件 版本日志记录
nccl NCCL 版本 2.30.4+cuda13.0
nccl-plugin-gib NET/gIB:正在初始化 gIB v1.1.2

功能和增强功能

环境插件

  • 引入了 Google Cloud NCCL 环境插件,该插件可根据运行时平台自动应用最佳 NCCL 环境变量。当您使用 NCCL 2.28.7 或更高版本时,环境插件会自动加载。

gIB 网络插件

修复的问题
  • 修复了 gIB 网络插件在处理大型 isend() 请求时存在的 bug
  • 修复了 gIB 网络插件可能与 NCCL 2.27 或更高版本不兼容的问题
  • 修复了 CoMMA 中的稳定性问题

CoMMA(分析器插件):

  • 引入了无响应工作负载检测,这是 Google Cloud 上的一项新功能,可使用心跳遥测来检测停滞的 NCCL 进程。

gIB 调谐器插件

  • 自动在检测到的任何 Google Cloud平台上应用最佳调优配置。

nccl.conf

  • 当 /etc/nccl.conf 文件可写入时,gIB 会写入该文件。因此,当您安装 nccl-gib 或 nccl-gib-plugins 软件包时,无需更改任何环境变量设置,包括 LD_LIBRARY_PATH

新软件包

  • nccl-gib-plugins 是一个仅包含 Google 的 NCCL 插件的新软件包。如需使用此软件包,您必须从 NVIDIA 代码库安装 NCCL,并从 Google 的代码库安装 APT 软件包 nccl-gib-plugins package

  • Docker 安装程序、诊断容器和 nccl-gib package 包含预编译的 NCCL,并且仍可使用。

NCCL/gIB v1.1.0

发布日期:2025 年 7 月 14 日

预构建的二进制文件

以下部分列出了预构建的版本和诊断二进制文件。

版本

为生产工作负载安装这些二进制文件。如需查看安装说明,请参阅在 Compute Engine 实例上运行 NCCL

Docker 安装程序
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib:v1.1.0
SHA256 81c7165f1b41ee096d86f4cfe5a61f5c788546cf6ddc88aba3f0b88a5902af49
基本 Alpine 3.21.0
内置 Ubuntu 20.04 + CUDA 12.8
.deb 软件包
代码库 https://packages.cloud.google.com/apt gpudirect-gib-apt
软件包 nccl-gib (1.1.0)
基本 Ubuntu 20.04
内置 Ubuntu 20.04 + CUDA 12.8
.rpm 软件包
代码库 https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
软件包 nccl-gib (1.1.0-1)
基本 Rocky Linux 9
内置 Ubuntu 20.04 + CUDA 12.8

诊断

安装这些二进制文件以测试或排查网络性能问题。

Docker 容器
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.1.0
SHA256 ee9682122220105b83187bd6eecc8cafbe739dcfb631a54b6059a8f1141038f9
基本 Ubuntu 20.04 + CUDA 12.8

版本兼容性

机器系列 捆绑的 NCCL 版本 支持的 NCCL 版本 最低 GPU 驱动程序版本 最低 CUDA 运行时版本
A3 Ultra 2.27.5 >= 2.23 550.90.07 12.6
A4 2.27.5 >= 2.25 570.124.06 12.8

组件细分

组件 版本
rdma-core(未包含在 .deb 和 .rpm 软件包中) 2307mlnx47
nccl 2.27.5
nccl-plugin-gib 1.1.0

版本记录

如需查看版本日志,请设置 NCCL_DEBUG=INFONCCL_DEBUG_SUBSYS=INIT 环境变量。

组件 版本日志记录
nccl NCCL 版本 2.27.5+cuda12.8
nccl-plugin-gib NET/gIB:正在初始化 gIB v1.1.0

功能和增强功能

总体

  • 常态化 NCCL 遥测的 GA
  • 此版本提供拖延检测所需的所有遥测数据

CoMMA(性能分析器插件)正式版

  • 稳定性改进
  • 添加了跟踪发送方等待接收方的功能
  • 您可以在 CoMMA GitHub 代码库中找到开源版本

如需了解详情,请参阅 CoMMA 概览

NCCL/gIB v1.0.6

发布日期:2025 年 6 月 16 日

预构建的二进制文件

以下部分列出了预构建的版本和诊断二进制文件。

版本

为生产工作负载安装这些二进制文件。如需查看安装说明,请参阅在 Compute Engine 实例上运行 NCCL

Docker 安装程序
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib:v1.0.6
SHA256 b0d5e1f29ca89c33b5b6252ca635a8c3889f553de3a382ba07c9b1f43fcf452f
基本 Alpine 3.21.0
内置 Ubuntu 20.04 + CUDA 12.8
.deb 软件包
代码库 us-apt.pkg.dev/projects/gce-ai-infra/gpudirect-gib-apt
软件包 nccl-gib (1.0.6.1)
基本 Debian 12
内置 Ubuntu 20.04 + CUDA 12.8
.rpm 软件包
代码库 us-yum.pkg.dev/projects/gce-ai-infra/gpudirect-gib-rpm
软件包 nccl-gib (1.0.6-1)
基本 Rocky Linux 9
内置 Ubuntu 20.04 + CUDA 12.8

诊断

安装这些二进制文件以测试或排查网络性能问题。

Docker 容器
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.0.6
SHA256 a9ad0984f28e0c2ab40ea21f2c4e861c4ff9fffe1ba4a73f5efa2ec911ad7ca4
基本 Ubuntu 20.04 + CUDA 12.8

版本兼容性

机器系列 捆绑的 NCCL 版本 支持的 NCCL 版本 最低 GPU 驱动程序版本 最低 CUDA 运行时版本
A3 Ultra 2.26.6 2.23、2.24、2.25、2.26 550.90.07 12.6
A4 2.26.6 2.25、2.26 570.124.06 12.8

组件细分

组件 版本
rdma-core(未包含在 .deb 和 .rpm 软件包中) 2307mlnx47
nccl 2.26.6
nccl-plugin-gib 1.0.6

版本记录

如需查看版本日志,请设置 NCCL_DEBUG=INFONCCL_DEBUG_SUBSYS=INIT 环境变量。

组件 版本日志记录
nccl NCCL 版本 2.26.6+cuda12.8
nccl-plugin-gib NET/gIB:正在初始化 gIB v1.0.6

功能和增强功能

总体

  • NCCL 分析器重大更新
  • A4 性能调优优化
  • 针对 NCCL 2.26 的 NCCL shim 修复

NCCL 分析器

  • 添加了 v3 API 支持(不含 CUDA 内核跟踪)
  • 分析器插件默认在客机环境中加载

性能

  • 将 A4 平台的调优脚本更新为最多支持 64 个节点
  • 针对 all-gather、all-reduce、reduce-scatter 和 broadcast 应用了特定的集体调优

其他

  • NCCL shim:修复了 NCCL 2.26 gIB 加载问题
  • NCCL guest 配置:移除了对节点内 P2P 块大小的强制执行
  • NCCL 访客配置:移除对 NCCL_IB_GID_INDEX 的强制执行
  • NCCL 核心:更新至 2.26.5
  • 移除了 pci-utils 依赖项

NCCL/gIB v1.0.5

发布日期:2025 年 3 月 12 日

预构建的二进制文件

以下部分列出了预构建的版本和诊断二进制文件。

版本

为生产工作负载安装这些二进制文件。如需查看安装说明,请参阅在 Compute Engine 实例上运行 NCCL

Docker 安装程序
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib:v1.0.5
SHA256 19eb592ec6ba4c5fae0257bbff5a29af5a7a94a0a59f7b0afc1ace488b69dc39
基本 Alpine 3.21.0
内置 Ubuntu 22.04 + CUDA 12.8
.deb 软件包
代码库 us-apt.pkg.dev/projects/gce-ai-infra/gpudirect-gib-apt
软件包 nccl-gib (1.0.5)
基本 Debian 12
内置 Ubuntu 22.04 + CUDA 12.8
.rpm 软件包
代码库 us-yum.pkg.dev/projects/gce-ai-infra/gpudirect-gib-rpm
软件包 nccl-gib (1.0.5-2)
基本 Rocky Linux 9
内置 Ubuntu 20.04 + CUDA 12.8

诊断

安装这些二进制文件以测试或排查网络性能问题。

Docker 容器
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.0.5
SHA256 e8edbfe3cf6695d578dd38d7dda6ecdc8a357a1ed56f7f8593fc38cacd9fa05a
基本 Ubuntu 22.04 + CUDA 12.8

版本兼容性

机器系列 捆绑的 NCCL 版本 支持的 NCCL 版本 最低 GPU 驱动程序版本 最低 CUDA 运行时版本
A3 Ultra 2.25 2.23、2.24、2.25 550.90.07 12.6
A4 2.25 2.25 570.124.06 12.8

组件细分

组件 版本
rdma-core(未包含在 .deb 和 .rpm 软件包中) 2307mlnx47
nccl 2.25.1
nccl-plugin-gib 1.0.5

版本记录

如需查看版本日志,请设置 NCCL_DEBUG=INFONCCL_DEBUG_SUBSYS=INIT 环境变量。

组件 版本日志记录
nccl NCCL 版本 2.25.1+cuda12.8
nccl-plugin-gib NET/gIB:正在初始化 gIB v1.0.5

功能和增强功能

总体

  • 新功能:添加了 NCCL/gIB .deb 和 .rpm 软件包

Profiler 插件

  • 实验性变更:添加了 Google 的 CoMMA 分析器插件实现

性能

  • 提升了 A4 虚拟机上的 all_reduce 和 all_to_all 性能
  • 提升了 A3 Ultra 虚拟机上的大规模集体和 all_to_all 性能

其他

  • 根据检测到的机器形状自动执行 NCCL 配置
  • 建议强制使用 gIB 网络插件

已知问题

  • 使用 NCCL 2.26 或更高版本时,设置 NCCL_NET=gIB 可能会导致 NCCL 崩溃。此问题已在 NCCL/gIB v1.0.6 中得到解决。

NCCL/gIB v1.0.4

发布日期:2025 年 2 月 24 日

预构建的二进制文件

以下部分列出了预构建的版本和诊断二进制文件。

版本

为生产工作负载安装这些二进制文件。如需查看安装说明,请参阅在 Compute Engine 实例上运行 NCCL

Docker 安装程序
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib:v1.0.4
SHA256 400bfb76ad4f3c153028a4e744ed3c4e924d2dae46e09b0efb2056804b8ed7cf
基本 Alpine 3.21.0
内置 Ubuntu 22.04 + CUDA 12.8

诊断

安装这些二进制文件以测试或排查网络性能问题。

Docker 容器
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.0.4
SHA256 fd7b1999e175306d4ac62b1cb8039b1b3386dbb8a529fae03256714f3284e460
基本 Ubuntu 22.04 + CUDA 12.8

版本兼容性

机器系列 捆绑的 NCCL 版本 支持的 NCCL 版本 最低 GPU 驱动程序版本 最低 CUDA 运行时版本
A3 Ultra 2.25 2.23、2.24、2.25 550.90.07 12.6

组件细分

组件 版本
rdma-core(未包含在 .deb 和 .rpm 软件包中) 2307mlnx47
nccl 2.25.1
nccl-plugin-gib 1.0.4

版本记录

如需查看版本日志,请设置 NCCL_DEBUG=INFONCCL_DEBUG_SUBSYS=INIT 环境变量。

组件 版本日志记录
nccl NCCL 版本 2.25.1+cuda12.8
nccl-plugin-gib NET/gIB:正在初始化 gIB v1.0.4

功能和增强功能

总体

  • 重新基于 NCCL 核心 2.25,以支持 A4 和 A4X 虚拟机
  • 添加了 arm64 build

GPUViz

  • 将 GPUViz 添加到发布 build

其他

  • 允许 NCCL 在引导期间自动检测要使用的套接字接口

修复的问题

  • 对 GPUViz 进行了小幅 bug 修复

已知问题

  • 使用 NCCL 2.26 或更高版本时,设置 NCCL_NET=gIB 可能会导致 NCCL 崩溃。此问题已在 NCCL/gIB v1.0.6 中得到解决。

NCCL/gIB v1.0.3

发布日期:2024 年 12 月 18 日

预构建的二进制文件

以下部分列出了预构建的版本和诊断二进制文件。

版本

为生产工作负载安装这些二进制文件。如需查看安装说明,请参阅在 Compute Engine 实例上运行 NCCL

Docker 安装程序
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib:v1.0.3
SHA256 04e288a184d5eac1eae7feedb275ddb1e8d7df9c1c0c5f794824151a47eafe90
基本 Alpine 3.21.0
内置 Ubuntu 22.04 + CUDA 12.2

诊断

安装这些二进制文件以测试或排查网络性能问题。

Docker 容器
图片 us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.0.3
SHA256 29f7a13a7a55fd09bfb266275fabec60835e0bde9d5deecffd676005e514a6f5
基本 Ubuntu 22.04 + CUDA 12.2

版本兼容性

机器系列 捆绑的 NCCL 版本 支持的 NCCL 版本 最低 GPU 驱动程序版本 最低 CUDA 运行时版本
A3 Ultra 2.23 2.23、2.24、2.25 550.90.07 12.6

组件细分

组件 版本
rdma-core(未包含在 .deb 和 .rpm 软件包中) 2307mlnx47
nccl 2.23.4
nccl-plugin-gib 1.0.3

版本记录

如需查看版本日志,请设置 NCCL_DEBUG=INFONCCL_DEBUG_SUBSYS=INIT 环境变量。

组件 版本日志记录
nccl NCCL 版本 2.23.4+cuda12.2
nccl-plugin-gib NET/gIB:正在初始化 gIB v1.0.3

功能和增强功能

gIB 网络插件

  • 为 gIB 网络插件环境变量添加了日志记录
  • 默认启用 guest 辅助多路径
  • 默认情况下,使用更多 QP 来实现更复杂的 P2P 模式

gIB 访客配置检查工具

  • 当访客配置检查器找不到配置文件时发出警告
  • 更新了 guest 配置,以匹配 gIB v1.0.3 的推荐环境变量

gIB 调谐器插件

  • 添加了对并行聚合树 (PAT) 算法的支持
  • 针对 gIB v1.0.3 在 9 个或更多节点上更新了世界级全归约的调谐器配置
  • 为轨道对齐的集合添加了调谐器配置。

GPUViz

  • 将 GPUViz 添加到了诊断 build 中。

其他

  • 重要提示(向后不兼容的更改):NCCL/gIB 容器现在拆分为两个容器映像,即发布映像和诊断映像
    • 版本
      • 未压缩时约为 230 MB,压缩后约为 100 MB
      • 仅包含最小安装程序所需的必要文件
      • 非向后兼容的更改:此映像中已移除 shell 和守护程序子命令
    • 诊断
      • 不压缩时约为 10 GB,压缩时约为 5 GB
      • 专为调试而设计,包含许多调试实用程序和基准,例如 NCCL 测试和 perftest
  • 更新了脚本,以针对 gIB v1.0.3 设置推荐的 NCCL 环境变量
  • 诊断:诊断 build 中的已安装 ping
  • 诊断:向诊断 build 添加了 neper
  • 诊断:添加了用于转储 RDMA 相关系统状态的脚本

修复的问题

  • 修复了 NCCL 核心符号链接未以最佳方式复制的问题。

已知问题

  • 使用 NCCL 2.26 或更高版本时,设置 NCCL_NET=gIB 可能会导致 NCCL 崩溃。此问题已在 NCCL/gIB v1.0.6 中得到解决。