安裝 gIB NCCL 外掛程式

本頁說明如何使用 Debian 軟體套件 (.deb) 或 Red Hat 套件管理員 (.rpm) 安裝 NCCL/gIB。安裝後，您就能在 A4X Max、A4X、A4 和 A3 Ultra 執行個體上執行 NCCL 工作負載。

(適用於 A4X Max) 更新使用者空間程式庫

在 A4X Max 上，您必須先安裝最新的使用者空間程式庫，才能執行 NCCL 工作負載。

Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 封裝)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

安裝 NCCL/gIB

視工作負載的執行位置而定，您可以在運算執行個體或容器映像檔中安裝 NCCL/gIB。

nccl-gib 套件會與未修改的 NVidia NCCL 程式庫 (libnccl2.so) 和標頭一併提供。所有 NCCL/gIB 內容都會安裝到 /usr/local/gib 目錄，外掛程式庫也會安裝到系統資料夾 (位於 /usr/lib 下方)。部分依附元件也會透過發行版本的存放區擷取。

Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 封裝)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9 以上版本 (.rpm 套件)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

安裝 NCCL 外掛程式

如要只安裝 gIB NCCL 外掛程式 (不含隨附的 NCCL 程式庫)，請安裝 nccl-gib-plugins 套件。如果您使用 gIB 隨附的 NCCL 版本，則不必另外安裝套件。不過，如果您提供自己的自訂 NCCL 版本，則必須使用這個選項安裝外掛程式。

Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 封裝)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9 以上版本 (.rpm 套件)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

如果您使用標準 OS 映像檔，也必須安裝最新的 NVIDIA DOCA-OFED 驅動程式。 如果您使用 Google 的加速器最佳化映像檔 (例如 Container OS 或加速器最佳化 Ubuntu 或 Rocky Linux OS 映像檔)，就不需要安裝這個驅動程式。

為避免運算執行個體執行不同版本的 NCCL/gIB 套件，建議您先更新 NCCL/gIB，再執行 NCCL 工作負載，或是停用自動套件更新，例如 Ubuntu 或 Debian 上的 unattended-upgrades。

啟用 NCCL/gIB

從 NCCL/gIB v1.1.2 開始，如果您安裝 nccl-gib 或 nccl-gib-plugins，NCCL/gIB 應會在工作負載中自動啟用。

在舊版中，如要在工作負載中啟用 NCCL/gIB，請確認下列事項：

  • /usr/local/gib/scripts/set_nccl_env.sh 是在執行階段環境中取得。來源檔案包含 NCCL/gIB 的所有必要環境變數，Google 預計在日後的 NCCL/gIB 版本中更新這些變數。
  • /usr/local/gib/lib64 目錄位於 LD_LIBRARY_PATH 中。

如要確認 NCCL/gIB 已啟用，請檢查是否有下列 NCCL INFO 層級的記錄項目：

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

後續步驟