gIB NCCL 플러그인 설치

이 페이지에서는 Debian 소프트웨어 패키지 (.deb) 또는 Red Hat 패키지 관리자 (.rpm)를 사용하여 NCCL/gIB를 설치하는 방법을 설명합니다. 이 설치를 통해 A4X Max, A4X, A4, A3 Ultra 인스턴스에서 NCCL 워크로드를 실행할 수 있습니다.

(A4X Max의 경우) 사용자 공간 라이브러리 업데이트

A4X Max에서는 NCCL 워크로드를 실행하기 전에 최신 사용자 공간 라이브러리를 설치해야 합니다. 루트 사용자로 로그인한 경우 sudo가 표시되는 위치에서 이를 생략하여 명령어를 직접 실행합니다.

Debian 12+/Ubuntu 20.04+ (.deb 패키지)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

NCCL/gIB 설치

워크로드를 실행하는 위치에 따라 컴퓨팅 인스턴스 또는 컨테이너 이미지에 NCCL/gIB를 설치합니다.

nccl-gib 패키지는 수정되지 않은 NVidia NCCL 라이브러리(libnccl2.so) 및 헤더와 함께 번들로 제공됩니다. 모든 NCCL/gIB 콘텐츠는 /usr/local/gib 디렉터리에 설치되고 플러그인 라이브러리도 시스템 폴더 (/usr/lib 아래)에 설치됩니다. 일부 종속 항목은 배포의 저장소를 통해 가져오기도 합니다.

Debian 12+/Ubuntu 20.04+ (.deb 패키지)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9+ (.rpm 패키지)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

NCCL 플러그인 설치

번들 NCCL 라이브러리 없이 gIB NCCL 플러그인만 설치하려면 nccl-gib-plugins 패키지를 설치합니다. gIB와 함께 제공되는 NCCL 버전을 사용하는 경우 패키지를 별도로 설치할 필요가 없습니다. 하지만 자체 커스텀 버전의 NCCL을 제공하는 경우 이 옵션을 사용하여 플러그인을 설치해야 합니다.

Debian 12+/Ubuntu 20.04+ (.deb 패키지)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9+ (.rpm 패키지)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

표준 OS 이미지를 사용하는 경우 최신 NVIDIA DOCA-OFED 드라이버도 설치해야 합니다. Container OS 또는 가속기 최적화 Ubuntu 또는 Rocky Linux OS 이미지와 같은 Google의 가속기 최적화 이미지를 사용하는 경우 이 드라이버를 설치할 필요가 없습니다.

Compute Engine 인스턴스에서 서로 다른 버전의 NCCL/gIB 패키지를 실행하지 않도록 하려면 NCCL 워크로드를 실행하기 전에 NCCL/gIB를 업데이트하거나 자동 패키지 업데이트(예: Ubuntu 또는 Debian의 unattended-upgrades)를 사용 중지하는 것이 좋습니다.

NCCL/gIB 사용 설정

NCCL/gIB v1.1.2부터 nccl-gib 또는 nccl-gib-plugins를 설치한 경우 워크로드에서 NCCL/gIB가 자동으로 사용 설정됩니다.

이전 버전에서 워크로드에서 NCCL/gIB를 사용 설정하려면 다음을 확인하세요.

  • /usr/local/gib/scripts/set_nccl_env.sh 가 런타임 환경에서 소싱됩니다. 소스 파일에는 NCCL/gIB에 필요한 모든 환경 변수가 포함되어 있으며 Google은 향후 NCCL/gIB 출시에서 이를 업데이트할 것으로 예상합니다.
  • /usr/local/gib/lib64 디렉터리가 LD_LIBRARY_PATH에 있습니다.

NCCL/gIB가 사용 설정되어 있는지 확인하려면 다음 NCCL INFO 수준 로그 항목이 있는지 확인합니다.

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

다음 단계