gIB NCCL 플러그인 설치

이 페이지에서는 Debian 소프트웨어 패키지 (.deb) 또는 Red Hat 패키지 관리자 (.rpm)를 사용하여 NCCL/gIB를 설치하는 방법을 설명합니다. 이 설치를 통해 A4X Max, A4X, A4, A3 Ultra 인스턴스에서 NCCL 워크로드를 실행할 수 있습니다.

(A4X Max의 경우) 사용자 공간 라이브러리 업데이트

A4X Max에서는 NCCL 워크로드를 실행하기 전에 최신 사용자 공간 라이브러리를 설치해야 합니다.

Debian 12 이상/Ubuntu 20.04 이상 (.deb 패키지)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

NCCL/gIB 설치

워크로드를 실행하는 위치에 따라 컴퓨팅 인스턴스 또는 컨테이너 이미지에 NCCL/gIB를 설치합니다.

nccl-gib 패키지는 수정되지 않은 NVidia NCCL 라이브러리(libnccl2.so) 및 헤더와 함께 번들로 제공됩니다. 모든 NCCL/gIB 콘텐츠는 /usr/local/gib 디렉터리에 설치되고 플러그인 라이브러리도 시스템 폴더 (/usr/lib 아래)에 설치됩니다. 일부 종속 항목은 배포의 저장소를 통해 가져오기도 합니다.

Debian 12 이상/Ubuntu 20.04 이상 (.deb 패키지)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9 이상 (.rpm 패키지)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

NCCL 플러그인 설치

번들로 제공되는 NCCL 라이브러리 없이 gIB NCCL 플러그인만 설치하려면 nccl-gib-plugins 패키지를 설치하세요. gIB와 함께 제공되는 NCCL 버전을 사용하는 경우 패키지를 별도로 설치할 필요가 없습니다. 하지만 자체 맞춤 버전의 NCCL을 제공하는 경우 이 옵션을 사용하여 플러그인을 설치해야 합니다.

Debian 12 이상/Ubuntu 20.04 이상 (.deb 패키지)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9 이상 (.rpm 패키지)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

표준 OS 이미지를 사용하는 경우 최신 NVIDIA DOCA-OFED 드라이버도 설치해야 합니다. Container OS 또는 액셀러레이터 최적화 Ubuntu 또는 Rocky Linux OS 이미지와 같은 Google의 액셀러레이터 최적화 이미지를 사용하는 경우 이 드라이버를 설치할 필요가 없습니다.

서로 다른 버전의 NCCL/gIB 패키지를 실행하는 컴퓨팅 인스턴스를 방지하려면 NCCL 워크로드를 실행하기 전에 NCCL/gIB를 업데이트하거나 패키지 자동 업데이트를 사용 중지하는 것이 좋습니다(예: Ubuntu 또는 Debian에서 unattended-upgrades).

NCCL/gIB 사용 설정

NCCL/gIB v1.1.2부터 nccl-gib 또는 nccl-gib-plugins를 설치한 경우 워크로드에서 NCCL/gIB가 자동으로 사용 설정됩니다.

이전 버전에서 워크로드에서 NCCL/gIB를 사용 설정하려면 다음을 확인하세요.

  • /usr/local/gib/scripts/set_nccl_env.sh는 런타임 환경에서 가져옵니다. 소스 파일에는 NCCL/gIB에 필요한 모든 환경 변수가 포함되어 있으며 Google에서는 향후 NCCL/gIB 출시에서 이를 업데이트할 예정입니다.
  • /usr/local/gib/lib64 디렉터리는 LD_LIBRARY_PATH에 있습니다.

NCCL/gIB가 사용 설정되어 있는지 확인하려면 다음 NCCL INFO 수준 로그 항목이 있는지 확인합니다.

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

다음 단계