Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

자동화된 NCCL 설치 프로그램으로 GPUDirect RDMA 구성

Autopilot Standard

분산 AI/ML 워크로드를 실행할 때 애플리케이션에는 여러 노드에서 GPU 간에 높은 처리량과 짧은 지연 시간의 통신이 필요한 경우가 많습니다. A4 가상 머신 (VM) 인스턴스와 A3 Ultra VM 인스턴스에는 NVIDIA ConnectX-7 (CX7) 네트워크 인터페이스 컨트롤러 (NIC)를 기반으로 빌드된 Titanium ML 네트워크 어댑터가 함께 제공됩니다. 두 VM 계열 모두 RoCE(RDMA over Converged Ethernet)를 사용하여 비차단 3.2Tbps의 노드 간 GPU 간 트래픽을 제공합니다. RoCE는 AI 워크로드에 고성능 클라우드 환경을 제공하여 여러 GPU에서 확장 및 공동작업을 지원합니다.

GPUDirect RDMA는 이러한 직접 통신 경로를 제공하지만 필요한 네트워크 플러그인과 리소스 클레임을 수동으로 구성하는 것은 복잡하고 오류가 발생하기 쉽습니다.

이러한 운영 문제를 해결하려면 자동화된 RDMA NCCL 설치 프로그램을 자동화된 네트워킹 및 Google Kubernetes Engine (GKE) 관리형 DRANET과 결합하여 GKE의 여러 호스트에서 AI 워크로드에 대한 GPUDirect RDMA 구성을 간소화하면 됩니다. 자동화된 RDMA NCCL 설치 프로그램은 A3 Ultra 또는 A4 머신 유형을 사용하는 노드 풀에 필요한 NCCL 및 gIB 바이너리를 자동으로 배포합니다. 이러한 기능을 함께 사용하면 기본 네트워크 인프라와 리소스 클레임을 수동으로 관리하는 대신 AI 워크로드 배포에 집중할 수 있습니다.

자세한 내용은 GPUDirect RDMA를 사용하여 클러스터 만들기를 참조하세요.

이점

자동화된 RDMA NCCL 설치 프로그램은 다음과 같은 이점을 제공합니다.

RDMA NCCL 라이브러리 자동 설치: Standard 클러스터의 경우 GKE 버전 1.34.8-gke.1278000, Autopilot 클러스터의 경우 버전 1.36.2-gke.1368000부터 단일 플래그를 사용하여 노드 풀을 만드는 동안 Google Cloud 에서 최적의 GPU 네트워킹 성능을 위해 설계된 RDMA NCCL/gIB 라이브러리의 자동 설치를 사용 설정할 수 있습니다.
RDMA 워크로드 실행을 위한 간소화된 구성: 자동화된 RDMA NCCL 설치 프로그램, 가속기 VM을 위한 자동화된 네트워킹, GKE 관리형 DRANET을 결합하여 수동 네트워크 구성 없이 RDMA 지원 AI 워크로드를 배포할 수 있습니다.
호환성 및 안전한 업그레이드: 설치 프로그램에서 제공하는 RDMA NCCL 바이너리는 각 GKE 출시 전에 엔드 투 엔드 검증 테스트를 통과합니다. 이 테스트를 통해 RDMA 사용자 공간 라이브러리가 GKE에서 사용되는 특정 커널 버전과 호환되므로 실행 중인 워크로드를 중단하지 않고 클러스터와 노드 풀을 안전하게 업그레이드할 수 있습니다.

제한사항

자동화된 RDMA NCCL 설치 프로그램에는 다음과 같은 제한사항이 있습니다.

자동화된 RDMA NCCL 설치 프로그램은 버전 1.34.8-gke.1278000 이상의 GKE Standard 클러스터와 버전 1.36.2-gke.1368000 이상의 Autopilot 클러스터에서 지원됩니다.
자동화된 RDMA NCCL 설치 프로그램은 a3-ultragpu-8g 및 a4-highgpu-8g 머신 유형에서만 사용할 수 있습니다.
GKE 관리형 DRANET을 사용하여 워크로드를 구성하는 경우 GKE 관리형 DRANET의 주요 고려사항 및 제한사항을 검토하세요.
동일한 노드 풀에서 멀티 네트워크 API와 DRANET을 모두 사용할 수는 없습니다. 포드의 네트워크 연결 방법을 하나 선택해야 합니다.
GKE 노드는 Container-Optimized OS 노드 이미지를 사용해야 합니다. Ubuntu 및 Windows 노드 이미지는 지원되지 않습니다.
GKE에서 GPUDirect RDMA를 사용하여 A3 Ultra 및 A4를 실행하기 위한 다른 모든 요구사항을 충족해야 합니다.

시작하기 전에

시작하기 전에 다음 태스크를 수행했는지 확인합니다.

클러스터에서 Standard 클러스터의 경우 GKE 버전 1.34.8-gke.1278000 이상을 사용하고 Autopilot 클러스터의 경우 버전 1.36.2-gke.1368000 이상을 사용하는지 확인합니다.
Google Cloud CLI 버전 550.0.0 이상을 사용하는지 확인합니다.
기존 Autopilot 또는 Standard 클러스터가 있는지 확인합니다. 새 클러스터를 만들려면 Autopilot 클러스터 만들기를 참조하세요.
클러스터에 GKE Dataplane V2가 사용 설정되었는지 확인합니다. (--enable-dataplane-v2 플래그를 지정하여 새 클러스터를 만들 때 GKE Dataplane V2를 사용 설정할 수 있습니다.) GKE Dataplane V2는 기본적으로 모든 새 Autopilot 클러스터에 사용 설정됩니다.
다음 방법 중 하나를 사용하여 클러스터 및 노드 풀 네트워킹을 설정했는지 확인합니다.
- DRANET을 사용한 자동 네트워킹 (권장): 가속기 네트워크 프로필과 함께 가속기 VM의 자동 네트워킹을 사용하고 네트워크 연결에 GKE 관리형 DRANET을 사용합니다.
- 멀티 네트워크 API를 사용한 수동 네트워킹: 수동 워크플로에 따라 VPC 네트워크 및 서브넷을 만들고 GKE 멀티 네트워크 API를 사용 설정하고 가속기 노드 풀에서 추가 노드 네트워크를 구성합니다.
최소 가상 머신 (VM) 인스턴스 할당량이 2개인지 확인합니다. 이 최소 할당량은 a4-highgpu-8g 또는 a3-ultragpu-8g 머신 유형을 사용하는 경우 GPU 16개에 해당합니다.

설치 프로그램 및 자동 네트워킹을 사용하여 노드 풀 만들기

멀티 호스트 AI 워크로드에 GPUDirect RDMA를 사용 설정하려면 자동화된 RDMA NCCL 설치 프로그램, 자동화된 네트워킹, GKE 관리형 DRANET을 결합하는 GPU 노드 풀을 구성합니다.

다음 옵션 중 하나를 선택합니다.

gcloud (표준)

Standard 노드 풀에서 자동화된 RDMA NCCL 설치 프로그램을 사용 설정하려면 --gpudirect-strategy 플래그의 값으로 rdma를 지정합니다. GKE는 노드 버전과 호환되는 RDMA NCCL 플러그인을 자동으로 배포합니다.

다음 환경 변수를 설정합니다.
```
export CLUSTER_NAME=CLUSTER_NAME
export CONTROL_PLANE_LOCATION=CONTROL_PLANE_LOCATION
export PROJECT_ID=PROJECT_ID
export NODE_POOL_NAME=NODE_POOL_NAME
export NODEPOOL_LOCATION=NODEPOOL_LOCATION
export ACCELERATOR_TYPE=ACCELERATOR_TYPE
export ACCELERATOR_COUNT=ACCELERATOR_COUNT
export DRIVER_VERSION=DRIVER_VERSION
export MACHINE_TYPE=MACHINE_TYPE
export NUM_NODES=NUM_NODES
export RESERVATION_PROJECT=RESERVATION_PROJECT
export RESERVATION_NAME=RESERVATION_NAME
export RESERVATION_BLOCK=RESERVATION_BLOCK
```
다음을 바꿉니다.
- CLUSTER_NAME: 클러스터 이름입니다.
- CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
- PROJECT_ID: 프로젝트 ID입니다.
- NODE_POOL_NAME: 새 노드 풀의 이름입니다.
- NODEPOOL_LOCATION: 노드 풀의 위치입니다.
- ACCELERATOR_TYPE: 가속기 유형(예: nvidia-h200-141gb 또는 nvidia-b200)
- ACCELERATOR_COUNT: 가속기 수(예: 8)
- DRIVER_VERSION: GPU 드라이버 버전(예: default 또는 latest)
- MACHINE_TYPE: 머신 유형으로, a3-ultragpu-8g 또는 a4-highgpu-8g여야 합니다.
- NUM_NODES: 노드 풀의 노드 수입니다.
- RESERVATION_PROJECT: 예약이 있는 프로젝트 ID입니다.
- RESERVATION_NAME: 예약 이름입니다.
- RESERVATION_BLOCK: 예약 블록입니다.

노드 풀을 만듭니다.

gcloud container node-pools create ${NODE_POOL_NAME} \
  --location=${CONTROL_PLANE_LOCATION} \
  --cluster=${CLUSTER_NAME} \
  --project=${PROJECT_ID} \
  --node-locations=${NODEPOOL_LOCATION} \
  --accelerator type=${ACCELERATOR_TYPE},count=${ACCELERATOR_COUNT},gpu-driver-version=${DRIVER_VERSION} \
  --machine-type=${MACHINE_TYPE} \
  --num-nodes=${NUM_NODES} \
  --reservation-affinity=specific \
  --reservation=projects/${RESERVATION_PROJECT}/reservations/${RESERVATION_NAME}/reservationBlocks/${RESERVATION_BLOCK} \
  --accelerator-network-profile=auto \
  --node-labels=cloud.google.com/gke-networking-dra-driver=true \
  --gpudirect-strategy=rdma

ComputeClass (Autopilot 및 Standard)

Autopilot 클러스터 또는 노드 풀 자동 생성이 사용 설정된 Standard 클러스터에서 자동화된 RDMA NCCL 설치 프로그램을 사용하려면 gpuDirect: rdma, acceleratorNetworkProfile: auto, DRANET이 사용 설정된 커스텀 ComputeClass 리소스를 구성합니다.

다음 매니페스트를 rdma-compute-class.yaml로 저장합니다.

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: COMPUTE_CLASS_NAME
spec:
  nodePoolConfig:
    dra:
      networking:
        enabled: true
  priorities:
  - gpu:
      type: ACCELERATOR_TYPE
      count: ACCELERATOR_COUNT
    machineType: MACHINE_TYPE
    # Optional: include the reservations block if you use a reservation
    reservations:
      affinity: Specific
      specific:
      - name: RESERVATION_NAME
        zones:
        - RESERVATION_ZONE
    acceleratorNetworkProfile: auto
    gpuDirect: rdma
  nodePoolAutoCreation:
    enabled: true

다음을 바꿉니다.

COMPUTE_CLASS_NAME: ComputeClass의 이름입니다.
ACCELERATOR_TYPE: 가속기 유형(예: nvidia-h200-141gb 또는 nvidia-b200)
ACCELERATOR_COUNT: 가속기 수(예: 8)
MACHINE_TYPE: 머신 유형으로, a3-ultragpu-8g 또는 a4-highgpu-8g이어야 합니다.
RESERVATION_NAME: 예약의 이름입니다.
RESERVATION_ZONE: 예약이 있는 영역

매니페스트를 적용합니다.
```
kubectl apply -f rdma-compute-class.yaml
```
이 ComputeClass를 사용하는 워크로드를 배포할 때 cloud.google.com/compute-class: COMPUTE_CLASS_NAME 노드 선택기를 포드 사양에 추가합니다.

Terraform

Terraform을 사용하여 자동화된 RDMA NCCL 설치 프로그램이 구성된 GKE 클러스터 및 노드 풀을 프로비저닝할 수 있습니다.

공식 Terraform 문서에 따라 로컬 머신에 Terraform을 설치합니다.

구성을 보관할 빈 디렉터리를 만들고 이 디렉터리로 변경합니다. main.tf이라는 파일을 만들고 다음을 입력합니다.

# main.tf

terraform {
  required_providers {
    google = {
      source  = "hashicorp/google"
      version = ">= 7.34.0" # Min version that supports the automated RDMA NCCL installer
    }
  }
}

provider "google" {
  project = "PROJECT_ID"
  region  = "REGION"
  zone    = "ZONE"
}

다음을 바꿉니다.

PROJECT_ID: 프로젝트 ID입니다.
REGION: 컴퓨팅 리전입니다.
ZONE: A3 Ultra 또는 A4 머신 유형을 지원하는 영역입니다.

동일한 디렉터리에서 다음 명령어를 실행하여Google Cloud 로 인증하고 Terraform 상태를 초기화합니다.
```
gcloud auth application-default login
terraform init
```

main.tf 또는 별도의 Terraform 구성 파일에 다음 구성을 추가합니다. 이 구성은 자동화된 RDMA NCCL 설치 프로그램, 자동 가속기 네트워크 프로필, GKE 관리형 DRANET을 사용하도록 구성된 us-central1-b의 a3-ultragpu-8g 노드 3개로 클러스터를 배포합니다.

resource "google_container_cluster" "cluster" {
  name               = "example-rdma-tf"
  location           = "us-central1-b"

  initial_node_count  = 3 # Number of CPU nodes in default pool
  deletion_protection = false # Optional, allows Terraform to delete clusters

  min_master_version      = "1.34.8-gke.1278000" # Required, min version for Standard clusters with automated RDMA NCCL installer support
  datapath_provider       = "ADVANCED_DATAPATH" # Required, enable GKE Dataplane v2
}

resource "google_container_node_pool" "rdma_pool" {
  name       = "rdma-pool"
  cluster    = google_container_cluster.cluster.name
  location   = google_container_cluster.cluster.location
  node_count = 3

  network_config {
    accelerator_network_profile = "auto" # Required if per-NIC networks are not manually configured
  }

  node_config {
    machine_type = "a3-ultragpu-8g"
    guest_accelerator {
      type  = "nvidia-h200-141gb"
      count = 8
    }

    ephemeral_storage_local_ssd_config { # Required, see https://github.com/hashicorp/terraform-provider-google/issues/17068
      data_cache_count = 0
      local_ssd_count = 32
    }

    gpudirect_strategy = "RDMA"

    labels = {
      "cloud.google.com/gke-networking-dra-driver"  = "true" # Automatically install DRANET driver
      "gke.networks.io/accelerator-network-profile" = "auto"
    }
  }
}

terraform plan -out=tfplan을 실행하여 현재 구성을 기반으로 Terraform에서 수행하는 변경사항을 확인합니다. 계획을 확인한 후 다음 명령어를 사용하여 실행합니다.
```
terraform apply tfplan
```
참고: 클러스터 및 노드 풀 생성은 완료하는 데 몇 분 정도 걸릴 수 있습니다. 자세한 진행 상황 로그를 보려면 TF_LOG=INFO terraform apply를 실행하세요.

ResourceClaimTemplate 만들기

포드가 RDMA 기기를 동적으로 요청하고 수신할 수 있도록 하려면 ResourceClaimTemplate 객체를 만들어 AI 워크로드에 고성능 네트워킹을 제공합니다. allocationMode: All 설정은 사용 가능한 모든 mrdma.google.com RDMA 기기를 할당합니다. 사용 가능한 모든 기기를 할당하는 것은 GPU 및 RDMA 기능을 완전히 활용해야 하는 여러 호스트의 AI 워크로드에 매우 중요합니다.

다음 매니페스트를 all-mrdma-template.yaml로 저장합니다.

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-mrdma
spec:
  spec:
    devices:
      requests:
      - name: req-mrdma
        exactly:
          deviceClassName: mrdma.google.com
          allocationMode: All

매니페스트를 적용합니다.

kubectl apply -f all-mrdma-template.yaml

NCCL RDMA 테스트 워크로드 배포 및 실행

RDMA 구성을 확인하려면 테스트 워크로드를 배포한 후 NCCL all-gather 테스트를 실행하여 설정을 확인합니다.

다음 매니페스트를 nccl-test-workload.yaml로 저장합니다.

apiVersion: v1
kind: Service
metadata:
  name: nccl-host-1
spec:
  selector:
    name: nccl-host-1
  clusterIP: None
---
apiVersion: v1
kind: Service
metadata:
  name: nccl-host-2
spec:
  selector:
    name: nccl-host-2
  clusterIP: None
---
apiVersion: v1
kind: Pod
metadata:
  name: nccl-test-host-1
  labels:
    name: nccl-host-1
spec:
  # Uncomment the following lines if you use a custom ComputeClass:
  # nodeSelector:
  #   cloud.google.com/compute-class: COMPUTE_CLASS_NAME
  volumes:
    - name: library-dir-host
      hostPath:
        path: /home/kubernetes/bin/nvidia
    - name: gib
      hostPath:
        path: /home/kubernetes/bin/gib
    - name: shared-memory
      emptyDir:
        medium: "Memory"
        sizeLimit: 250Gi
  resourceClaims:
  - name: rdma
    resourceClaimTemplateName: all-mrdma
  containers:
    - image: us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.1.2
      name: test
      resources:
        requests:
          cpu: 150m
        limits:
          nvidia.com/gpu: 8
        claims:
        - name: rdma
      volumeMounts:
        - name: library-dir-host
          mountPath: /usr/local/nvidia
        - name: gib
          mountPath: /usr/local/gib
        - name: shared-memory
          mountPath: /dev/shm
      env:
        - name: LD_LIBRARY_PATH
          value: /usr/local/nvidia/lib64
      command: ["/bin/bash", "-c"]
      args:
        - |
          /scripts/container_entry.sh shell
          source /usr/local/gib/scripts/set_nccl_env.sh
          sleep infinity
---
apiVersion: v1
kind: Pod
metadata:
  name: nccl-test-host-2
  labels:
    name: nccl-host-2
spec:
  # Uncomment the following lines if you use a custom ComputeClass:
  # nodeSelector:
  #   cloud.google.com/compute-class: COMPUTE_CLASS_NAME
  volumes:
    - name: library-dir-host
      hostPath:
        path: /home/kubernetes/bin/nvidia
    - name: gib
      hostPath:
        path: /home/kubernetes/bin/gib
    - name: shared-memory
      emptyDir:
        medium: "Memory"
        sizeLimit: 250Gi
  resourceClaims:
  - name: rdma
    resourceClaimTemplateName: all-mrdma
  containers:
    - image: us-docker.pkg.dev/gce-ai-infra/gpudirect-gib/nccl-plugin-gib-diagnostic:v1.1.2
      name: test
      resources:
        requests:
          cpu: 150m
        limits:
          nvidia.com/gpu: 8
        claims:
        - name: rdma
      volumeMounts:
        - name: library-dir-host
          mountPath: /usr/local/nvidia
        - name: gib
          mountPath: /usr/local/gib
        - name: shared-memory
          mountPath: /dev/shm
      env:
        - name: LD_LIBRARY_PATH
          value: /usr/local/nvidia/lib64
      command: ["/bin/bash", "-c"]
      args:
        - |
          /scripts/container_entry.sh shell
          source /usr/local/gib/scripts/set_nccl_env.sh
          sleep infinity

테스트 워크로드 매니페스트를 적용합니다.
```
kubectl apply -f nccl-test-workload.yaml
```

두 테스트 호스트 간에 NCCL all-gather 테스트를 실행합니다.

kubectl exec nccl-test-host-1 -it -- /usr/local/gib/scripts/run_nccl_tests.sh -t all_gather -b 1K -e 8G nccl-host-1 nccl-host-2

AI/ML 워크로드 배포

분산 학습 작업을 효율적으로 실행하려면 ML 애플리케이션이 설치 프로그램에서 프로비저닝한 RDMA 기기를 요청해야 합니다. 테스트 워크로드로 RDMA 구성을 확인한 후 AI/ML 애플리케이션을 배포할 수 있습니다. 애플리케이션 포드는 이전에 만든 ResourceClaimTemplate 객체 (all-mrdma)를 참조하여 RDMA 기기를 동적으로 요청하고 수신해야 합니다.

다음 포드 매니페스트는 all-mrdma ResourceClaimTemplate 객체를 사용합니다. IMAGE을 AI/ML 워크로드 컨테이너 이미지로 바꾸고 COMMAND을 애플리케이션의 진입점으로 바꿉니다.

apiVersion: v1
kind: Pod
metadata:
  name: my-rdma-workload
spec:
  restartPolicy: OnFailure
  # Uncomment the following lines if you use a custom ComputeClass:
  # nodeSelector:
  #   cloud.google.com/compute-class: COMPUTE_CLASS_NAME
  volumes:
    - name: library-dir-host
      hostPath:
        path: /home/kubernetes/bin/nvidia
    - name: gib
      hostPath:
        path: /home/kubernetes/bin/gib
    - name: shared-memory
      emptyDir:
        medium: "Memory"
        sizeLimit: 250Gi
  resourceClaims:
  - name: mrdma-claim
    resourceClaimTemplateName: all-mrdma
  containers:
  - name: my-container
    image: IMAGE # Replace with your AI/ML workload image, for example, gcr.io/your-project/your-ai-app:latest
    command: ["/bin/bash", "-c"]
    args:
      - |
        source /usr/local/gib/scripts/set_nccl_env.sh
        COMMAND # Replace with your workload command, for example, python3 train.py
    resources:
      limits:
        nvidia.com/gpu: 8 # Specify the required GPU count
      claims:
      - name: mrdma-claim
    volumeMounts:
      - name: library-dir-host
        mountPath: /usr/local/nvidia
      - name: gib
        mountPath: /usr/local/gib
      - name: shared-memory
        mountPath: /dev/shm
    env:
      - name: LD_LIBRARY_PATH
        value: /usr/local/nvidia/lib64
      - name: MASTER_ADDR
        value: "nccl-test-host-1" # Example for distributed training
      - name: MASTER_PORT
        value: "29500"

이 워크로드를 배포하려면 매니페스트를 workload.yaml로 저장하고 적용합니다.

kubectl apply -f workload.yaml

고급 구성

DRANET을 사용한 자동 네트워킹 대신 수동 멀티 네트워크 구성을 사용하는 노드 풀에서 자동화된 RDMA NCCL 설치 프로그램을 사용 설정할 수도 있습니다.

다중 네트워크가 사용 설정된 클러스터에 노드 풀 만들기

GKE의 GPUDirect RDMA 지원의 클러스터 구성을 따른 경우 다음 안내에 따라 다중 네트워크가 사용 설정된 기존 클러스터에서 자동화된 RDMA NCCL 설치 프로그램이 사용 설정된 새 노드 풀을 만들 수 있습니다.

클러스터에 멀티 네트워크가 사용 설정되어 있는지 확인하려면 다음 명령어를 실행합니다.

export CLUSTER_NAME=CLUSTER_NAME
export CONTROL_PLANE_LOCATION=CONTROL_PLANE_LOCATION
export PROJECT_ID=PROJECT_ID
export CLUSTER_VERSION=CLUSTER_VERSION

gcloud container clusters describe ${CLUSTER_NAME} \
  --location ${CONTROL_PLANE_LOCATION} --project ${PROJECT_ID} \
  --format="value(networkConfig.enableMultiNetworking)"

A3 Ultra 및 A4 VM 인스턴스의 추가 NIC에 VPC 네트워크를 재사용하려면 다음 변수를 설정합니다.

export REGION=REGION
export ZONE=ZONE
export GVNIC_NETWORK_PREFIX=GVNIC_NETWORK_PREFIX
export RDMA_NETWORK_PREFIX=RDMA_NETWORK_PREFIX

자동화된 RDMA NCCL 설치 프로그램으로 노드 풀을 만들려면 다음 명령어를 실행합니다.

export NODE_POOL_NAME=NODE_POOL_NAME
export PROJECT_ID=PROJECT_ID
export NODE_COUNT=NODE_COUNT
export ACCELERATOR_TYPE=ACCELERATOR_TYPE
export ACCELERATOR_COUNT=ACCELERATOR_COUNT
export DRIVER_VERSION=DRIVER_VERSION
export MACHINE_TYPE=MACHINE_TYPE
export RESERVATION=RESERVATION

gcloud container node-pools create ${NODE_POOL_NAME} --project ${PROJECT_ID} \
  --location ${CONTROL_PLANE_LOCATION} --node-locations ${ZONE} --cluster ${CLUSTER_NAME} --num-nodes=${NODE_COUNT} \
  --machine-type ${MACHINE_TYPE} \
  --accelerator type=${ACCELERATOR_TYPE},count=${ACCELERATOR_COUNT},gpu-driver-version=${DRIVER_VERSION} \
  --additional-node-network network=${GVNIC_NETWORK_PREFIX}-net,subnetwork=${GVNIC_NETWORK_PREFIX}-sub \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-0 \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-1 \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-2 \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-3 \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-4 \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-5 \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-6 \
  --additional-node-network network=${RDMA_NETWORK_PREFIX}-net,subnetwork=${RDMA_NETWORK_PREFIX}-sub-7 \
  --scopes "https://www.googleapis.com/auth/cloud-platform" \
  --reservation-affinity=specific \
  --reservation=${RESERVATION} \
  --gpudirect-strategy=rdma

다음 단계

GKE의 GPUDirect RDMA 지원 자세히 알아보기