컴퓨팅 리소스

Gemini Enterprise Agent Platform 학습 클러스터에 관심이 있으면 영업 담당자에게 문의하여 액세스 권한을 받으세요.

Gemini Enterprise Agent Platform 학습 클러스터는 다양한 워크로드를 수용하기 위해 다양한 머신 유형을 지원합니다. 클러스터 노드 풀을 구성할 때 다음 옵션 중에서 선택할 수 있습니다.

가속기 최적화 머신 유형

머신 유형 GPU 노드당 GPU 수
a4x-highgpu-4g NVIDIA GB200 4
a4-highgpu-8g NVIDIA B200 8
a3-ultragpu-8g NVIDIA H200 8
a3-megagpu-8g NVIDIA H100 8
a3-highgpu-8g NVIDIA H100 8
g4-standard-48 NVIDIA RTX PRO 6000 Blackwell 1
g4-standard-96 NVIDIA RTX PRO 6000 Blackwell 2
g4-standard-192 NVIDIA RTX PRO 6000 Blackwell 4
g4-standard-384 NVIDIA RTX PRO 6000 Blackwell 8

CPU 및 HPC 머신 유형

머신 유형 설명
N2 계열: n2-standard-*, n2-highmem-*, n2-highcpu-* 데이터 전처리, 작업 조정, 가속기가 필요하지 않은 기타 작업을 위한 범용 노드입니다. N2는 Slurm 로그인 노드에도 지원됩니다.
N4 계열: n4-standard-*, n4-highmem-*, n4-highcpu-* N2와 동일한 워크로드를 위한 범용 노드입니다. Slurm 로그인 노드에 N4를 사용할 수도 있습니다. N4는 Hyperdisk Balanced(hyperdisk-balanced) 부팅 디스크만 지원합니다. boot_disk.boot_disk_type을 설정하지 않으면 hyperdisk-balanced이 사용됩니다.
N4D 계열: n4d-standard-*, n4d-highmem-*, n4d-highcpu-* N2와 동일한 워크로드를 위한 범용 AMD EPYC 노드입니다. N4D는 Slurm 로그인 노드에도 지원됩니다. N4D는 Google Cloud Hyperdisk Balanced(hyperdisk-balanced) 부팅 디스크만 지원하며, 이는 boot_disk.boot_disk_type가 설정되지 않은 경우의 기본값입니다.
C4 제품군: c4-standard-*, c4-highmem-*, c4-highcpu-* 컴퓨팅 집약적인 사전 처리, 조정, CPU 워크로드를 위한 범용 노드입니다. C4는 Slurm 로그인 노드에도 지원됩니다. C4는 Google Cloud Hyperdisk Balanced(hyperdisk-balanced) 부팅 디스크만 지원하며, 이는 boot_disk.boot_disk_type가 설정되지 않은 경우 기본값입니다. -lssd 및 -metal 변형은 지원되지 않습니다.
C4D 계열: c4d-standard-*, c4d-highmem-*, c4d-highcpu-* 컴퓨팅 집약적인 사전 처리, 조정, CPU 워크로드를 위한 범용 AMD EPYC 노드입니다. C4D는 Google Cloud Hyperdisk Balanced(hyperdisk-balanced) 부팅 디스크만 지원하며, 이는 boot_disk.boot_disk_type가 설정되지 않은 경우의 기본값입니다. -lssd 및 -metal 변형은 지원되지 않습니다.
C4A 제품군: c4a-standard-*, c4a-highmem-*, c4a-highcpu-* Arm 기반(Axion) 노드는 Slurm 로그인 노드에만 지원되며 컴퓨팅 노드 풀도 Arm 기반인 클러스터에서만 지원됩니다. -lssd 및 -metal 변형은 지원되지 않습니다.
H4D 계열: h4d-standard-*, h4d-highmem-* 긴밀하게 결합된 시뮬레이션 및 사전 처리 워크로드를 위한 RDMA 네트워킹이 포함된 HPC 최적화 노드

C4A 로그인 노드

C4A 로그인 노드는 Arm 기반이며 모든 컴퓨팅 노드 풀이 Arm 기반인 클러스터(예: A4X)에서만 지원됩니다. C4A 로그인 노드를 N2 또는 A3과 같은 x86 컴퓨팅 노드 풀과 페어링하는 클러스터는 생성 시 거부됩니다.

로그인 노드와 컴퓨팅 노드는 동일한 아키텍처를 공유하므로 로그인 노드에서 빌드하는 바이너리와 컨테이너 이미지는 제출하는 컴퓨팅 노드에서 실행됩니다.

C4A는 기본값인 hyperdisk-balanced 부팅 디스크만 지원합니다.

A4X 머신 유형

Gemini Enterprise Agent Platform 학습 클러스터는 NVIDIA GB200 NVL72 랙 확장 아키텍처를 기반으로 하는 엑사스케일 플랫폼인 A4X 가속기 최적화 머신 유형(a4x-highgpu-4g)을 지원합니다.

아키텍처 비교

다음 표에서는 A4X 계열과 다른 가속기 최적화 계열 간의 기본적인 하드웨어 차이점을 간략하게 설명합니다.

기능 A4X (a4x-highgpu-4g) A3 / A4H
CPU 아키텍처 ARM(Azure Resource Manager) X86
GPU 수 노드당 GPU 4개 노드당 GPU 8개
예약 유형 모든 용량 모드 관리 모드
배치 정책 엄격(좁게) 유연성

A4X 관련 가이드라인

  • A4X 노드 풀 VM 수는 18의 배수여야 합니다(예: 18, 36, 54). A4X 용량은 NVLink 도메인이라는 고정된 공유 불가능한 18노드 블록으로 프로비저닝되기 때문에 이 작업이 필요합니다. 이러한 도메인은 엄격한 압축 배치 정책에 의해 바인딩되며 부분적으로 할당된 블록은 다른 클러스터에서 사용할 수 없습니다.
  • A4X 노드의 ARM 기반 아키텍처로 인해 학습 워크로드에 두 가지 주요 변경사항을 적용해야 합니다.
    • ARM 호환 이미지 사용: 모든 학습 작업은 ARM 아키텍처용으로 빌드된 컨테이너 이미지를 사용해야 합니다.
    • GPU 4개에 맞게 조정: 각 A4X 노드에서 사용할 수 있는 GPU 4개를 올바르게 인식하고 사용하도록 분산 학습 로직을 업데이트해야 합니다.
  • 호스트 장애 신고 프로세스 및 다운타임 호스트에 장애가 있다고 신고할 때는 다음 복구 프로세스에 유의하세요.
    • 대기 용량 없음: 시스템은 즉각적인 노드 교체를 위해 대기 예비 풀을 사용하지 않습니다.
    • 복구 기반 복구: 기본 물리적 호스트가 복구될 때까지 노드를 사용할 수 없습니다.
    • 다운타임 연장: 이 수리 절차는 일반적으로 3~14일이 소요됩니다.

용량 프로비저닝

적절한 프로비저닝 모델을 선택하는 것은 비용, 속도, 리소스 가용성의 균형을 맞추는 데 매우 중요합니다. 다음 프로비저닝 옵션을 참조하세요.

  • RESERVATION: 미리 생성한 특정 Compute Engine 예약에서 노드를 할당합니다. 이 모델은 용량을 보장하며 수요가 많은 리소스에 권장됩니다.

  • FLEX_START: 동적 워크로드 스케줄러를 사용하여 작업을 대기열에 추가합니다. 요청된 컴퓨팅 리소스를 사용할 수 있게 되면 작업이 자동으로 시작되므로 예약 없이 유연한 시작 시간을 제공합니다.

  • SPOT: 스팟 VM을 사용하여 노드 풀을 프로비저닝합니다. 이 옵션은 비용 효율성이 가장 높지만 VM이 언제든지 선점될 수 있으므로 내결함성을 갖추고 있고 중단을 처리할 수 있는 워크로드에만 사용해야 합니다.

  • ON_DEMAND: CPU 전용 노드 풀의 기본 옵션이며 부족하지 않은 머신 유형에 가장 적합합니다. 예측 가능한 사용한 만큼만 지불하는 가격 책정으로 표준 VM 인스턴스를 제공합니다.

다음 안내에 따라 선택하세요.

  • 수요가 많은 GPU 리소스(예: A3 및 A4)의 경우 RESERVATION 모델을 적극 권장합니다. 이를 통해 중요한 학습 작업에 필요한 용량에 전용으로 액세스할 수 있습니다.

  • 버스트형 또는 유연한 워크로드: FLEX_START 또는 SPOT을 고려하세요. FLEX_START는 리소스를 사용할 수 있을 때까지 작업을 대기열에 추가하는 반면 SPOT은 선점을 처리할 수 있는 내결함성 작업에 상당한 비용 절감 효과를 제공합니다.

  • 머신 유형이 많은 경우: ON_DEMAND 모델이 적합합니다. 부족하지 않고 즉시 사용 가능 여부가 문제가 되지 않는 머신 유형에 사용합니다.

공유 예약 사용(선택사항)

로컬 예약이 아닌 공유 예약을 사용하려면 클러스터를 만들기 전에 추가 단계를 수행해야 합니다.

Gemini Enterprise Agent Platform 학습 클러스터에서 공유 예약을 사용하기 전에 공유 예약을 사용하는 VM을 수동으로 만들어 공유 예약이 작동하는지 확인하세요. 이 VM 생성이 작동하면 다음 단계로 이동합니다. 클러스터 생성 구성에서 다음 형식으로 예약 이름을 사용합니다. projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME

다음 단계

학습 클러스터의 컴퓨팅 및 프로비저닝 옵션을 선택한 후에는 클러스터를 만들고 워크로드를 실행할 수 있습니다.