클러스터형 GPU는 대규모 분산 학습, 멀티 호스트 추론, 복잡한 고성능 컴퓨팅 (HPC) 태스크를 우선시하는 인공지능 (AI) 및 머신러닝 (ML) 워크로드에 최적화되어 있습니다.
클러스터형 GPU를 사용하면 팀에서 특수 네트워킹 패브릭과 동기화된 유지보수를 사용하여 상호 연결된 수천 개의 가속기를 긴밀하게 결합된 단일 시스템으로 배포하고 확장할 수 있습니다. 극단적인 컴퓨팅, 메모리, 고속 네트워킹 동기화가 필요한 워크로드에 적합합니다. 일반적인 사용 사례로는 수조 개의 파라미터를 사용한 파운데이션 모델 사전 학습, 프런티어 모델 서빙, 신약 개발을 위한 시뮬레이션이 있습니다.
클러스터형 GPU의 주요 특성
- 동기화된 유지보수: Google Cloud 클러스터의 모든 노드를 동시에 업데이트하여 단일 노드 재시작으로 인해 작업이 중단되는 것을 방지합니다.
- 자동 상태 모니터링: 시스템이 지연 작업을 사전에 식별하고 하드웨어 오류 또는 자동 데이터 손상을 모니터링합니다.
- 사전 노드 교체: 시스템이 예비 풀의 정상 머신에서 성능이 저하된 VM을 제거하고 다시 예약합니다.
- 레일 정렬 토폴로지: 레일 정렬 토폴로지는 GPU 간 트래픽을 표준 호스트 통신과 격리하여 대규모 멀티 노드 조정에서 지터 없는 성능을 보장합니다.
- 고급 프로토콜: 이 머신 시리즈는 GPUDirect RDMA (RoCE 기반)를 포함한 고대역폭 상호 연결을 지원합니다.
클러스터형 GPU 제품군 및 기술 사양
이 표에서 프리미엄 클러스터형 GPU 머신 시리즈의 워크로드 및 하드웨어 사양을 검토하세요. 엑사스케일 학습의 경우 A4X 또는 A3 Ultra 시리즈를 사용합니다.
A4X Max 및 A4X 시리즈
대규모 엑사스케일 파운데이션 모델을 학습시키거나 매우 복잡한 베어메탈 고성능 컴퓨팅 (HPC) 시뮬레이션을 실행하는 경우 A4X Max 또는 A4X 머신 시리즈를 사용하세요. 이 시리즈는 NVIDIA GB300 Grace Blackwell Ultra Superchips를 사용하여 극단적인 컴퓨팅 및 메모리 요구사항을 처리합니다.
A4X Max (베어메탈)
A4X Max 머신 유형은 NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300)를 사용하며 파운데이션 모델 학습과 서빙에 적합합니다. A4X Max 머신 유형은 베어메탈 인스턴스로 사용할 수 있습니다.
A4X Max는 NVIDIA GB300 NVL72를 기반으로 하는 엑사스케일 플랫폼입니다. 각 머신에는 Arm Neoverse V2 코어가 있는 NVIDIA Grace CPU가 있는 소켓이 2개 있습니다. 이러한 CPU는 고속 칩 간 (NVLink-C2C) 통신을 통해 NVIDIA B300 Blackwell GPU 4개에 연결됩니다. 머신 유형 제한사항에 대한 자세한 내용은 A4X Max 및 A4X 제한사항을 참조하세요.
| 머신 유형 | vCPU 수 | 인스턴스 메모리(GB) | 연결된 로컬 SSD(GiB) | 물리적 NIC 수 | 최대 네트워크 대역폭(Gbps) | NVIDIA GB300 GPU 수 | GPU 메모리 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
위 표에는 다음 참고사항이 적용됩니다.
- vCPU 수: vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
- 최대 네트워크 대역폭: 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
- GPU 메모리: GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
A4X
A4X 머신 유형은 NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200)를 사용하며 파운데이션 모델 학습과 서빙에 적합합니다.
A4X는 NVIDIA GB200 NVL72를 기반으로 하는 엑사스케일 플랫폼입니다. 각 머신에는 Arm Neoverse V2 코어가 있는 NVIDIA Grace CPU가 있는 소켓이 2개 있습니다. 이러한 CPU는 고속 칩 간(NVLink-C2C) 통신을 통해 NVIDIA B200 Blackwell GPU 4개에 연결됩니다. 머신 유형 제한사항에 대한 자세한 내용은 A4X Max 및 A4X 제한사항을 참조하세요.
| 머신 유형 | vCPU 수 | 인스턴스 메모리(GB) | 연결된 로컬 SSD(GiB) | 물리적 NIC 수 | 최대 네트워크 대역폭(Gbps) | NVIDIA GB200 GPU 수 | GPU 메모리 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
위 표에는 다음 참고사항이 적용됩니다.
- vCPU 수: vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
- 최대 네트워크 대역폭: 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
- GPU 메모리: GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
A4 시리즈
대규모 동시 처리 규모가 필요한 현존 최고 수준(SOTA) 파운데이션 모델을 학습시키는 것이 목표인 경우 A4 머신 시리즈를 사용하여 처리 시간을 최적화하고 하드웨어 처리량을 극대화하세요.
A4 머신 유형에는 NVIDIA B200 Blackwell GPU(nvidia-b200)가 연결되어 있으며 파운데이션 모델 학습과 서빙에 적합합니다. 머신 유형 제한사항에 대한 자세한 내용은 A4 제한사항을 참조하세요.
| 머신 유형 | vCPU 수 | 인스턴스 메모리(GB) | 연결된 로컬 SSD(GiB) | 물리적 NIC 수 | 최대 네트워크 대역폭(Gbps) | NVIDIA B200 Blackwell GPU 수 | GPU 메모리 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
위 표에는 다음 참고사항이 적용됩니다.
- vCPU 수: vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
- 최대 네트워크 대역폭: 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
- GPU 메모리: GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
A3 시리즈 (GPU가 8개인 Ultra, Mega, High)
대규모 분산 학습 실행을 수행하거나 대규모 데이터 세트 테이블이 있는 여러 호스트에서 프런티어 모델을 서빙해야 하는 경우 A3 머신 시리즈를 사용하여 호스트 간 네트워크 지연 시간을 최소화하세요.
A3 Ultra
| 머신 유형 | vCPU 수 | 인스턴스 메모리(GB) | 연결된 로컬 SSD(GiB) | 물리적 NIC 수 | 최대 네트워크 대역폭(Gbps) | NVIDIA H200 GPU 수 | GPU 메모리 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
A3 Mega
| 머신 유형 | vCPU 수 | 인스턴스 메모리(GB) | 연결된 로컬 SSD(GiB) | 물리적 NIC 수 | 최대 네트워크 대역폭(Gbps) | NVIDIA H100 GPU 수 | GPU 메모리 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| 머신 유형 | vCPU 수 | 인스턴스 메모리(GB) | 연결된 로컬 SSD(GiB) | 물리적 NIC 수 | 최대 네트워크 대역폭(Gbps) | NVIDIA H100 GPU 수 | GPU 메모리 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
위 표에는 다음 참고사항이 적용됩니다.
- vCPU 수: vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
- 최대 네트워크 대역폭: 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
- GPU 메모리: GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
용량 획득
클러스터형 GPU의 컴퓨팅 용량을 확보하려면 고성능 가속기의 공급과 수요를 관리하기 위한 조정이 필요합니다. 이러한 리소스는 물리적으로 특수 네트워킹 패브릭 내에 있으므로 관리형 워크플로를 통해 요청해야 합니다.
계정팀을 통해 용량을 예약하거나 미래용 예약 및 동적 워크로드 스케줄러를 사용할 수 있습니다.
다음 단계
- 용량을 확보하는 방법은 사용 옵션을 참조하세요.
- 인프라 요구사항을 평가하려면 인프라 선택을 참조하세요.
- 네트워크 토폴로지를 계획하려면 클러스터 환경의 GPU 네트워킹 요구사항을 참고하세요.
- 컴퓨팅 리소스를 예약하려면 용량 예약을 참조하세요.