GPU 머신 유형

이 문서에서는 AI 하이퍼컴퓨터가 지원하는 GPU 머신 시리즈를 설명합니다. 이러한 머신 시리즈를 사용하는 Compute Engine 인스턴스와 클러스터를 만들어 인공지능 (AI), 머신러닝(ML), 고성능 컴퓨팅 (HPC) 워크로드를 실행할 수 있습니다.

AI 하이퍼컴퓨터에서 GPU를 사용하려면 가속기 최적화 머신 계열의 대부분의 머신 시리즈를 사용할 수 있습니다. 가속기 최적화 머신 계열의 각 머신 시리즈는 특정 GPU 모델을 사용합니다. 가속기 최적화 머신 계열에 대한 자세한 내용은 가속기 최적화 머신 계열을 참고하세요.

다음 섹션에서는 AI Hypercomputer가 지원하는 가속기 최적화 머신 시리즈를 설명합니다.

A4X Max 및 A4X 시리즈

주의: A4X Max 및 A4X 머신 시리즈에는 Compute Engine 서비스수준계약 (SLA)이 적용되지 않습니다.

이 섹션에서는 A4X Max 및 A4X 머신 시리즈에 사용할 수 있는 구성을 설명합니다. 이러한 머신 시리즈에 대한 자세한 내용은 Compute Engine 문서의 A4X 및 A4X Max 가속기 최적화 머신 시리즈를 참고하세요.

A4X Max (베어메탈)

A4X Max 머신 유형은 NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300)을 사용하며 파운데이션 모델 학습과 서빙에 적합합니다. A4X Max 머신 유형은 베어메탈 인스턴스로 사용할 수 있습니다.

A4X Max는 NVIDIA GB300 NVL72를 기반으로 하는 엑사스케일 플랫폼입니다. 각 머신에는 Arm Neoverse V2 코어가 있는 NVIDIA Grace CPU가 있는 소켓이 2개 있습니다. 이러한 CPU는 고속 칩 간 (NVLink-C2C) 통신을 통해 NVIDIA B300 Blackwell GPU 4개에 연결됩니다.

참고: A4X Max 머신 유형을 시작하려면 계정팀에 문의하세요.

						연결된 NVIDIA GB300 Grace Blackwell Ultra Superchips
머신 유형	vCPU 수^1	인스턴스 메모리(GB)	연결된 로컬 SSD(GiB)	물리적 NIC 수	최대 네트워크 대역폭(Gbps)^2	GPU 수	GPU 메모리^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12,000	6	3,600	4	1,116

¹vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
² 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
³GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A4X

A4X 머신 유형은 NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200)을 사용하며 파운데이션 모델 학습과 서빙에 적합합니다.

A4X는 NVIDIA GB200 NVL72를 기반으로 하는 엑사스케일 플랫폼입니다. 각 머신에는 Arm Neoverse V2 코어가 있는 NVIDIA Grace CPU가 있는 소켓이 2개 있습니다. 이러한 CPU는 고속 칩 간(NVLink-C2C) 통신을 통해 NVIDIA B200 Blackwell GPU 4개에 연결됩니다.

참고: A4X 인스턴스를 프로비저닝할 경우 인스턴스와 클러스터를 만들려면 용량을 예약해야 합니다. 그런 다음 AI 하이퍼컴퓨터에서 제공하는 기능과 서비스를 사용하는 인스턴스를 만들 수 있습니다. 자세한 내용은 배포 옵션 개요를 참고하세요.

						연결된 NVIDIA GB200 Grace Blackwell Superchips
머신 유형	vCPU 수^1	인스턴스 메모리(GB)	연결된 로컬 SSD(GiB)	물리적 NIC 수	최대 네트워크 대역폭(Gbps)^2	GPU 수	GPU 메모리^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12,000	6	2,000	4	744

¹vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
² 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
³GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A4 시리즈

참고: 클러스터 상태 스캐너 (CHS) 도구를 사용하여 A4 머신 시리즈 GPU 클러스터의 문제를 해결할 수 있습니다. 자세한 내용은 GPU 클러스터 문제 해결을 참고하세요.

이 섹션에서는 A4 머신 시리즈에 사용할 수 있는 구성을 간략하게 설명합니다. 이 머신 시리즈에 대한 자세한 내용은 Compute Engine 문서의 A4 가속기 최적화 머신 시리즈를 참고하세요.

A4

A4 머신 유형에는 NVIDIA B200 Blackwell GPU(nvidia-b200)가 연결되어 있으며 파운데이션 모델 학습과 서빙에 적합합니다.

참고: A4 머신 유형을 프로비저닝할 때는 인스턴스나 클러스터를 만들도록 용량을 예약하거나 스팟 VM을 사용하거나 Flex-start VM을 사용하거나 MIG에서 크기 조절 요청을 만들어야 합니다. A4 인스턴스를 만드는 방법은 VM 및 클러스터 만들기 개요를 참고하세요. .

						연결된 NVIDIA B200 Blackwell GPU
머신 유형	vCPU 수^1	인스턴스 메모리(GB)	연결된 로컬 SSD(GiB)	물리적 NIC 수	최대 네트워크 대역폭(Gbps)^2	GPU 수	GPU 메모리^3 (GB HBM3e)
a4-highgpu-8g	224	3,968	12,000	10	3,600	8	1,440

¹vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
² 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
³GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 시리즈

참고: CHS 도구를 사용하여 A3 Ultra, A3 Mega, A3 High GPU 클러스터의 문제를 해결할 수 있습니다. 자세한 내용은 GPU 클러스터 문제 해결을 참고하세요.

이 섹션에서는 A3 머신 시리즈에 사용할 수 있는 구성을 간략하게 설명합니다. 이 머신 시리즈에 대한 자세한 내용은 Compute Engine 문서의 A3 가속기 최적화 머신 시리즈를 참고하세요.

A3 Ultra

A3 Ultra 머신 유형에는 NVIDIA H200 SXM GPU(nvidia-h200-141gb)가 연결되어 있으며 A3 시리즈에서 가장 높은 네트워크 성능을 제공합니다. A3 Ultra 머신 유형은 파운데이션 모델 학습과 서빙에 적합합니다.

참고: A3 Ultra 머신 유형을 프로비저닝할 때는 인스턴스나 클러스터를 만들도록 용량을 예약하거나 스팟 VM을 사용하거나 Flex-start VM을 사용하거나 MIG에서 크기 조절 요청을 만들어야 합니다. A3 Ultra 인스턴스를 만들 때 설정해야 하는 파라미터에 대한 자세한 내용은 VM 및 클러스터 생성 개요를 참고하세요.

						연결된 NVIDIA H200 GPU
머신 유형	vCPU 수^1	인스턴스 메모리(GB)	연결된 로컬 SSD(GiB)	물리적 NIC 수	최대 네트워크 대역폭(Gbps)^2	GPU 수	GPU 메모리^3 (GB HBM3e)
a3-ultragpu-8g	224	2,952	12,000	10	3,600	8	1128

¹vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
² 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
³GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 Mega

A3 Mega 머신 유형에는 NVIDIA H100 SXM GPU가 있으며 대규모 모델 학습과 다중 호스트 추론에 적합합니다.

참고: a3-megagpu-8g 머신 유형을 프로비저닝할 때는 이러한 인스턴스의 클러스터를 사용하고 Google Kubernetes Engine (GKE) 또는 Slurm과 같은 스케줄러를 사용하여 배포하는 것이 좋습니다. 이러한 옵션에 대한 자세한 내용은 다음을 참조하세요.

• Google Kubernetes Engine 클러스터를 만들려면 GKE를 사용하여 A3 Mega 클러스터 배포를 참조하세요.
• Slurm 클러스터를 만들려면 A3 Mega Slurm 클러스터 배포를 참조하세요.

						연결된 NVIDIA H100 GPU
머신 유형	vCPU 수^1	인스턴스 메모리(GB)	연결된 로컬 SSD(GiB)	물리적 NIC 수	최대 네트워크 대역폭(Gbps)^2	GPU 수	GPU 메모리^3 (GB HBM3)
a3-megagpu-8g	208	1,872	6,000	9	1,800	8	640

¹vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
² 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
³GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 High

A3 High 머신 유형에는 NVIDIA H100 SXM GPU가 있으며 대규모 모델 추론과 모델 미세 조정 모두에 적합합니다.

참고: a3-highgpu-1g, a3-highgpu-2g 또는 a3-highgpu-4g 머신 유형을 프로비저닝할 때는 스팟 VM 또는 Flex-start VM을 사용하여 인스턴스를 만들어야 합니다. 이러한 옵션에 대한 자세한 내용은 다음을 참조하세요.

• 스팟 VM을 만들려면 가속기 최적화 VM을 만들 때 프로비저닝 모델을 SPOT으로 설정합니다.
• Flex-start VM을 만들려면 다음 방법 중 하나를 사용하세요.
  • 가속기 최적화 VM 만들 때 독립형 VM을 만들고 프로비저닝 모델을 FLEX_START로 설정합니다.
  • 관리형 인스턴스 그룹(MIG)에서 크기 조절 요청을 만듭니다. 자세한 내용은 GPU VM으로 MIG 만들기를 참조하세요.

						연결된 NVIDIA H100 GPU
머신 유형	vCPU 수^1	인스턴스 메모리(GB)	연결된 로컬 SSD(GiB)	물리적 NIC 수	최대 네트워크 대역폭(Gbps)^2	GPU 수	GPU 메모리^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1,500	1	50	2	160
a3-highgpu-4g	104	936	3,000	1	100	4	320
a3-highgpu-8g	208	1,872	6,000	5	1,000	8	640

¹vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
² 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
³GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 Edge

A3 Edge 머신 유형에는 NVIDIA H100 SXM GPU가 있으며 이 머신 유형은 서빙 전용으로 설계되었고 제한된 리전 집합에서 사용 가능합니다.

참고: A3 Edge 인스턴스를 시작하려면 GPUDirect-TCPX가 사용 설정된 A3 VM 만들기를 참고하세요.

						연결된 NVIDIA H100 GPU
머신 유형	vCPU 수^1	인스턴스 메모리(GB)	연결된 로컬 SSD(GiB)	물리적 NIC 수	최대 네트워크 대역폭(Gbps)^2	GPU 수	GPU 메모리^3 (GB HBM3)
a3-edgegpu-8g	208	1,872	6,000	5	600: asia-south1 및 northamerica-northeast2 400: 기타 모든 A3 Edge 리전	8	640

¹vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
² 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
³GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

다음 단계

GPU에 대한 자세한 내용은 Compute Engine 문서의 다음 페이지를 참고하세요.

• Compute Engine의 GPU에 대해 알아봅니다.
• GPU 리전 및 영역 가용성 검토하기
• GPU 가격 책정 자세히 알아보기