Jenis mesin GPU

Dokumen ini menjelaskan seri mesin GPU yang didukung AI Hypercomputer. Anda dapat membuat instance dan cluster Compute Engine yang menggunakan seri mesin ini untuk menjalankan workload kecerdasan buatan (AI), machine learning (ML), dan komputasi berperforma tinggi (HPC).

Untuk menggunakan GPU di AI Hypercomputer, Anda dapat menggunakan sebagian besar seri mesin dari kelompok mesin yang dioptimalkan untuk akselerator. Setiap seri mesin dalam kelompok mesin yang dioptimalkan akselerator menggunakan model GPU tertentu. Untuk mengetahui informasi selengkapnya tentang kelompok mesin yang dioptimalkan akselerator, lihat Kelompok mesin yang dioptimalkan akselerator.

Bagian berikut menjelaskan seri mesin yang dioptimalkan untuk akselerator yang didukung AI Hypercomputer.

Seri A4X Max dan A4X

Perhatian: Perjanjian Tingkat Layanan (SLA) Compute Engine tidak berlaku untuk seri mesin A4X Max dan A4X.

Bagian ini menguraikan konfigurasi yang tersedia untuk seri mesin A4X Max dan A4X. Untuk mengetahui informasi selengkapnya tentang seri mesin ini, lihat Seri mesin yang dioptimalkan untuk akselerator A4X dan A4X Max dalam dokumentasi Compute Engine.

A4X Max (Bare metal)

Jenis mesin A4X Max menggunakan Superchip Ultra Grace Blackwell GB300 NVIDIA (nvidia-gb300) dan ideal untuk pelatihan dan inferensi model dasar. Jenis mesin A4X Max tersedia sebagai instance bare metal.

A4X Max adalah platform eksaskala yang didasarkan pada NVIDIA GB300 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B300 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat.

Catatan: Untuk mulai menggunakan jenis mesin A4X Max, hubungi tim akun Anda.

						Chip Super Ultra GB300 Grace Blackwell NVIDIA yang terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3.600	4	1.116

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

A4X

Jenis mesin A4X menggunakan Superchip Grace Blackwell GB200 NVIDIA (nvidia-gb200) dan ideal untuk pelatihan dan inferensi model dasar.

A4X adalah platform eksaskala yang didasarkan pada NVIDIA GB200 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B200 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat.

Catatan: Saat menyediakan instance A4X, Anda harus mencadangkan kapasitas untuk membuat instance dan cluster. Kemudian, Anda dapat membuat instance yang menggunakan fitur dan layanan yang tersedia dari AI Hypercomputer. Untuk mengetahui informasi selengkapnya, lihat Ringkasan opsi deployment.

						Superchip Grace Blackwell GB200 NVIDIA yang terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2.000	4	744

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri A4

Catatan: Anda dapat menggunakan alat Pemindai Kesehatan Cluster (CHS) untuk memecahkan masalah cluster GPU seri mesin A4. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah cluster GPU.

Bagian ini menguraikan konfigurasi yang tersedia untuk seri mesin A4. Untuk mengetahui informasi selengkapnya tentang seri mesin ini, lihat Seri mesin yang dioptimalkan untuk akselerator A4 dalam dokumentasi Compute Engine.

A4

Jenis mesin A4 memiliki GPU NVIDIA B200 Blackwell (nvidia-b200) yang terpasang dan ideal untuk pelatihan dan inferensi model dasar.

Catatan: Saat menyediakan jenis mesin A4, Anda harus mencadangkan kapasitas untuk membuat instance atau cluster, menggunakan Spot VM, menggunakan VM mulai fleksibel, atau membuat permintaan pengubahan ukuran di MIG. Untuk mengetahui petunjuk cara membuat instance A4, lihat Ringkasan pembuatan VM dan cluster. .

						GPU NVIDIA B200 Blackwell terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a4-highgpu-8g	224	3.968	12.000	10	3.600	8	1.440

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri A3

Catatan: Anda dapat menggunakan alat CHS untuk memecahkan masalah cluster GPU A3 Ultra, A3 Mega, dan A3 High. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah cluster GPU.

Bagian ini menguraikan konfigurasi yang tersedia untuk seri mesin A3. Untuk mengetahui informasi selengkapnya tentang seri mesin ini, lihat Seri mesin yang dioptimalkan untuk akselerator A3 dalam dokumentasi Compute Engine.

A3 Ultra

Jenis mesin A3 Ultra memiliki GPU NVIDIA H200 SXM (nvidia-h200-141gb) yang terpasang dan memberikan performa jaringan tertinggi dalam seri A3. Jenis mesin A3 Ultra ideal untuk pelatihan dan penayangan model dasar.

Catatan: Saat menyediakan jenis mesin A3 Ultra, Anda harus mencadangkan kapasitas untuk membuat instance atau cluster, menggunakan Spot VM, menggunakan VM mulai fleksibel, atau membuat permintaan pengubahan ukuran di MIG. Untuk mengetahui informasi selengkapnya tentang parameter yang perlu ditetapkan saat membuat instance A3 Ultra, lihat Ringkasan pembuatan VM dan cluster.

						GPU NVIDIA H200 terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a3-ultragpu-8g	224	2.952	12.000	10	3.600	8	1128

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

A3 Mega

Jenis mesin A3 Mega memiliki GPU SXM NVIDIA H100 dan ideal untuk pelatihan model besar dan inferensi multi-host.

Catatan: Saat menyediakan jenis mesin a3-megagpu-8g, sebaiknya gunakan cluster instance ini dan deploy dengan penjadwal seperti Google Kubernetes Engine (GKE) atau Slurm. Untuk petunjuk mendetail tentang salah satu opsi ini, tinjau artikel berikut:

• Untuk membuat cluster Google Kubernetes Engine, lihat Men-deploy cluster Mega A3 dengan GKE.
• Untuk membuat cluster Slurm, lihat Men-deploy cluster Slurm A3 Mega.

						GPU NVIDIA H100 terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3)
a3-megagpu-8g	208	1.872	6.000	9	1.800	8	640

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

A3 Tinggi

Jenis mesin A3 High memiliki GPU NVIDIA H100 SXM dan sangat cocok untuk inferensi model besar dan penyetelan lanjutan model.

Catatan: Saat menyediakan jenis mesin a3-highgpu-1g, a3-highgpu-2g, atau a3-highgpu-4g, Anda harus membuat instance menggunakan Spot VM atau VM mulai fleksibel. Untuk petunjuk mendetail tentang opsi ini, tinjau artikel berikut:

• Untuk membuat Spot VM, tetapkan model penyediaan ke SPOT saat Anda membuat VM yang dioptimalkan akselerator.
• Untuk membuat VM mulai fleksibel, Anda dapat menggunakan salah satu metode berikut:
  • Buat VM mandiri dan tetapkan model penyediaan ke FLEX_START saat Anda membuat VM yang dioptimalkan akselerator.
  • Buat permintaan perubahan ukuran dalam grup instance terkelola (MIG). Untuk mengetahui petunjuknya, lihat Membuat MIG dengan VM GPU.

						GPU NVIDIA H100 terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1.500	1	50	2	160
a3-highgpu-4g	104	936	3.000	1	100	4	320
a3-highgpu-8g	208	1.872	6.000	5	1.000	8	640

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

A3 Edge

Jenis mesin A3 Edge memiliki GPU NVIDIA H100 SXM dan dirancang khusus untuk inferensi dan tersedia di sejumlah region terbatas.

Catatan: Untuk mulai menggunakan instance A3 Edge, lihat Membuat VM A3 dengan GPUDirect-TCPX diaktifkan.

						GPU NVIDIA H100 terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3)
a3-edgegpu-8g	208	1.872	6.000	5	600: untuk asia-south1 dan northamerica-northeast2 400: untuk semua wilayah A3 Edge lainnya	8	640

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Apa langkah selanjutnya?

Untuk mengetahui informasi selengkapnya tentang GPU, lihat halaman berikut dalam dokumentasi Compute Engine:

• Pelajari GPU di Compute Engine.
• Tinjau ketersediaan region dan zona GPU.
• Pelajari harga GPU.