Ringkasan GPU yang dikelompokkan

GPU yang dikelompokkan

GPU yang dikelompokkan dioptimalkan untuk workload kecerdasan buatan (AI) dan machine learning (ML) yang memprioritaskan pelatihan terdistribusi skala besar, inferensi multi-host, dan tugas komputasi berperforma tinggi (HPC) yang kompleks.

GPU yang dikelompokkan memungkinkan tim men-deploy dan menskalakan ribuan akselerator yang saling terhubung sebagai satu sistem yang terhubung erat dengan menggunakan fabric jaringan khusus dan pemeliharaan yang disinkronkan. Kelompok mesin ini ideal untuk workload yang memerlukan komputasi ekstrem, memori, dan sinkronisasi jaringan berkecepatan tinggi. Kasus penggunaan umum mencakup pra-pelatihan model dasar dengan triliunan parameter, serving model mutakhir, dan simulasi untuk penemuan obat.

Karakteristik utama GPU Bercluster

• Pemeliharaan yang disinkronkan: Google Cloud memperbarui semua node dalam cluster secara bersamaan, sehingga mencegah satu tugas terhenti karena satu node dimulai ulang.
• Pemantauan kondisi otomatis: sistem secara proaktif mengidentifikasi instance yang lambat dan memantau kegagalan hardware atau kerusakan data yang tidak terdeteksi.
• Penggantian node proaktif: sistem mengeluarkan dan menjadwalkan ulang VM yang berperforma buruk di komputer yang berfungsi baik dari kumpulan cadangan.
• Topologi yang sesuai jalur: topologi yang sesuai jalur mengisolasi traffic GPU-ke-GPU dari komunikasi host standar untuk membantu memastikan performa bebas jitter untuk koordinasi multi-node yang besar.
• Protokol lanjutan: seri mesin ini mendukung interkoneksi bandwidth tinggi, termasuk GPUDirect RDMA (berdasarkan RoCE).

Kelompok GPU yang dikelompokkan dan spesifikasi teknis

Tinjau workload dan spesifikasi hardware untuk seri mesin GPU Berkelompok premium dalam tabel ini. Untuk pelatihan eksaskala, gunakan seri A4X atau A3 Ultra.

Seri A4X Max dan A4X

Perhatian: Perjanjian Tingkat Layanan (SLA) Compute Engine tidak berlaku untuk seri mesin A4X Max dan A4X.

Jika Anda melatih model dasar eksaskala besar atau menjalankan simulasi komputasi berperforma tinggi (HPC) bare metal yang sangat kompleks, gunakan seri mesin A4X Max atau A4X. Seri ini dilengkapi dengan Superchip Ultra Grace Blackwell GB300 NVIDIA untuk menangani permintaan komputasi dan memori yang ekstrem.

A4X Max (Bare metal)

Jenis mesin A4X Max menggunakan Superchip Ultra Grace Blackwell GB300 NVIDIA (nvidia-gb300) dan ideal untuk pelatihan dan inferensi model dasar. Jenis mesin A4X Max tersedia sebagai instance bare metal.

A4X Max adalah platform exascale yang didasarkan pada NVIDIA GB300 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B300 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat.

Catatan: Saat menyediakan instance A4X Max, Anda harus mencadangkan kapasitas untuk membuat instance dan cluster. Kemudian, Anda dapat membuat instance yang menggunakan fitur dan layanan yang tersedia dari AI Hypercomputer. Untuk mengetahui informasi selengkapnya, lihat Ringkasan opsi deployment.

						NVIDIA GB300 Grace Blackwell Ultra Superchips terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3.600	4	1.116

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

A4X

Jenis mesin A4X menggunakan Superchip Grace Blackwell GB200 NVIDIA (nvidia-gb200) dan ideal untuk pelatihan model dan inferensi.

A4X adalah platform exascale yang didasarkan pada NVIDIA GB200 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B200 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat.

Catatan: Saat menyediakan instance A4X, Anda harus mencadangkan kapasitas untuk membuat instance dan cluster. Kemudian, Anda dapat membuat instance yang menggunakan fitur dan layanan yang tersedia dari AI Hypercomputer. Untuk mengetahui informasi selengkapnya, lihat Ringkasan opsi deployment.

						Chip Super NVIDIA GB200 Grace Blackwell terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2.000	4	744

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri A4

Jika sasaran Anda adalah melatih model dasar canggih yang memerlukan skala pemrosesan paralel yang sangat besar, gunakan seri mesin A4 untuk mengoptimalkan waktu pemrosesan dan memaksimalkan throughput hardware.

Jenis mesin A4 memiliki GPU NVIDIA B200 Blackwell (nvidia-b200) yang terpasang dan ideal untuk pelatihan dan inferensi model dasar.

Catatan: Saat menyediakan jenis mesin A4, Anda harus mencadangkan kapasitas untuk membuat instance atau cluster, menggunakan Spot VM, menggunakan VM mulai fleksibel, atau membuat permintaan pengubahan ukuran di MIG. Untuk mengetahui petunjuk cara membuat instance A4, lihat Ringkasan pembuatan VM dan cluster. .

						GPU NVIDIA B200 Blackwell terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a4-highgpu-8g	224	3.968	12.000	10	3.600	8	1.440

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri A3 (Ultra, Mega, dan High dengan 8 GPU)

Jika Anda perlu menjalankan pelatihan terdistribusi berskala besar atau menayangkan model mutakhir di beberapa host dengan tabel set data besar, gunakan seri mesin A3 untuk meminimalkan latensi jaringan antar-host.

A3 Ultra

Catatan: Saat menyediakan jenis mesin A3 Ultra, Anda harus mencadangkan kapasitas untuk membuat instance atau cluster, menggunakan Spot VM, menggunakan VM mulai fleksibel, atau membuat permintaan pengubahan ukuran di MIG. Untuk mengetahui informasi selengkapnya tentang parameter yang harus disetel saat membuat instance A3 Ultra, lihat Ringkasan pembuatan VM dan cluster.

						GPU NVIDIA H200 terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3e)
a3-ultragpu-8g	224	2.952	12.000	10	3.600	8	1128

A3 Mega

Catatan: Saat menyediakan jenis mesin a3-megagpu-8g, sebaiknya gunakan cluster instance ini dan deploy dengan penjadwal seperti Google Kubernetes Engine (GKE) atau Slurm. Untuk mengetahui petunjuk mendetail tentang salah satu opsi ini, tinjau artikel berikut:

• Untuk membuat cluster Google Kubernetes Engine, lihat Men-deploy cluster Mega A3 dengan GKE.
• Untuk membuat cluster Slurm, lihat Men-deploy cluster Slurm A3 Mega.

						GPU NVIDIA H100 terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3)
a3-megagpu-8g	208	1.872	6.000	9	1.800	8	640

A3 Tinggi

Catatan: Saat menyediakan jenis mesin a3-highgpu-1g, a3-highgpu-2g, atau a3-highgpu-4g, Anda harus membuat instance menggunakan Spot VM atau VM dengan mulai fleksibel. Untuk mengetahui petunjuk mendetail tentang opsi ini, tinjau artikel berikut:

• Untuk membuat Spot VM, tetapkan model penyediaan ke SPOT saat Anda membuat VM yang dioptimalkan akselerator.
• Untuk membuat VM mulai fleksibel, Anda dapat menggunakan salah satu metode berikut:
  • Buat VM mandiri dan tetapkan model penyediaan ke FLEX_START saat Anda membuat VM yang dioptimalkan akselerator.
  • Buat permintaan perubahan ukuran di grup instance terkelola (MIG). Untuk mengetahui petunjuknya, lihat Membuat MIG dengan VM GPU.

						GPU NVIDIA H100 terpasang
Jenis mesin	Jumlah vCPU^1	Memori instance (GB)	SSD Lokal yang Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)^2	Jumlah GPU	Memori GPU^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1.500	1	50	2	160
a3-highgpu-4g	104	936	3.000	1	100	4	320
a3-highgpu-8g	208	1.872	6.000	5	1.000	8	640

¹vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
²Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
³Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Akuisisi kapasitas

Mendapatkan kapasitas komputasi untuk GPU Berkelompok memerlukan koordinasi untuk mengelola penawaran dan permintaan akselerator berperforma tinggi. Karena resource ini berlokasi secara fisik dalam fabric jaringan khusus, Anda harus memintanya melalui alur kerja terkelola.

Anda dapat memesan kapasitas melalui tim akun atau menggunakan pemesanan mendatang dan Dynamic Workload Scheduler.

Langkah berikutnya

• Untuk mempelajari cara mendapatkan kapasitas, lihat Opsi penggunaan.
• Untuk mengevaluasi persyaratan infrastruktur Anda, lihat Memilih infrastruktur.
• Untuk merencanakan topologi jaringan, lihat Persyaratan jaringan GPU untuk lingkungan berkluster.
• Untuk mencadangkan resource komputasi, lihat Mencadangkan kapasitas.