Ringkasan GPU yang dikelompokkan

GPU ter-cluster

GPU ter-cluster dioptimalkan untuk workload kecerdasan buatan (AI) dan machine learning (ML) yang memprioritaskan pelatihan terdistribusi skala besar, inferensi multi-host, dan tugas komputasi berperforma tinggi (HPC) yang kompleks.

GPU ter-cluster memungkinkan tim men-deploy dan menskalakan ribuan akselerator yang saling terhubung sebagai satu sistem dengan pengaitan erat menggunakan fabric jaringan khusus dan pemeliharaan yang disinkronkan. Kelompok mesin ini ideal untuk workload yang memerlukan komputasi, memori, dan sinkronisasi jaringan berkecepatan tinggi yang ekstrem. Kasus penggunaan umum mencakup prapelatihan model dasar dengan triliunan parameter, penyajian model termutakhir, dan simulasi untuk penemuan obat.

Karakteristik utama GPU Ter-cluster

• Pemeliharaan yang disinkronkan: Google Cloud mengupdate semua node dalam cluster secara bersamaan, sehingga mencegah mulai ulang satu node menghentikan tugas.
• Pemantauan kondisi otomatis: sistem secara proaktif mengidentifikasi straggler dan memantau kegagalan hardware atau kerusakan data yang tidak terdeteksi.
• Penggantian node proaktif: sistem mengeluarkan dan menjadwalkan ulang VM yang berperforma buruk pada mesin yang responsif dari pool cadangan.
• Topologi rail-aligned: topologi rail-aligned mengisolasi traffic GPU-ke-GPU dari komunikasi host standar untuk membantu memastikan performa bebas jitter untuk koordinasi multi-node yang masif.
• Protokol lanjutan: seri mesin ini mendukung interkoneksi bandwidth tinggi, termasuk GPUDirect RDMA (berbasis RoCE).

Kelompok GPU ter-cluster dan spesifikasi teknis

Tinjau workload dan spesifikasi hardware untuk seri mesin GPU Ter-cluster premium dalam tabel ini. Untuk pelatihan exascale, gunakan seri A5X, A4X Max, A4X, atau A3 Ultra.

Seri A5X

Perhatian: Perjanjian Tingkat Layanan (SLA) Compute Engine tidak berlaku untuk seri mesin A5X.

Jika Anda melatih model dasar berskala besar, menjalankan inferensi untuk model penalaran, atau menjalankan simulasi komputasi berperforma tinggi (HPC) yang kompleks di bare metal, gunakan seri mesin A5X. Seri ini dilengkapi superchip NVIDIA Vera Rubin untuk menangani permintaan komputasi dan memori yang tinggi.

Jenis mesin A5X menggunakan superchip NVIDIA Vera Rubin dan ideal untuk pelatihan, penalaran, dan inferensi model dasar. Jenis mesin A5X tersedia sebagai instance bare metal.

A5X adalah platform exascale yang didasarkan pada NVIDIA Vera Rubin NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Vera. CPU ini terhubung ke empat GPU NVIDIA Rubin dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A5X.

Catatan: Untuk mulai menggunakan instance A5X, hubungi tim akun Anda untuk memesan kapasitas dan mendapatkan petunjuk untuk membuat instance dan cluster.

Jenis mesin	Jumlah vCPU	Memori instance (GB)	SSD Lokal Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)	Jumlah GPU NVIDIA Rubin	Memori GPU (GB HBM4)
a5x-highgpu-4g-metal	176	1.440	48.000	10	7.200	4	1.152

Catatan berikut berlaku untuk tabel sebelumnya:

• Jumlah vCPU: untuk instance bare metal A5X, jumlah vCPU 176 mewakili 176 core CPU fisik di dua soket 88 core pada platform CPU NVIDIA Vera.
• Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
• Memori GPU: Memori GPU adalah memori pada perangkat GPU yang menyimpan data sementara. Memori ini terpisah dari memori instance dan menangani permintaan bandwidth yang lebih tinggi dari workload yang memerlukan banyak grafis.

Seri A4X Max dan A4X

Perhatian: Perjanjian Tingkat Layanan (SLA) Compute Engine tidak berlaku untuk seri mesin A4X Max dan A4X.

Jika Anda melatih model dasar exascale yang sangat besar atau menjalankan simulasi komputasi berperforma tinggi (HPC) bare-metal yang sangat kompleks, gunakan seri mesin A4X Max atau A4X. Seri ini dilengkapi superchip NVIDIA GB300 Grace Blackwell Ultra untuk menangani permintaan komputasi dan memori yang ekstrem.

A4X Max (Bare metal)

Jenis mesin A4X Max menggunakan NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300) dan ideal untuk pelatihan dan inferensi model dasar. Jenis mesin A4X Max tersedia sebagai instance bare metal.

A4X Max adalah platform exascale yang didasarkan pada NVIDIA GB300 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B300 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4X Max dan A4X.

Catatan: Saat menyediakan instance A4X Max, Anda harus memesan kapasitas untuk membuat instance dan cluster. Kemudian, Anda dapat membuat instance yang menggunakan fitur dan layanan yang tersedia dari AI Hypercomputer. Untuk mengetahui informasi selengkapnya, lihat Ringkasan opsi deployment.

Jenis mesin	Jumlah vCPU	Memori instance (GB)	SSD Lokal Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)	Jumlah GPU NVIDIA GB300	Memori GPU (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3.600	4	1.116

Catatan berikut berlaku untuk tabel sebelumnya:

• Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
• Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
• Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

A4X

Jenis mesin A4X menggunakan Superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200) dan ideal untuk pelatihan dan inferensi model dasar.

A4X adalah platform exascale yang didasarkan pada NVIDIA GB200 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B200 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4X Max dan A4X.

Catatan: Saat menyediakan instance A4X, Anda harus memesan kapasitas untuk membuat instance dan cluster. Kemudian, Anda dapat membuat instance yang menggunakan fitur dan layanan yang tersedia dari AI Hypercomputer. Untuk mengetahui informasi selengkapnya, lihat Ringkasan opsi deployment.

Jenis mesin	Jumlah vCPU	Memori instance (GB)	SSD Lokal Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)	Jumlah GPU NVIDIA GB200	Memori GPU (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2.000	4	744

Catatan berikut berlaku untuk tabel sebelumnya:

• Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
• Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
• Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Seri A4

Jika sasaran Anda adalah melatih model dasar canggih yang memerlukan skala pemrosesan paralel yang besar, gunakan seri mesin A4 untuk mengoptimalkan waktu pemrosesan dan memaksimalkan throughput hardware.

Jenis mesin A4 memiliki GPU NVIDIA B200 Blackwell (nvidia-b200) yang terpasang dan ideal untuk pelatihan dan inferensi model dasar. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4.

Catatan: Saat menyediakan jenis mesin A4, Anda harus memesan kapasitas untuk membuat instance atau cluster, menggunakan Spot VM, menggunakan Flex-start VM, atau membuat permintaan ubah ukuran di MIG. Untuk mengetahui petunjuk cara membuat instance A4, lihat Ringkasan membuat VM dan cluster. .

Jenis mesin	Jumlah vCPU	Memori instance (GB)	SSD Lokal Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)	Jumlah GPU NVIDIA B200 Blackwell	Memori GPU (GB HBM3e)
a4-highgpu-8g	224	3.968	12.000	10	3.600	8	1.440

Catatan berikut berlaku untuk tabel sebelumnya:

• Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
• Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
• Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Seri A3 (Ultra, Mega, dan High dengan 8 GPU)

Jika Anda perlu menjalankan pelatihan terdistribusi berskala besar atau menyajikan model termutakhir di beberapa host dengan tabel set data besar, gunakan seri mesin A3 untuk meminimalkan latensi jaringan antar-host.

A3 Ultra

Catatan: Saat menyediakan jenis mesin A3 Ultra, Anda harus memesan kapasitas untuk membuat instance atau cluster, menggunakan Spot VM, menggunakan Flex-start VM, atau membuat permintaan ubah ukuran di MIG. Untuk mengetahui informasi selengkapnya tentang parameter yang harus ditetapkan saat membuat instance A3 Ultra, lihat Ringkasan pembuatan VM dan cluster.

Jenis mesin	Jumlah vCPU	Memori instance (GB)	SSD Lokal Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)	Jumlah GPU NVIDIA H200	Memori GPU (GB HBM3e)
a3-ultragpu-8g	224	2.952	12.000	10	3.600	8	1128

A3 Mega

Catatan: Saat menyediakan jenis mesin a3-megagpu-8g, sebaiknya gunakan cluster instance ini dan deploy dengan penjadwal seperti Google Kubernetes Engine (GKE) atau Slurm. Untuk mengetahui petunjuk mendetail tentang salah satu opsi ini, tinjau hal berikut:

• Untuk membuat cluster Google Kubernetes Engine, lihat Men-deploy cluster A3 Mega dengan GKE.
• Untuk membuat cluster Slurm, lihat Men-deploy cluster Slurm A3 Mega.

Jenis mesin	Jumlah vCPU	Memori instance (GB)	SSD Lokal Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)	Jumlah GPU NVIDIA H100	Memori GPU (GB HBM3)
a3-megagpu-8g	208	1.872	6.000	9	1.800	8	640

A3 High

Catatan: Saat menyediakan jenis mesin a3-highgpu-1g, a3-highgpu-2g, atau a3-highgpu-4g, Anda harus membuat instance menggunakan Spot VM atau Flex-start VM. Untuk mengetahui petunjuk mendetail tentang opsi ini, tinjau referensi berikut:

• Untuk membuat Spot VM, tetapkan model penyediaan ke SPOT saat Anda membuat VM yang dioptimalkan akselerator.
• Untuk membuat VM Flex-start, Anda dapat menggunakan salah satu metode berikut:
  • Buat VM mandiri dan tetapkan model penyediaan ke FLEX_START saat Anda membuat VM yang dioptimalkan akselerator.
  • Membuat permintaan ubah ukuran di grup instance terkelola (MIG). Untuk mengetahui petunjuknya, lihat Membuat MIG dengan VM GPU.

Jenis mesin	Jumlah vCPU	Memori instance (GB)	SSD Lokal Terpasang (GiB)	Jumlah NIC fisik	Bandwidth jaringan maksimum (Gbps)	Jumlah GPU NVIDIA H100	Memori GPU (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1.500	1	50	2	160
a3-highgpu-4g	104	936	3.000	1	100	4	320
a3-highgpu-8g	208	1.872	6.000	5	1.000	8	640

Catatan berikut berlaku untuk tabel sebelumnya:

• Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
• Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
• Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Akuisisi kapasitas

Mendapatkan kapasitas komputasi untuk GPU Ter-cluster memerlukan koordinasi untuk mengelola pasokan dan permintaan akselerator berperforma tinggi. Karena resource ini secara fisik berada dalam fabric jaringan khusus, Anda harus memintanya melalui alur kerja terkelola.

Anda dapat memesan kapasitas melalui tim akun Anda atau menggunakan pemesanan untuk masa mendatang dan Dynamic Workload Scheduler.

Langkah berikutnya

• Untuk mempelajari cara mendapatkan kapasitas, lihat Opsi pemakaian.
• Untuk mengevaluasi persyaratan infrastruktur Anda, lihat Memilih infrastruktur.
• Untuk merencanakan topologi jaringan Anda, lihat Persyaratan jaringan GPU untuk lingkungan yang dikelompokkan.
• Untuk mencadangkan resource komputasi, lihat Mencadangkan kapasitas.