Memilih infrastruktur akselerator

Gunakan dokumen ini untuk mengidentifikasi infrastruktur akselerator yang optimal untuk workload kecerdasan buatan (AI) dan machine learning (ML) Anda berdasarkan tahap siklus proses Anda, seperti pembuatan prototipe skala kecil, inferensi real-time, dan pelatihan terdistribusi masif. AI Hypercomputer mengatur penawaran akselerator ke dalam dua kategori: GPU umum dan GPU ter-cluster.

Infrastruktur GPU

AI Hypercomputer menawarkan dua kategori GPU yang berbeda. Setiap kategori memiliki model pengelolaan yang berbeda yang menentukan cara sistem menangani peristiwa siklus proses, mengelola pemeliharaan, dan mengoptimalkan jaringan untuk workload Anda:

Model pengelolaan GPU umum

Model pengelolaan GPU umum dirancang untuk workload yang memprioritaskan independensi resource dan ketersediaan tinggi. Model ini menggunakan bidang pengelolaan Google Cloud standar, yang memberikan pengalaman yang sudah dikenal bagi tim yang sudah menggunakan Compute Engine atau GKE.

  • Pemeliharaan: asinkron. Setiap instance diupdate secara independen. Dalam fleet inferensi multinode, peristiwa pemeliharaan pada satu node tidak memengaruhi ketersediaan node lain, sehingga traffic dapat dialihkan ke node yang responsif tanpa menghentikan seluruh tugas.

  • Kasus penggunaan utama: direkomendasikan untuk tugas umum seperti inferensi real-time, penyajian model, pembuatan prototipe skala kecil, dan lingkungan pengembangan yang tidak memerlukan skala superkomputer.

Seri mesin GPU umum

Seri mesin berikut adalah GPU umum:

  • A3 High dengan 1, 2, atau 4 GPU
  • A3 Edge
  • A2
  • G4
  • G2
  • N1+T4
  • N1+V100

Untuk mengetahui informasi teknis tentang setiap mesin GPU umum, lihat Jenis mesin GPU.

Model pengelolaan GPU ter-cluster

Model pengelolaan GPU ter-cluster adalah lingkungan kelas superkomputer yang dirancang untuk pelatihan terdistribusi skala besar. Sumber daya dikelola sebagai satu sistem dengan pengaitan erat menggunakan stack GPU ter-cluster.

  • Pemeliharaan: terkoordinasi. Model ini mengoordinasikan peristiwa pemeliharaan untuk mendukung workload yang terkait erat. Untuk pelatihan terdistribusi, Anda dapat menggunakan pemeliharaan yang disinkronkan, di mana update diterapkan di semua node secara bersamaan. Pendekatan ini mencegah mulai ulang node menghentikan tugas dan memaksimalkan goodput. Model ini juga menawarkan notifikasi pemeliharaan 90 hari.

  • Kasus penggunaan utama: dirancang untuk melatih model dasar exascale dengan triliunan parameter atau menjalankan simulasi komputasi berperforma tinggi (HPC) yang kompleks, seperti penemuan obat dan pelipatan protein.

Seri mesin GPU ter-cluster

Seri mesin berikut adalah GPU ter-cluster:

  • A5X
  • A4X Max
  • A4X
  • A4
  • A3 Ultra
  • A3 Mega
  • A3 High dengan 8 GPU

Untuk mengetahui informasi teknis tentang setiap mesin GPU ter-cluster, lihat Jenis mesin GPU.

Matriks kemampuan

Bandingkan karakteristik teknis dan operasional model pengelolaan GPU umum dan GPU ter-cluster:

Karakteristik Model pengelolaan GPU umum Model pengelolaan GPU ter-cluster
Kasus penggunaan utama Inferensi, penyajian model, pembuatan prototipe, dan pengembangan Pelatihan terdistribusi berskala besar dan HPC
Pemeliharaan Asinkron: Update node independen memungkinkan traffic dialihkan tanpa menghentikan tugas Terkoordinasi: Mendukung update terkoordinasi (disinkronkan) di seluruh cluster untuk menjaga node tetap sinkron dan memaksimalkan goodput
Hardware target A3 High (1, 2, atau 4 GPU), A3 Edge, G4, G2, A2, N1+T4, dan N1+V100 A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU)
Jaringan Jaringan VPC standar melalui antarmuka gVNIC (dengan pengecualian A3 Edge, yang menggunakan GPUDirect-TCPX melalui beberapa VPC) Fabric khusus dengan latensi rendah (RDMA, RoCE, TCPX, atau NVIDIA NVLink)
Stack pengelolaan Standard Google Cloud plane (Compute Engine atau GKE) Stack pengelolaan khusus (misalnya, Cluster Director)
Keandalan Perbaikan otomatis node standar dan waktu beroperasi level pod Paket Resource and Recovery khusus

Matriks keputusan

Gunakan matriks ini untuk mengidentifikasi kelompok hardware yang sesuai dengan tujuan workload spesifik Anda:

Jika workload Anda melibatkan... Infrastruktur GPU yang direkomendasikan Seri mesin yang direkomendasikan
Pembuatan prototipe dan pengembangan GPU Umum A3 High (1, 2, atau 4 GPU), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferensi real-time (< 100 miliar parameter) GPU Umum A3 High (1, 2, atau 4 GPU), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferensi di beberapa GPU GPU Ter-cluster A4, A3 Ultra, A3 Mega, A3 High (8 GPU)
Pelatihan dan inferensi berskala besar GPU Ter-cluster A4, A3 Ultra, A3 Mega, A3 High (8 GPU)
Pelatihan skala besar (> 500 miliar parameter) dan inferensi terdisagregasi GPU Ter-cluster A5X, A4X Max, A4X, A4

Untuk mengetahui pohon keputusan mendetail yang memetakan arsitektur model langsung ke hardware, lihat Memilih akselerator.

Setelah menetapkan kriteria utama ini, pilih platform orkestrasi. Pilihan ini bergantung pada preferensi tim Anda untuk pengelolaan otomatis atau kontrol terperinci atas sistem operasi dan driver.

Langkah berikutnya