Cluster pelatihan Gemini Enterprise Agent Platform mendukung berbagai jenis mesin untuk mengakomodasi berbagai workload. Anda dapat memilih dari opsi berikut saat mengonfigurasi node pool cluster.
Jenis mesin yang dioptimalkan untuk akselerator
| Jenis mesin | GPU | GPU per node |
|---|---|---|
a4x-highgpu-4g |
NVIDIA GB200 | 4 |
a4-highgpu-8g |
NVIDIA B200 | 8 |
a3-ultragpu-8g |
NVIDIA H200 | 8 |
a3-megagpu-8g |
NVIDIA H100 | 8 |
a3-highgpu-8g |
NVIDIA H100 | 8 |
g4-standard-48 |
NVIDIA RTX PRO 6000 Blackwell | 1 |
g4-standard-96 |
NVIDIA RTX PRO 6000 Blackwell | 2 |
g4-standard-192 |
NVIDIA RTX PRO 6000 Blackwell | 4 |
g4-standard-384 |
NVIDIA RTX PRO 6000 Blackwell | 8 |
Jenis mesin CPU dan HPC
| Jenis mesin | Deskripsi |
|---|---|
Keluarga N2: n2-standard-*, n2-highmem-*, n2-highcpu-* |
Node tujuan umum untuk pra-pemrosesan data, orkestrasi tugas, dan pekerjaan lain yang tidak memerlukan akselerator. N2 juga didukung untuk node login Slurm. |
Keluarga N4: n4-standard-*, n4-highmem-*, n4-highcpu-* |
Node tujuan umum untuk workload yang sama dengan N2. Anda juga dapat menggunakan N4 untuk node login Slurm. N4 hanya mendukung boot disk Hyperdisk Balanced (hyperdisk-balanced). Jika Anda tidak menetapkan boot_disk.boot_disk_type, hyperdisk-balanced akan digunakan. |
Kelompok N4D: n4d-standard-*, n4d-highmem-*, n4d-highcpu-* |
Node AMD EPYC tujuan umum untuk workload yang sama dengan N2. N4D juga didukung untuk node login Slurm. N4D hanya mendukung boot disk Google Cloud Hyperdisk Balanced (hyperdisk-balanced), yang merupakan default jika boot_disk.boot_disk_type tidak ditetapkan. |
Kelompok C4: c4-standard-*, c4-highmem-*, c4-highcpu-* |
Node tujuan umum untuk pra-pemrosesan, orkestrasi, dan workload CPU yang memerlukan komputasi intensif. C4 juga didukung untuk node login Slurm. C4 hanya mendukung boot disk Google Cloud Hyperdisk Balanced (hyperdisk-balanced), yang merupakan default jika boot_disk.boot_disk_type tidak ditetapkan. Varian -lssd dan -metal tidak didukung. |
Kelompok C4D: c4d-standard-*, c4d-highmem-*, c4d-highcpu-* |
Node AMD EPYC tujuan umum untuk pra-pemrosesan, orkestrasi, dan workload CPU yang memerlukan komputasi intensif. C4D hanya mendukung boot disk Google Cloud Hyperdisk Balanced (hyperdisk-balanced), yang merupakan default jika boot_disk.boot_disk_type tidak ditetapkan. Varian -lssd dan -metal tidak didukung. |
Kelompok C4A: c4a-standard-*, c4a-highmem-*, c4a-highcpu-* |
Node berbasis Arm (Axion), hanya didukung untuk node login Slurm, dan hanya di cluster yang node pool komputasinya juga berbasis Arm. Varian -lssd dan -metal tidak didukung. |
Kelompok H4D: h4d-standard-*, h4d-highmem-* |
Node yang dioptimalkan untuk HPC dengan jaringan RDMA, untuk workload simulasi dan pra-pemrosesan yang pengaitan erat. |
Node login C4A
Node login C4A berbasis Arm dan hanya didukung di cluster yang setiap node pool komputasinya juga berbasis Arm, seperti A4X. Cluster yang menyambungkan node login C4A dengan node pool komputasi x86, seperti N2 atau A3, akan ditolak saat Anda membuatnya.
Karena node login dan node komputasi memiliki arsitektur yang sama, biner dan image container yang Anda bangun di node login akan berjalan di node komputasi tempat Anda mengirimkannya.
C4A hanya mendukung boot disk hyperdisk-balanced, yang merupakan default.
Jenis mesin A4X
Cluster pelatihan Gemini Enterprise Agent Platform mendukung jenis mesin yang dioptimalkan akselerator A4X (a4x-highgpu-4g), platform exascale yang didasarkan pada arsitektur skala rak NVIDIA GB200 NVL72.
Perbandingan arsitektur
Tabel berikut menguraikan perbedaan hardware mendasar antara keluarga A4X dan keluarga yang dioptimalkan untuk akselerator lainnya.
| Fitur | A4X (a4x-highgpu-4g) | A3 / A4H |
|---|---|---|
| Arsitektur CPU | ARM | X86 |
| Jumlah GPU | 4 GPU per node | 8 GPU per node |
| Jenis Reservasi | Mode semua kapasitas | Mode Terkelola |
| Kebijakan Penempatan | Ketat (Ringkas) | Fleksibel |
Panduan khusus A4X
- Jumlah VM node pool A4X Anda harus merupakan kelipatan 18 (misalnya, 18, 36, 54). Hal ini diperlukan karena kapasitas A4X disediakan dalam blok 18 node tetap yang tidak dapat dibagikan, yang disebut domain NVLink. Domain ini terikat oleh Kebijakan Penempatan Rapat yang ketat, dan setiap blok yang dialokasikan sebagian tidak dapat digunakan oleh cluster lain.
- Karena arsitektur berbasis ARM dari node A4X, Anda harus melakukan dua perubahan penting
pada workload pelatihan:
- Gunakan image yang Kompatibel dengan ARM: Semua tugas pelatihan harus menggunakan image container yang dibuat untuk arsitektur ARM.
- Beradaptasi untuk 4 GPU: Logika pelatihan terdistribusi Anda harus diperbarui agar dapat mengenali dan menggunakan 4 GPU yang tersedia di setiap node A4X dengan benar.
- Proses Pelaporan Fault host dan periode nonaktif
Saat Anda melaporkan host sebagai rusak, perhatikan proses pemulihan berikut:
- Tidak ada kapasitas standby: Sistem tidak menggunakan kumpulan cadangan standby untuk penggantian node instan.
- Pemulihan berbasis perbaikan: Node tetap tidak tersedia hingga host fisik yang mendasarinya diperbaiki.
- Periode nonaktif yang diperpanjang: Proses perbaikan ini biasanya memerlukan waktu 3 hingga 14 hari.
Penyediaan kapasitas
Memilih model penyediaan yang tepat sangat penting untuk menyeimbangkan biaya, kecepatan, dan ketersediaan resource. Lihat opsi penyediaan berikut:
RESERVATION: Mengalokasikan node dari pemesanan Compute Engine tertentu yang telah Anda buat sebelumnya. Model ini memastikan kapasitas dan merupakan pilihan yang direkomendasikan untuk resource dengan permintaan tinggi.FLEX_START: Menggunakan Dynamic Workload Scheduler untuk mengantrekan tugas Anda. Tugas akan dimulai secara otomatis segera setelah resource komputasi yang diminta tersedia, sehingga menawarkan waktu mulai yang fleksibel tanpa memerlukan pemesanan.SPOT: Menyediakan node pool menggunakan Spot VM. Opsi ini adalah opsi yang paling hemat biaya, tetapi hanya boleh digunakan untuk workload yang fault-tolerant dan dapat menangani gangguan, karena VM dapat di-preempt kapan saja.ON_DEMAND: Ini adalah opsi default untuk node pool khusus CPU dan paling cocok untuk jenis mesin yang tidak langka. Layanan ini menyediakan instance VM standar dengan harga bayar sesuai penggunaan yang dapat diprediksi.
Gunakan panduan berikut untuk menentukan pilihan Anda:
Untuk resource GPU yang banyak dibutuhkan (seperti A3 dan A4): Model
RESERVATIONsangat direkomendasikan. Hal ini memastikan Anda memiliki akses khusus ke kapasitas yang Anda perlukan untuk tugas pelatihan penting.Untuk workload yang fleksibel atau bursty: Pertimbangkan
FLEX_STARTatauSPOT.FLEX_STARTmengantrekan tugas Anda hingga resource tersedia, sedangkanSPOTmenawarkan penghematan biaya yang signifikan untuk tugas fault-tolerant yang dapat menangani preemption.Untuk jenis mesin yang melimpah: Model
ON_DEMANDadalah pilihan yang lebih disukai. Gunakan untuk jenis mesin yang tidak langka dan ketersediaan langsungnya bukanlah masalah.
Menggunakan pemesanan bersama (opsional)
Jika Anda ingin menggunakan pemesanan bersama, bukan pemesanan lokal, ada langkah-langkah tambahan yang harus dilakukan sebelum Anda dapat membuat cluster.
Sebelum menggunakan pemesanan bersama dengan cluster pelatihan Gemini Enterprise Agent Platform, pastikan
pemesanan bersama
berfungsi dengan membuat VM secara manual yang menggunakan pemesanan bersama.
Jika pembuatan VM ini berhasil, lanjutkan ke langkah berikutnya.
Dalam konfigurasi pembuatan cluster, gunakan nama pemesanan dalam format berikut:
projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME.
Langkah berikutnya
Setelah memilih opsi komputasi dan penyediaan untuk cluster pelatihan, Anda siap membuat cluster dan menjalankan workload di dalamnya.
- Buat pemesanan Compute Engine: Model
RESERVATIONdigunakan untuk mengalokasikan resource dengan permintaan tinggi seperti GPU. Pelajari cara membuat reservasi baru di Compute Engine untuk mendapatkan akses khusus ke resource yang Anda perlukan. - Buat cluster pelatihan: Terapkan konfigurasi yang telah Anda pelajari
dengan mengikuti panduan langkah demi langkah untuk membuat cluster pelatihan persisten
pertama Anda menggunakan Agent Platform API atau
gcloud. - Kirim tugas pelatihan ke cluster Anda: Setelah cluster aktif, langkah berikutnya adalah menjalankan workload. Kirimkan
CustomJobyang menargetkan cluster persisten Anda untuk dieksekusi. - Sesuaikan kode Anda untuk pelatihan terdistribusi: Untuk memanfaatkan sepenuhnya cluster multi-node, sesuaikan kode pelatihan Anda untuk lingkungan terdistribusi.