Resource komputasi

Jika Anda tertarik dengan cluster pelatihan Gemini Enterprise Agent Platform, hubungi sales representative Anda untuk mendapatkan akses.

Cluster pelatihan Gemini Enterprise Agent Platform mendukung berbagai jenis mesin untuk mengakomodasi berbagai workload. Anda dapat memilih dari opsi berikut saat mengonfigurasi node pool cluster.

Jenis mesin yang dioptimalkan untuk akselerator

Jenis mesin GPU GPU per node
a4x-highgpu-4g NVIDIA GB200 4
a4-highgpu-8g NVIDIA B200 8
a3-ultragpu-8g NVIDIA H200 8
a3-megagpu-8g NVIDIA H100 8
a3-highgpu-8g NVIDIA H100 8
g4-standard-48 NVIDIA RTX PRO 6000 Blackwell 1
g4-standard-96 NVIDIA RTX PRO 6000 Blackwell 2
g4-standard-192 NVIDIA RTX PRO 6000 Blackwell 4
g4-standard-384 NVIDIA RTX PRO 6000 Blackwell 8

Jenis mesin CPU dan HPC

Jenis mesin Deskripsi
Keluarga N2: n2-standard-*, n2-highmem-*, n2-highcpu-* Node tujuan umum untuk pra-pemrosesan data, orkestrasi tugas, dan pekerjaan lain yang tidak memerlukan akselerator. N2 juga didukung untuk node login Slurm.
Keluarga N4: n4-standard-*, n4-highmem-*, n4-highcpu-* Node tujuan umum untuk workload yang sama dengan N2. Anda juga dapat menggunakan N4 untuk node login Slurm. N4 hanya mendukung boot disk Hyperdisk Balanced (hyperdisk-balanced). Jika Anda tidak menetapkan boot_disk.boot_disk_type, hyperdisk-balanced akan digunakan.
Kelompok N4D: n4d-standard-*, n4d-highmem-*, n4d-highcpu-* Node AMD EPYC tujuan umum untuk workload yang sama dengan N2. N4D juga didukung untuk node login Slurm. N4D hanya mendukung boot disk Google Cloud Hyperdisk Balanced (hyperdisk-balanced), yang merupakan default jika boot_disk.boot_disk_type tidak ditetapkan.
Kelompok C4: c4-standard-*, c4-highmem-*, c4-highcpu-* Node tujuan umum untuk pra-pemrosesan, orkestrasi, dan workload CPU yang memerlukan komputasi intensif. C4 juga didukung untuk node login Slurm. C4 hanya mendukung boot disk Google Cloud Hyperdisk Balanced (hyperdisk-balanced), yang merupakan default jika boot_disk.boot_disk_type tidak ditetapkan. Varian -lssd dan -metal tidak didukung.
Kelompok C4D: c4d-standard-*, c4d-highmem-*, c4d-highcpu-* Node AMD EPYC tujuan umum untuk pra-pemrosesan, orkestrasi, dan workload CPU yang memerlukan komputasi intensif. C4D hanya mendukung boot disk Google Cloud Hyperdisk Balanced (hyperdisk-balanced), yang merupakan default jika boot_disk.boot_disk_type tidak ditetapkan. Varian -lssd dan -metal tidak didukung.
Kelompok C4A: c4a-standard-*, c4a-highmem-*, c4a-highcpu-* Node berbasis Arm (Axion), hanya didukung untuk node login Slurm, dan hanya di cluster yang node pool komputasinya juga berbasis Arm. Varian -lssd dan -metal tidak didukung.
Kelompok H4D: h4d-standard-*, h4d-highmem-* Node yang dioptimalkan untuk HPC dengan jaringan RDMA, untuk workload simulasi dan pra-pemrosesan yang pengaitan erat.

Node login C4A

Node login C4A berbasis Arm dan hanya didukung di cluster yang setiap node pool komputasinya juga berbasis Arm, seperti A4X. Cluster yang menyambungkan node login C4A dengan node pool komputasi x86, seperti N2 atau A3, akan ditolak saat Anda membuatnya.

Karena node login dan node komputasi memiliki arsitektur yang sama, biner dan image container yang Anda bangun di node login akan berjalan di node komputasi tempat Anda mengirimkannya.

C4A hanya mendukung boot disk hyperdisk-balanced, yang merupakan default.

Jenis mesin A4X

Cluster pelatihan Gemini Enterprise Agent Platform mendukung jenis mesin yang dioptimalkan akselerator A4X (a4x-highgpu-4g), platform exascale yang didasarkan pada arsitektur skala rak NVIDIA GB200 NVL72.

Perbandingan arsitektur

Tabel berikut menguraikan perbedaan hardware mendasar antara keluarga A4X dan keluarga yang dioptimalkan untuk akselerator lainnya.

Fitur A4X (a4x-highgpu-4g) A3 / A4H
Arsitektur CPU ARM X86
Jumlah GPU 4 GPU per node 8 GPU per node
Jenis Reservasi Mode semua kapasitas Mode Terkelola
Kebijakan Penempatan Ketat (Ringkas) Fleksibel

Panduan khusus A4X

  • Jumlah VM node pool A4X Anda harus merupakan kelipatan 18 (misalnya, 18, 36, 54). Hal ini diperlukan karena kapasitas A4X disediakan dalam blok 18 node tetap yang tidak dapat dibagikan, yang disebut domain NVLink. Domain ini terikat oleh Kebijakan Penempatan Rapat yang ketat, dan setiap blok yang dialokasikan sebagian tidak dapat digunakan oleh cluster lain.
  • Karena arsitektur berbasis ARM dari node A4X, Anda harus melakukan dua perubahan penting pada workload pelatihan:
    • Gunakan image yang Kompatibel dengan ARM: Semua tugas pelatihan harus menggunakan image container yang dibuat untuk arsitektur ARM.
    • Beradaptasi untuk 4 GPU: Logika pelatihan terdistribusi Anda harus diperbarui agar dapat mengenali dan menggunakan 4 GPU yang tersedia di setiap node A4X dengan benar.
  • Proses Pelaporan Fault host dan periode nonaktif Saat Anda melaporkan host sebagai rusak, perhatikan proses pemulihan berikut:
    • Tidak ada kapasitas standby: Sistem tidak menggunakan kumpulan cadangan standby untuk penggantian node instan.
    • Pemulihan berbasis perbaikan: Node tetap tidak tersedia hingga host fisik yang mendasarinya diperbaiki.
    • Periode nonaktif yang diperpanjang: Proses perbaikan ini biasanya memerlukan waktu 3 hingga 14 hari.

Penyediaan kapasitas

Memilih model penyediaan yang tepat sangat penting untuk menyeimbangkan biaya, kecepatan, dan ketersediaan resource. Lihat opsi penyediaan berikut:

  • RESERVATION: Mengalokasikan node dari pemesanan Compute Engine tertentu yang telah Anda buat sebelumnya. Model ini memastikan kapasitas dan merupakan pilihan yang direkomendasikan untuk resource dengan permintaan tinggi.

  • FLEX_START: Menggunakan Dynamic Workload Scheduler untuk mengantrekan tugas Anda. Tugas akan dimulai secara otomatis segera setelah resource komputasi yang diminta tersedia, sehingga menawarkan waktu mulai yang fleksibel tanpa memerlukan pemesanan.

  • SPOT: Menyediakan node pool menggunakan Spot VM. Opsi ini adalah opsi yang paling hemat biaya, tetapi hanya boleh digunakan untuk workload yang fault-tolerant dan dapat menangani gangguan, karena VM dapat di-preempt kapan saja.

  • ON_DEMAND: Ini adalah opsi default untuk node pool khusus CPU dan paling cocok untuk jenis mesin yang tidak langka. Layanan ini menyediakan instance VM standar dengan harga bayar sesuai penggunaan yang dapat diprediksi.

Gunakan panduan berikut untuk menentukan pilihan Anda:

  • Untuk resource GPU yang banyak dibutuhkan (seperti A3 dan A4): Model RESERVATION sangat direkomendasikan. Hal ini memastikan Anda memiliki akses khusus ke kapasitas yang Anda perlukan untuk tugas pelatihan penting.

  • Untuk workload yang fleksibel atau bursty: Pertimbangkan FLEX_START atau SPOT. FLEX_START mengantrekan tugas Anda hingga resource tersedia, sedangkan SPOT menawarkan penghematan biaya yang signifikan untuk tugas fault-tolerant yang dapat menangani preemption.

  • Untuk jenis mesin yang melimpah: Model ON_DEMAND adalah pilihan yang lebih disukai. Gunakan untuk jenis mesin yang tidak langka dan ketersediaan langsungnya bukanlah masalah.

Menggunakan pemesanan bersama (opsional)

Jika Anda ingin menggunakan pemesanan bersama, bukan pemesanan lokal, ada langkah-langkah tambahan yang harus dilakukan sebelum Anda dapat membuat cluster.

Sebelum menggunakan pemesanan bersama dengan cluster pelatihan Gemini Enterprise Agent Platform, pastikan pemesanan bersama berfungsi dengan membuat VM secara manual yang menggunakan pemesanan bersama. Jika pembuatan VM ini berhasil, lanjutkan ke langkah berikutnya. Dalam konfigurasi pembuatan cluster, gunakan nama pemesanan dalam format berikut: projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME.

Langkah berikutnya

Setelah memilih opsi komputasi dan penyediaan untuk cluster pelatihan, Anda siap membuat cluster dan menjalankan workload di dalamnya.

  • Buat pemesanan Compute Engine: Model RESERVATION digunakan untuk mengalokasikan resource dengan permintaan tinggi seperti GPU. Pelajari cara membuat reservasi baru di Compute Engine untuk mendapatkan akses khusus ke resource yang Anda perlukan.
  • Buat cluster pelatihan: Terapkan konfigurasi yang telah Anda pelajari dengan mengikuti panduan langkah demi langkah untuk membuat cluster pelatihan persisten pertama Anda menggunakan Agent Platform API atau gcloud.
  • Kirim tugas pelatihan ke cluster Anda: Setelah cluster aktif, langkah berikutnya adalah menjalankan workload. Kirimkan CustomJob yang menargetkan cluster persisten Anda untuk dieksekusi.
  • Sesuaikan kode Anda untuk pelatihan terdistribusi: Untuk memanfaatkan sepenuhnya cluster multi-node, sesuaikan kode pelatihan Anda untuk lingkungan terdistribusi.