Dokumen ini merangkum cara membuat cluster untuk workload AI di AI Hypercomputer. Secara khusus, dokumen ini memandu Anda melalui proses dan pilihan yang harus dibuat saat memulai cluster.
Sebelum memulai
Anda harus memiliki workload yang sudah ada yang ingin Anda dukung.
Anda harus memahami terminologi yang umum digunakan untuk workload AI dan ML, seperti pelatihan model dan inferensi.
Mulai cluster
Memulai cluster melibatkan langkah-langkah berikut:
- Tentukan workload Anda dan pilih jenis mesin
- Pilih opsi pemakaian dan dapatkan kapasitas
- Pilih opsi deployment
- Pilih orchestrator
- Pilih sistem operasi dan image cluster
- Buat cluster Anda
- Sediakan penyimpanan untuk workload Anda
Tentukan workload Anda dan pilih jenis mesin
Pilih jenis mesin untuk workload AI Anda. AI Hypercomputer mendukung pembuatan cluster menggunakan seri mesin A4X Max, A4X, A4, dan A3. Pertimbangkan rekomendasi berikut untuk penggunaan mesin:
Untuk pelatihan dan inferensi model dasar: A4X Max atau A4X
Untuk pelatihan, penyesuaian, dan inferensi model besar: A4 atau A3 Ultra
Untuk inferensi dan penyesuaian model utama: A3 Mega atau A3 High (8 GPU)
Untuk inferensi: A3 Edge
Untuk mengetahui informasi mendetail tentang setiap seri mesin, lihat Jenis mesin GPU. Untuk mengetahui informasi mendetail tentang rekomendasi workload untuk setiap mesin, lihat Konfigurasi yang direkomendasikan.
Pilih opsi pemakaian dan dapatkan kapasitas
Pilih opsi pemakaian untuk resource GPU Anda berdasarkan ketersediaan workload dan jenis mesin yang dipilih. Misalnya, untuk menggunakan jenis mesin A4X Max atau A4X, Anda harus memesan kapasitas untuk tanggal dan waktu tertentu menggunakan model pemakaian reservasi untuk masa mendatang. Opsi berikut merangkum model pemakaian:
Reservasi untuk masa mendatang: Tersedia untuk jenis mesin A4X Max, A4X, A4, dan A3 Ultra, dengan alokasi resource padat dan diskon hingga 53% untuk vCPU dan GPU. Reservasi untuk masa mendatang sangat ideal untuk workload yang memerlukan stabilitas dalam jangka waktu yang lama, seperti model dasar pra-pelatihan atau inferensi model dasar multi-host. Untuk menggunakan opsi pemakaian ini, Anda harus meminta kapasitas melalui tim akun Anda untuk tanggal dan waktu mulai di masa mendatang.
Reservasi untuk masa mendatang dalam mode kalender: Tersedia untuk jenis mesin A4, A3 Ultra, A3 Mega, dan A3 High (khusus VM 8-GPU), dengan alokasi resource padat dan diskon hingga 53% untuk vCPU dan GPU. Reservasi untuk masa mendatang dalam mode kalender membantu Anda memesan resource untuk workload yang berjalan hingga 90 hari dan memerlukan stabilitas, seperti model pra-pelatihan atau penyesuaian. Namun, untuk menggunakan opsi pemakaian ini, Anda harus membuat permintaan reservasi untuk memesan resource pada tanggal dan waktu di masa mendatang, dan harus menyetujui permintaan Anda. Google Cloud
Flex-start: Tersedia untuk semua jenis mesin GPU, kecuali A4X Max dan A4X. Flex-start memungkinkan Anda membuat cluster padat jangka pendek yang berlangsung hingga tujuh hari dan memiliki diskon hingga 53% untuk vCPU dan GPU untuk jenis mesin A2 dan yang lebih baru. Anda dapat membuat cluster Flex-start langsung melalui Compute Engine, Cluster Director, Cluster Toolkit, atau GKE. Namun, cluster tidak langsung tersedia; Google akan membuatnya segera setelah resource tersedia.
Spot: Tersedia untuk semua jenis mesin GPU, kecuali A4X Max dan A4X. Spot VM memungkinkan Anda membuat resource komputasi secara langsung berdasarkan ketersediaan; namun, Compute Engine dapat melakukan preempt instance virtual machine (VM) kapan saja. Spot VM diberi harga dengan diskon terbesar yang mungkin di Compute Engine (antara 61% dan 90%).
Untuk mengetahui informasi selengkapnya tentang opsi pemakaian, lihat Perbandingan opsi pemakaian.
Pilih opsi deployment
Bergantung pada tingkat kontrol yang Anda perlukan atas deployment cluster, pilih antara deployment yang sangat terkelola atau yang kurang terkelola yang memberi Anda lebih banyak kontrol atas infrastruktur Anda.
Sangat terkelola
Jika Anda ingin Google men-deploy dan menyiapkan infrastruktur Anda, gunakan Cluster Director, Cluster Toolkit, atau GKE.
Cluster Director: produk yang mengotomatiskan penyiapan dan konfigurasi cluster yang kompleks, sehingga membantu Anda mengonfigurasi resource komputasi, jaringan, dan penyimpanan untuk cluster Anda guna memaksimalkan performa dan meminimalkan waktu non-operasional.Google Cloud Cluster Director dirancang untuk administrator IT dan peneliti AI yang ingin menghindari overhead pengelolaan cluster, dan lebih berfokus pada menjalankan workload mereka.
Cluster Toolkit: alat open source yang ditawarkan oleh Google yang menyederhanakan konfigurasi dan deployment cluster untuk GKE atau Compute Engine. Anda menggunakan blueprint yang telah ditentukan untuk men-deploy konfigurasi umum, seperti jenis mesin A4 dengan Slurm. Anda dapat mengubah blueprint untuk menyesuaikan deployment dan tumpukan software Anda.
GKE: layanan Kubernetes terkelola dan orkestrasi container open source platform. GKE menawarkan fitur seperti penskalaan otomatis dan ketersediaan tinggi. GKE juga dapat mengatur aplikasi dalam container, mendukung hardware khusus, dan kompatibel dengan Google Cloud ekosistem, sehingga cocok untuk men-deploy dan mengelola workload AI atau ML. Anda dapat men-deploy cluster GKE menggunakan GKE secara langsung atau menggunakan Cluster Toolkit. Anda dapat memilih antara mode GKE Standard atau Autopilot.
Kurang terkelola, lebih banyak kontrol
Untuk kontrol yang lebih terperinci atas cluster dan software yang diinstal di cluster, buat cluster Compute Engine menggunakan grup instance terkelola Compute Engine (MIG) atau dengan membuat instance secara massal. Kemudian, instal secara manual software utama yang Anda butuhkan di instance.
Pilih orchestrator
Orchestrator mengotomatiskan pengelolaan cluster Anda. Dengan orchestrator, Anda tidak perlu mengelola setiap instance komputasi di cluster. Orchestrator, seperti Slurm atau GKE, menangani tugas seperti antrean tugas, alokasi resource, penskalaan otomatis (jika menggunakan GKE), dan tugas pengelolaan cluster sehari-hari lainnya.
Slurm: Slurm adalah orchestrator open source yang umum digunakan untuk workload HPC, AI, atau ML. Untuk menggunakan Slurm, Anda dapat menggunakan Cluster Toolkit (yang menawarkan blueprint cluster yang secara otomatis menginstal Slurm di cluster Anda), atau Anda dapat menginstal Slurm secara manual di cluster Compute Engine.
GKE: GKE adalah layanan terkelola yang dibangun di atas Kubernetes, platform orkestrasi container open source. GKE ideal untuk men-deploy dan mengelola workload AI atau ML, karena kemampuannya untuk mengatur aplikasi dalam container, dukungan hardware khusus, dan tempatnya di Google Cloud ekosistem. Anda dapat men-deploy cluster GKE menggunakan GKE secara langsung atau menggunakan Cluster Toolkit.
Bawa orchestrator Anda sendiri: Jika ingin menggunakan orchestrator lain, Anda harus menggunakannya di cluster Compute Engine Anda. Namun, membuat cluster Compute Engine adalah opsi yang paling tidak terkelola yang ditawarkan di Google Cloud. Pilihan ini berarti Anda bertanggung jawab untuk menyiapkan, memelihara, dan memperbarui instance Anda.
Pilih image sistem operasi
Bergantung pada apakah Anda menggunakan GKE atau Compute Engine, pilih image yang berisi sistem operasi yang Anda pilih, seperti Container-Optimized OS untuk cluster GKE, atau image OS akselerator untuk cluster Compute Engine. Selain itu, Anda juga dapat memilih image Deep Learning Software Layer (DSLS) untuk container Anda.
Untuk mengetahui informasi mendetail, tinjau image AI Hypercomputer.
Image untuk cluster GKE
Untuk membuat cluster GKE, sebaiknya gunakan image OS container default untuk mode Standard dan Autopilot. Namun, dalam mode Standard, Anda juga dapat memilih untuk menggunakan image lain yang tersedia, seperti Ubuntu.
Jika Anda menggunakan Cluster Toolkit untuk men-deploy cluster, Anda hanya dapat menggunakan image OS container, karena image ini adalah image yang dibuat ke dalam blueprint cluster. Untuk mengetahui informasi selengkapnya tentang setiap image node, lihat Image node dalam dokumentasi GKE.
GKE juga menawarkan image container Deep Learning Software Layer (DLSL) yang menginstal paket seperti NVIDIA CUDA, dan NCCL, serta framework ML seperti PyTorch, yang menyediakan lingkungan siap pakai untuk workload deep learning. Image container DLSL yang telah dibuat sebelumnya ini diuji dan diverifikasi agar dapat berfungsi dengan lancar di cluster GKE.
OS image untuk cluster Compute Engine
AI Hypercomputer menawarkan image yang dioptimalkan untuk menjalankan workload AI dan ML menggunakan Compute Engine. Pilih OS yang paling Anda kuasai:
- Akselerator Rocky Linux 9
- Akselerator Rocky Linux 8
- Akselerator Ubuntu 24.04 LTS
- Akselerator Ubuntu 22.04 LTS
Jika Anda menggunakan Cluster Toolkit, image akselerator ini sudah dibundel ke dalam blueprint Cluster Toolkit, karena Cluster Toolkit membuat image kustom yang memperluas OS image Akselerator Ubuntu LTS.
Untuk mengetahui informasi selengkapnya tentang setiap OS image, lihat Detail sistem operasi dalam dokumentasi Compute Engine.
Buat cluster Anda
Setelah meninjau proses pembuatan cluster dan membuat keputusan awal untuk workload Anda, buat cluster Anda menggunakan salah satu opsi berikut:
- Buat cluster GKE:
- Buat cluster Slurm:
- Buat cluster dengan Compute Engine:
Sediakan penyimpanan untuk workload Anda
Pilih layanan penyimpanan yang akan disediakan, berdasarkan persyaratan performa, biaya, dan arsitektur penyimpanan.