Untuk menjalankan workload kecerdasan buatan (AI) atau machine learning (ML) secara efisien, Anda harus memilih orkestrator workload dan platform deployment. Komponen ini berfungsi sebagai berikut:
Orchestrator menjadwalkan dan menjalankan tugas Anda.
Opsi deployment mengelola orchestrator.
Setelah mengidentifikasi infrastruktur GPU mana (GPU yang dikelompokkan atau GPU umum) yang akan digunakan untuk menjalankan workload, ikuti panduan dalam dokumen ini untuk mengidentifikasi orkestrator dan deployment yang paling sesuai dengan workload dan tingkat pengelolaan Anda.
Untuk meninjau jenis mesin GPU yang dapat Anda gunakan untuk menjalankan workload, lihat Mesin GPU.
Membandingkan opsi deployment dan pengorkestrasi
AI Hypercomputer menawarkan beberapa opsi deployment dan orkestrator untuk instance komputasi Anda. Opsi ini berkisar dari cluster yang terkelola sepenuhnya yang memungkinkan Anda berfokus pada beban kerja, hingga lingkungan yang dikelola sendiri yang menawarkan kontrol terperinci atas cara Anda memelihara dan mengupdate instance komputasi.
Tabel berikut membandingkan opsi orkestrator dan deployment yang dapat Anda gunakan saat menjalankan workload AI:
| Produk | Orkestrator | Kompleksitas teknis | Direkomendasikan untuk | Manfaat utama |
|---|---|---|---|---|
| Cluster Director | Slurm | Rendah | Peneliti AI, Data scientist | Siklus proses terkelola untuk cluster Slurm |
| Google Kubernetes Engine (GKE) | Kubernetes | Sedang hingga tinggi | ML engineer, Platform engineer | Orkestrasi dan penskalaan container |
| Cluster Toolkit | Slurm, Kubernetes | Sedang | ML dZevOps, Platform engineer | Blueprint infrastruktur sebagai kode yang divalidasi |
| Compute Engine | Kustom / Tidak Ada | Tinggi | Arsitek infrastruktur | Kontrol terperinci atas OS dan jaringan |
Memilih orchestrator dan opsi deployment
Untuk memilih orchestrator dan opsi deployment, gunakan diagram alur berikut:
Diagram alur sebelumnya mengajukan pertanyaan berikut:
Apakah Anda menginginkan orkestrasi cluster untuk workload Anda?
- Ya: lanjutkan ke pertanyaan 2.
- Tidak: gunakan Compute Engine.
Apakah Anda ingin menjalankan aplikasi dalam container standar?
- Ya: gunakan GKE.
- Tidak: lanjutkan ke pertanyaan 3.
Apakah Anda ingin Google mengelola siklus proses cluster?
- Ya: gunakan Cluster Director.
- Tidak: gunakan Cluster Toolkit.
Orchestrator yang didukung
Orchestrator mengotomatiskan pengelolaan cluster, dan menghilangkan kebutuhan untuk mengelola setiap instance komputasi secara terpisah. Orchestrator seperti Slurm atau Kubernetes menangani antrean tugas, alokasi resource, dan penskalaan otomatis.
Slurm: orkestrator open source yang umum digunakan untuk workload AI, ML, dan HPC. Anda dapat menggunakan Slurm dengan Cluster Toolkit atau Cluster Director.
Kubernetes: platform orkestrasi container open source. Anda dapat men-deploy Kubernetes menggunakan GKE secara langsung atau melalui Cluster Toolkit.
Kustom atau tidak ada: gunakan Compute Engine jika Anda lebih memilih orkestrator lain atau ingin mengelola instance komputasi tanpa orkestrator. Opsi ini memberikan tingkat kontrol tertinggi, tetapi mengharuskan Anda menyiapkan, memelihara, dan memperbarui instance komputasi secara manual.
Platform deployment yang didukung
Setelah Anda mengidentifikasi opsi orkestrator dan deployment yang direkomendasikan untuk kasus penggunaan Anda, tinjau deskripsinya di bawah untuk memverifikasi bahwa tingkat pengelolaan dan fiturnya memenuhi persyaratan beban kerja Anda.
Platform terkelola dan otomatis
Jika Anda ingin menghindari beban pengelolaan cluster dan berfokus pada menjalankan workload, gunakan salah satu platform terkelola berikut:
Cluster Director: layanan terkelola sepenuhnya yang mengotomatiskan siklus proses cluster Slurm. Gunakan Cluster Director untuk menyederhanakan penyiapan dan konfigurasi cluster Slurm Anda. Cluster Director mengotomatiskan siklus proses cluster sehingga Anda dapat berfokus pada menjalankan workload AI, ML, atau HPC. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cluster Director.
GKE: lingkungan Kubernetes terkelola yang dioptimalkan untuk workload AI dan ML. Gunakan GKE untuk mengorkestrasi workload yang di-container, berintegrasi dengan hardware Compute Engine khusus, dan memanfaatkan fitur khusus GKE seperti Topology Aware Scheduling (TAS). Untuk informasi selengkapnya, lihat Ringkasan GKE.
Platform yang dikelola sebagian dan dikelola sendiri
Jika Anda memerlukan kontrol terperinci atas sistem operasi, konfigurasi kernel, atau versi driver, gunakan platform yang dikelola sebagian atau dikelola sendiri:
Cluster Toolkit: toolkit open source yang menyediakan blueprint yang tervalidasi dan dapat disesuaikan untuk men-deploy lingkungan AI dan ML yang dapat direproduksi. Layanan ini menawarkan fleksibilitas dan kontrol yang tinggi menggunakan prinsip infrastruktur sebagai kode (IaC). Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cluster Toolkit.
Compute Engine: layanan komputasi yang dapat disesuaikan yang memberikan kontrol maksimum untuk membangun lingkungan kustom dari awal. Meskipun bukan orchestrator mandiri, Compute Engine berfungsi sebagai dasar bagi pengguna yang lebih memilih untuk membangun dan mengelola stack kustom khusus mereka sendiri. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Compute Engine.
Langkah berikutnya
- Untuk mendapatkan kapasitas, lihat Opsi pemakaian.
- Untuk men-deploy cluster, lihat Ringkasan pembuatan cluster.