Dokumen ini membandingkan opsi komputasi inti in Google Cloud untuk membantu Anda memilih solusi atau alat terbaik untuk arsitektur, penskalaan, dan persyaratan lainnya dari aplikasi Anda.
Untuk men-deploy workload di Google Cloud, Anda dapat memilih dari berbagai solusi atau alat yang menyeimbangkan kontrol Anda atas infrastruktur dengan pengelolaan otomatis oleh Google. Opsi komputasi yang Anda pilih dapat berdampak signifikan pada performa, biaya, dan upaya pemeliharaan harian. Untuk lebih memahami opsi ini sebelum Anda memilih salah satunya, lihat Ringkasan komputasi Google.
Memilih opsi komputasi
Solusi atau alat komputasi terbaik untuk workload Anda mungkin bergantung pada beberapa faktor. Misalnya, jika Anda ingin memigrasikan lingkungan VMware ke Google Cloud, maka gunakan VMware Engine.
Untuk membantu Anda menavigasi pertukaran antara pengelolaan infrastruktur, container, dan instance Compute Engine, gunakan diagram alir berikut. Jika Anda ingin membandingkan fitur dengan cepat di berbagai opsi komputasi, lihat tabel perbandingan dalam dokumen ini.
Pertanyaan dalam diagram alir sebelumnya adalah sebagai berikut:
Apakah Anda ingin Google mengelola semua infrastruktur?
Ya: gunakan Cloud Run.
Tidak: lanjutkan ke pertanyaan 2.
Apakah Anda ingin orkestrasi cluster untuk workload Anda (seperti Kubernetes atau Slurm)?
Ya: lanjutkan ke pertanyaan 4.
Tidak: lanjutkan ke pertanyaan 3.
Apakah Anda ingin mengelola VM atau instance bare metal sendiri?
Tidak: gunakan Batch.
Apakah Anda ingin menjalankan aplikasi dalam container standar (seperti microservice atau API)?
Ya: gunakan GKE.
Tidak: lanjutkan ke pertanyaan 5.
Apakah Anda ingin Google mengelola siklus proses cluster?
Tidak: gunakan Cluster Toolkit.
Menggunakan Batch
Pilih Batch untuk workload seperti analisis data asinkron, tugas konversi video, atau simulasi ilmiah. Dengan Batch, Google mengelola infrastruktur sehingga Anda dapat menjadwalkan, mengantrekan, dan menjalankan tugas komputasi batch di Google Cloud. Anda tidak perlu men-deploy atau mengelola server sendiri. Sebagai gantinya, Anda mengirimkan skrip yang dapat dieksekusi atau workload dalam container ke antrean tugas.
Batch menyediakan kemampuan berikut:
Dukungan akselerator: Batch mendukung GPU NVIDIA hingga RTX PRO 6000 untuk beban kerja komputasi batch dan komputasi berperforma tinggi (HPC) yang memerlukan throughput tinggi. Batch tidak mendukung TPU Google.
Kontrol OS dan kernel: Google mengelola OS dan lingkungan eksekusi untuk tugas Anda.
Orkestrasi: antrean tugas menjadwalkan tugas dan mencoba ulang jika terjadi error. Untuk menskalakan kapasitas, layanan ini menyediakan dan memulai VM berdasarkan jumlah tugas yang diantrekan, serta menghentikan VM saat tugas tersebut selesai.
Untuk mengetahui informasi selengkapnya, lihat Memulai Batch.
Menggunakan Cloud Run
Pilih Cloud Run untuk men-deploy aplikasi atau tugas web dalam container tanpa administrasi server. Cloud Run adalah platform serverless yang memungkinkan Anda menjalankan aplikasi dalam container tanpa pengelolaan server atau cluster. Google menangani semua pengelolaan infrastruktur untuk Anda, termasuk OS, kernel, penyiapan jaringan, dan pengelolaan kapasitas.
Cloud Run menawarkan fitur berikut:
Dukungan akselerator: Cloud Run mendukung GPU NVIDIA RTX PRO 6000 Blackwell dan L4. Cloud Run tidak mendukung model GPU lain atau TPU Google.
Kontrol OS dan kernel: Anda mengemas workload sebagai container dan menjalankan nya sebagai layanan web, tugas asinkron, atau tugas batch.
Orkestrasi: sebagai platform serverless, Google memulai, menjalankan, dan menskalakan instance container Anda tanpa intervensi manual. Untuk layanan web, Cloud Run menambahkan atau menghapus instance container berdasarkan permintaan masuk atau penggunaan CPU.
Untuk mengetahui informasi selengkapnya, lihat Apa itu Cloud Run.
Menggunakan Cluster Director
Pilih Cluster Director jika Anda ingin melatih model AI atau menjalankan tugas simulasi yang dijadwalkan oleh Slurm tanpa tugas penyiapan jaringan atau konfigurasi OS cluster. Cluster Director adalah layanan terkelola yang mengotomatiskan deployment dan pengelolaan siklus proses untuk cluster AI, ML, dan HPC.
Cluster Director menyediakan kemampuan berikut:
Dukungan akselerator: Cluster Director mendukung GPU NVIDIA, termasuk GB300 Ultra Superchip, GB200 Superchip, B200, H200, dan H100, untuk workload AI, ML, dan HPC. Cluster Director tidak mendukung TPU Google.
Kontrol OS dan kernel: Google mengelola siklus proses cluster dan menyiapkan OS Ubuntu kustom yang dirancang untuk ML. Layanan ini menyediakan lingkungan siap pakai, lengkap dengan node login, kumpulan node komputasi, dan template deployment yang dibuat untuk workload AI.
Orkestrasi: untuk menskalakan kapasitas, Slurm membuat node saat penggunaan CPU meningkat, dan menghapus node saat node tetap tidak aktif selama jangka waktu tertentu untuk mencegah biaya yang tidak perlu.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cluster Director.
Menggunakan Cluster Toolkit
Pilih Cluster Toolkit jika Anda ingin menggunakan template deployment otomatis sambil mempertahankan kontrol administratif atas OS dan software stack. Cluster Toolkit adalah alat open source yang digunakan untuk menyediakan dan mengonfigurasi cluster AI, ML, dan HPC di Google Cloud.
Cluster Toolkit menawarkan fitur berikut:
Dukungan akselerator: Cluster Toolkit mendukung GPU NVIDIA dan TPU Google, yang Anda sediakan dan konfigurasi dengan template deployment yang disebut blueprint. Dengan file konfigurasi otomatis ini, Anda men-deploy infrastruktur cluster standar yang dapat diulang berdasarkan prinsip Infrastructure as Code (IaC).
Kontrol OS dan kernel: Cluster Toolkit men-deploy instance komputasi atau resource GKE di dalam Google Cloud project Anda. Setelah men-deploy resource ini, Anda mempertahankan kontrol administratif atas OS, setelan software, dan siklus proses cluster.
Orkestrasi: untuk menskalakan kapasitas, Anda mengonfigurasi grup instance terkelola (MIG) atau alat GKE untuk menambahkan atau menghapus node berdasarkan setelan template.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cluster Toolkit.
Menggunakan Compute Engine
Pilih Compute Engine jika aplikasi Anda memerlukan konfigurasi arsitektur kustom, setelan kernel khusus, atau kontrol administratif atas server virtual. Compute Engine adalah Google Cloud's core platform Infrastructure as a Service (IaaS) inti, yang memungkinkan Anda membuat dan menjalankan instance VM dan bare metal di hardware fisik Google.
Compute Engine menyediakan kemampuan berikut:
Dukungan akselerator: Compute Engine mendukung GPU NVIDIA dan TPU Google, yang Anda lampirkan ke instance komputasi.
Kontrol OS dan kernel: Anda mempertahankan kontrol penuh atas OS, setelan kernel, dan file boot, serta memilih prosesor CPU, konfigurasi memori, jenis penyimpanan, dan OS tamu.
Orkestrasi: karena orkestrasi bersifat manual, Anda menyiapkan dan mengelola instance komputasi, aturan jaringan, rute traffic, dan sistem pencadangan sendiri untuk keandalan. Untuk menskalakan kapasitas, Anda menambahkan atau menghapus instance komputasi sesuai kebutuhan, menggunakan alat kustom, atau mengonfigurasi MIG untuk menyesuaikan kapasitas cluster.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Compute Engine.
Menggunakan GKE
Pilih Google Kubernetes Engine (GKE) jika Anda memerlukan platform orkestrasi berbasis container yang tangguh untuk aplikasi terdistribusi atau microservice tujuan umum. GKE adalah platform Kubernetes terkelola standar industri untuk men-deploy, menskalakan, dan mengorkestrasi aplikasi dalam container. Google mengelola bidang kontrol Kubernetes untuk keamanan dan ketersediaan sistem.
GKE menawarkan fitur berikut:
Dukungan akselerator: GKE mendukung GPU NVIDIA dan TPU Google untuk workload dalam container.
Kontrol OS dan kernel: Google mengelola OS dalam mode Autopilot dan Standard. Dalam mode Autopilot, Google mengelola node cluster dan penyesuaian kapasitas tanpa intervensi manual. Dalam mode Standard, Anda mengelola node pool cluster.
Orkestrasi: untuk menyesuaikan kapasitas saat permintaan berubah, GKE menambahkan atau menghapus container dengan Autoscaler Pod Horizontal dan Vertikal (HPA dan VPA), serta menambahkan atau menghapus node dengan autoscaler cluster. GKE juga mengorkestrasi tugas batch melalui Kueue.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan GKE.
Menggunakan VMware Engine
Pilih VMware Engine untuk memigrasikan workload VMware lokal ke Google Cloud infrastruktur dengan perubahan operasional minimal. VMware Engine adalah layanan terkelola yang memungkinkan Anda menjalankan virtual machine VMware di hardware Google tanpa modifikasi aplikasi.
VMware Engine menyediakan kemampuan berikut:
Dukungan akselerator: VMware Engine tidak mendukung GPU atau TPU.
Kontrol OS dan kernel: Anda menjalankan aplikasi VMware di Google Cloud seperti yang dijalankan dalam penyiapan yang ada. Google mengelola hardware fisik, infrastruktur jaringan, dan platform software VMware, seperti vSphere, vCenter, vSAN, dan NSX-T. Anda mempertahankan kontrol administratif atas VM, OS tamu, dan alat pengelolaan VMware.
Orkestrasi: untuk menyesuaikan ukuran cloud pribadi, Anda menambahkan atau menghapus node ESXi khusus.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Google Cloud VMware Engine.
Membandingkan opsi komputasi
Untuk mengidentifikasi solusi atau alat komputasi yang sesuai dengan workload Anda, bandingkan kemampuan teknis di berbagai opsi komputasi dalam tabel berikut:
| Opsi komputasi | GPU | TPU | Kontrol OS dan kernel | Orkestrasi | Penskalaan |
|---|---|---|---|---|---|
| Batch | Hingga NVIDIA RTX PRO 6000 | Tidak | Dikelola Google | Antrean tugas | Otomatis berdasarkan tugas yang diantrekan |
| Cloud Run | NVIDIA RTX PRO 6000 Blackwell dan L4 | Tidak | Dikelola Google | Serverless | Otomatis berdasarkan permintaan atau penggunaan CPU |
| Cluster Director | NVIDIA GB300 Ultra Superchip, GB200 Superchip, B200, H200, dan H100 | Tidak | Dikelola Google (Ubuntu kustom) | Slurm | Otomatis berdasarkan penggunaan CPU |
| Cluster Toolkit | Semua GPU NVIDIA yang tersedia | Semua TPU Google yang tersedia | Kelola sendiri | File konfigurasi otomatis (IaC) | Dapat disesuaikan menggunakan MIG atau alat GKE |
| Compute Engine | Semua GPU NVIDIA yang tersedia | Semua TPU Google yang tersedia | Kelola sendiri | Manual | Manual atau otomatis menggunakan MIG |
| Google Kubernetes Engine (GKE) | Semua GPU NVIDIA yang tersedia | Semua TPU Google yang tersedia | Dikelola Google (Autopilot) atau semi-dikelola (Standard) | Kubernetes | Penskalaan otomatis pod dan node |
| VMware Engine | Tidak | Tidak | Dikelola Google | Platform VMware | Manual menggunakan node ESXi |
Mempelajari kemampuan AI Hypercomputer untuk AI dan ML
AI Hypercomputer adalah arsitektur terintegrasi yang menggabungkan hardware khusus, software terbuka, dan model konsumsi fleksibel. Arsitektur ini dirancang khusus untuk meningkatkan produktivitas ML dan memaksimalkan goodput, yaitu kecepatan transfer data yang berguna, untuk workload AI yang berat.
AI Hypercomputer menyediakan kemampuan berikut:
Dukungan akselerator: AI Hypercomputer mendukung semua GPU NVIDIA dan TPU Google. Akselerator terhubung melalui jaringan bandwidth tinggi untuk mengoptimalkan throughput model AI di ribuan instance komputasi.
Kontrol OS dan kernel: kontrol Anda atas OS dan kernel bergantung pada alat deployment yang Anda pilih:
Lingkungan yang dikelola Google: jika Anda memilih Cluster Director, Google akan mengelola lingkungan cluster dan siklus proses. Jika Anda memilih GKE dalam mode Autopilot, Google akan mengelola lingkungan container.
Lingkungan yang dikelola sendiri: jika Anda memilih Cluster Toolkit, Compute Engine, atau GKE dalam mode Standard, Anda akan mengelola resource cluster dan OS.
Orkestrasi: Anda dapat menggunakan Slurm, GKE, atau pengorkestrasi kustom untuk menambahkan atau menghapus instance komputasi, pod, atau container di cluster saat permintaan komputasi berubah.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan AI Hypercomputer.