Dokumen ini memberikan ringkasan tentang cara menskalakan kapasitas komputasi dan mendapatkan resource hardware di seluruh Google Cloud untuk mempertahankan performa, mengontrol biaya, dan menghindari periode nonaktif. Untuk menangani permintaan yang bervariasi, Anda dapat menskalakan instance Compute Engine secara otomatis, mengorkestrasi container di Google Kubernetes Engine (GKE) atau workload di cluster, memesan kapasitas terlebih dahulu, dan mendistribusikan traffic di seluruh resource.
Rekomendasi dalam dokumen ini berlaku untuk semua opsi komputasi yang tersedia, kecuali Cloud Run dan Batch, yang mengelola dan menskalakan infrastruktur komputasi untuk Anda. Untuk mengetahui informasi selengkapnya tentang opsi komputasi yang dapat Anda gunakan di Google Cloud sebelum melakukan penskalaan, lihat Memilih opsi komputasi.
Opsi penskalaan infrastruktur komputasi
Untuk menskalakan kapasitas komputasi dan meningkatkan kemudahan memperoleh resource, pilih dari fitur yang didukung layanan komputasi Anda. Anda dapat menggabungkan beberapa fitur—seperti pemesanan, autoscaler, dan load balancer—untuk menyesuaikan dengan persyaratan workload Anda. Jika Anda ingin mengevaluasi fitur ini secara berdampingan berdasarkan tujuannya, opsi komputasi yang didukung, pemicu, dan kasus penggunaan, lihat Membandingkan opsi penskalaan dalam dokumen ini.
Setiap layanan komputasi menskalakan kapasitas dan membantu Anda mendapatkan resource menggunakan opsi berikut:
Semua opsi komputasi: di seluruh layanan komputasi kecuali Cloud Run untuk pemesanan, Anda dapat memiliki tingkat jaminan yang tinggi untuk ketersediaan hardware di awal dan mengarahkan permintaan pengguna di seluruh backend yang responsif. Anda dapat menggunakan opsi lintas produk berikut:
Pemesanan: meminta kapasitas di zona tertentu untuk penggunaan langsung atau untuk tanggal mendatang. Pemesanan bukanlah autoscaler, tetapi memberikan tingkat jaminan yang tinggi bahwa hardware seperti unit pemrosesan grafis (GPU), tensor processing unit (TPU), dan disk SSD Lokal tersedia saat workload Anda melakukan penyebaran skala.
Distribusi traffic dengan Cloud Load Balancing: mendistribusikan permintaan masuk ke seluruh instance komputasi, node pool, atau container yang responsif, dan merutekan traffic ke resource baru seiring peningkatan kapasitas.
Compute Engine: Anda menskalakan kapasitas saat membuat instance virtual machine (VM) atau bare metal, atau saat menggunakan grup instance terkelola (MIG). MIG mengelola grup instance komputasi sebagai satu entity dan dapat menambah atau menghapus kapasitas berdasarkan beban, jadwal, atau ketersediaan hardware. Untuk workload yang memerlukan isolasi hardware, Anda juga dapat melakukan penskalaan otomatis grup sole-tenant node di server fisik khusus. Anda dapat menggunakan opsi berikut:
Penskalaan otomatis MIG: menambahkan atau menghapus instance komputasi dalam MIG berdasarkan penggunaan CPU, kapasitas load balancer, metrik Cloud Monitoring, jadwal, atau perkiraan prediktif.
Fleksibilitas instance MIG: beri peringkat beberapa jenis mesin di MIG untuk meningkatkan ketersediaan resource.
Mode massal dan permintaan ubah ukuran di MIG: menambahkan semua instance komputasi yang diminta di MIG secara bersamaan saat kapasitas penuh tersedia, termasuk untuk GPU, TPU, dan instance H4D dengan Flex-start VM.
Standby pool di MIG: menyimpan standby pool instance komputasi yang ditangguhkan atau dihentikan yang telah dikonfigurasi sebelumnya di MIG untuk mempercepat penyebaran skala. Saat traffic atau penggunaan CPU meningkat, MIG akan melanjutkan atau memulai instance komputasi, bukan membuat instance baru.
Pembuatan instance komputasi massal: membuat beberapa instance komputasi dalam satu permintaan API dengan pemilihan zona dan jenis mesin otomatis.
Penskalaan otomatis grup sole-tenant node: menambahkan atau menghapus sole-tenant node fisik khusus berdasarkan permintaan instance komputasi tamu untuk mempertahankan isolasi hardware dan mengoptimalkan biaya bring-your-own-license.
Orchestrator kustom: panggil Compute Engine API dari penjadwal Anda sendiri atau penjadwal open source untuk membuat, mengubah ukuran, dan menghapus instance komputasi berdasarkan antrean tugas kustom atau aturan bisnis.
Cluster Director: Google men-deploy cluster terkelola untuk workload kecerdasan buatan (AI), machine learning (ML), dan komputasi berperforma tinggi (HPC) yang menggunakan orkestrasi Slurm atau orkestrasi komputasi terkelola yang didukung oleh MIG zona. Di cluster Slurm, penjadwal Slurm membuat compute node dinamis saat tugas yang diantrekan melebihi node dasar pengukuran statis dan menonaktifkannya setelah lima menit waktu tidak ada aktivitas. Dalam cluster komputasi terkelola, Anda menjalankan workload melalui SSH atau mengintegrasikan penjadwal Anda sendiri, dan menskalakan kapasitas saat menyesuaikan ukuran target MIG. Anda dapat menggunakan opsi berikut:
Orkestrasi cluster: skalakan otomatis node komputasi dinamis dalam partisi Slurm terkelola berdasarkan permintaan antrean tugas, atau sediakan cluster komputasi terkelola yang didukung oleh MIG zona untuk menjalankan workload melalui SSH atau mengintegrasikan penjadwal Anda sendiri.
Modifikasi cluster aktif: mengupdate cluster aktif untuk meningkatkan jumlah node dinamis statis atau maksimum, mengubah ukuran atau menambahkan MIG, menambahkan konfigurasi resource komputasi, atau menambahkan partisi dan nodeset tanpa mengganggu tugas aktif.
Opsi penggunaan kapasitas: mendapatkan node komputasi cluster melalui pemesanan untuk masa mendatang untuk blok kapasitas, pemesanan untuk masa mendatang dalam mode Calendar, VM Flex-start, VM Spot, atau instance komputasi on-demand.
Cluster Toolkit: Anda menentukan cluster AI, ML, dan HPC yang dikelola sendiri sebagai kode dengan blueprint YAML dan modul Terraform yang diorkestrasi oleh Slurm atau GKE. Kapasitas diskalakan berdasarkan antrean tugas Slurm atau permintaan Pod Kubernetes, atau saat Anda mengedit dan men-deploy ulang blueprint cluster. Anda dapat menggunakan opsi berikut:
Nodeset dinamis Slurm: mengonfigurasi modul
slurm-nodeset-dynamicagar Slurm membuat dan menghapus instance komputasi sementara berdasarkan tugas yang diantrekan.Penskalaan otomatis node pool GKE: tetapkan jumlah node minimum dan maksimum dalam blueprint Anda dengan modul
gke-node-poolagar GKE menambahkan atau menghapus node seiring perubahan permintaan Pod.Konfigurasi ulang blueprint langsung: perbarui dan deploy ulang blueprint untuk menambahkan atau mengubah ukuran partisi dan node statis dalam cluster Slurm aktif atau untuk mengubah ukuran node pool dalam cluster GKE yang di-deploy.
Partisi Slurm multi-pemesanan: mengelompokkan beberapa nodeset yang didukung pemesanan ke dalam satu partisi Slurm sehingga tugas besar mencakup kapasitas di seluruh pemesanan terpisah.
GKE: kapasitas diskalakan di dua lapisan. Autoscaler workload menyesuaikan jumlah replika Pod atau permintaan CPU dan memori container seiring perubahan permintaan. Autoscaler infrastruktur menambahkan atau menghapus node dan node pool yang mendasarinya. Google mengelola kapasitas node untuk Anda dalam mode Autopilot, sedangkan Anda mengonfigurasi autoscaler cluster, pembuatan otomatis node pool, dan resource
ComputeClasskustom dalam mode Standard. Startup accelerator juga mengurangi waktu yang dibutuhkan Pod baru sebelum menyalurkan traffic. Anda dapat menggunakan opsi berikut:Kapasitas node dan cluster: sesuaikan jumlah node, buat node pool, dan dapatkan hardware dengan fitur berikut:
ComputeClass Kustom: menentukan aturan penggantian hardware yang diprioritaskan, preferensi Spot VM atau Flex-start, konsumsi pemesanan, migrasi aktif ke hardware dengan prioritas lebih tinggi, dan pembuatan otomatis node pool tingkat workload.
Autoscaler cluster: menambahkan atau menghapus node di node pool mode Standar yang ada saat Pod menunggu resource atau saat node kurang dimanfaatkan.
Pembuatan otomatis node pool: membuat dan menghapus node pool secara paralel berdasarkan persyaratan CPU, memori, GPU, TPU, atau zona Pod yang tertunda.
Penyediaan Flex-start: mendapatkan GPU, TPU, dan node H4D hingga tujuh hari, baik node demi node atau sekaligus melalui penyediaan dalam antrean, dan mengganti node yang masa berlakunya habis melalui ComputeClasses.
Buffering kapasitas: pra-penyediaan node standby aktif atau ditangguhkan, termasuk buffer aktif yang selaras dengan prioritas
ComputeClass, sehingga Pod yang tertunda dijadwalkan tanpa menunggu node baru.Platform komputasi yang dioptimalkan untuk container: percepat alokasi node dan penempatan Pod dengan ComputeClass
BalanceddanScale-Outuntuk cluster Autopilot dan workload mode Autopilot di cluster Standard.Sole-tenant node di GKE: menjalankan node pool mode Standard di server fisik khusus untuk memenuhi persyaratan isolasi atau lisensi.
Kapasitas Pod dan workload: sesuaikan replika Pod, ukuran container, dan antrean batch dengan fitur berikut:
Penskalaan otomatis Pod horizontal (HPA): menambahkan atau menghapus replika pod berdasarkan penggunaan CPU, penggunaan memori, atau metrik kustom.
Penskalaan otomatis Pod vertikal (VPA): menyesuaikan permintaan dan batas CPU dan memori container berdasarkan penggunaan historis.
Penskalaan otomatis Pod multidimensi (MPA): menggabungkan HPA pada CPU dan VPA pada memori untuk workload yang sama pada saat yang sama.
Metrik kustom dan eksternal: memicu keputusan penskalaan HPA dari metrik aplikasi atau layanan eksternal seperti Pub/Sub dan Cloud Load Balancing.
Menskalakan ke nol: menurunkan skala Pod dan node pool yang tidak ada aktivitas menjadi nol replika dan mengaktifkannya saat permintaan dilanjutkan dalam metrik kustom dan eksternal HPA atau dalam pemicu Kubernetes Event-driven Autoscaling (KEDA).
Antrean tugas Kueue: mengantrekan workload batch dan AI, berbagi kuota resource antar-tim, dan mengoordinasikan alokasi node secara bersamaan.
Akselerasi startup: mempersingkat waktu pemuatan model dan inisialisasi container selama penyebaran skala dengan fitur berikut:
Cloud Storage FUSE dengan streaming paralel: memasang bucket Cloud Storage sebagai sistem file lokal dengan pembacaan paralel dan cache file.
Penguatan CPU saat startup: memberikan CPU tambahan sementara ke container saat melakukan inisialisasi, lalu mengembalikan permintaan CPU ke nilai dasar pengukuran.
Streaming image: melakukan streaming blok image container sesuai permintaan dari Artifact Registry sehingga Pod dimulai tanpa menunggu seluruh image didownload.
Boot disk sekunder: memasang volume Persistent Disk yang telah dimuat sebelumnya dengan image container atau data model ke node secara paralel selama booting node.
Pengubahan ukuran Pod di tempat: mengupdate alokasi CPU dan memori pada container aktif tanpa memulai ulang Pod.
Snapshot Pod: memulihkan replika Pod dari memori yang disimpan dan checkpoint sistem file, bukan cold boot.
Run:ai Model Streamer: melakukan streaming bobot model dalam format
safetensorsdari Cloud Storage atau persistent volume secara paralel ke memori GPU atau TPU.Volume Populator: memuat volume Google Cloud Hyperdisk ML dengan bobot model dan set data dari Cloud Storage sebelum Pod dimulai.
Google Cloud VMware Engine: Google mengelola cluster cloud pribadi VMware khusus yang kapasitasnya bertambah atau berkurang saat host ESXi fisik bergabung atau keluar dari cluster. Untuk menambahkan atau menghapus host ESXi saat penggunaan CPU, memori, atau penggunaan penyimpanan vSAN yang berkelanjutan melampaui batas yang Anda konfigurasi, gunakan kebijakan penskalaan otomatis.
Membandingkan opsi penskalaan
Untuk memilih opsi penskalaan atau ketersediaan resource yang sesuai dengan persyaratan operasional Anda, bandingkan fitur dalam tabel berikut:
| Opsi penskalaan | Tujuan utama | Opsi komputasi yang didukung | Opsi penskalaan yang kompatibel | Pemicu penskalaan | Kasus penggunaan |
|---|---|---|---|---|---|
| Reservasi | Mencadangkan kapasitas zona untuk penggunaan langsung atau untuk tanggal mendatang dengan tingkat jaminan ketersediaan yang tinggi | Semua opsi komputasi, kecuali Cloud Run | Semua opsi penskalaan | Permintaan pemesanan manual atau kalender; bukan autoscaler |
|
| Distribusi traffic dengan Cloud Load Balancing | Mendistribusikan traffic masuk ke seluruh instance komputasi, node pool, atau container yang responsif | Semua opsi komputasi | Semua opsi penskalaan | Permintaan pengguna masuk dan health check backend |
|
| Penskalaan otomatis MIG | Menambahkan atau menghapus instance komputasi di MIG untuk permintaan workload yang bervariasi | Compute Engine | Pemesanan, fleksibilitas instance MIG, standby pool di MIG, penskalaan otomatis grup sole-tenant node, orchestrator kustom | Penggunaan CPU, kapasitas load balancer, metrik Cloud Monitoring, jadwal, atau perkiraan prediktif |
|
| Fleksibilitas instance MIG | Memberi peringkat beberapa jenis mesin dalam MIG untuk meningkatkan ketersediaan resource | Compute Engine | Penskalaan otomatis MIG, reservasi, Spot VM | Saat jenis mesin utama kekurangan kapasitas selama pembuatan instance MIG atau penyebaran skala |
|
| Mode massal dan permintaan ubah ukuran di MIG | Menambahkan semua instance komputasi yang diminta dalam MIG secara bersamaan saat kapasitas penuh tersedia | Compute Engine dan Cluster Director | Pemesanan, modifikasi cluster aktif, orchestrator kustom | Ukuran target yang ditetapkan dalam mode massal atau pembuatan permintaan ubah ukuran, terpenuhi saat kapasitas hardware penuh tersedia |
|
| Standby pool di MIG | Menyediakan standby pool instance komputasi yang ditangguhkan atau dihentikan dan telah dikonfigurasi sebelumnya untuk mempercepat penyebaran skala MIG | Compute Engine | Penskalaan otomatis MIG, reservasi | Permintaan pengubahan ukuran manual atau penyebaran skala MIG yang melanjutkan atau memulai instance komputasi gabungan |
|
| Pembuatan instance komputasi massal | Membuat beberapa instance komputasi dalam satu permintaan API dengan pemilihan zona dan mesin otomatis | Compute Engine | Reservasi, Spot VM, orchestrator kustom | Permintaan penyisipan massal Google Cloud CLI atau API tunggal |
|
| Penskalaan otomatis grup sole-tenant node | Menskalakan server fisik khusus secara otomatis untuk workload yang terisolasi | Compute Engine dan GKE | Reservasi, penskalaan otomatis MIG, orchestrator kustom, autoscaler cluster | Permintaan resource instance komputasi tamu |
|
| Orchestrator kustom | Mengontrol pembuatan instance komputasi, ukuran target MIG, dan penghapusan dari penjadwal Anda sendiri, seperti Ray, SkyPilot, atau HTCondor | Compute Engine dan Cluster Director | Pemesanan, penskalaan otomatis MIG, mode massal dan permintaan pengubahan ukuran di MIG, pembuatan instance komputasi massal, penskalaan otomatis grup sole-tenant node, modifikasi cluster aktif | Metrik bisnis kustom atau antrean penjadwal eksternal |
|
| Orkestrasi Slurm dan node dinamis | Menskalakan node komputasi dinamis secara otomatis di partisi Slurm untuk tugas batch, AI, dan HPC | Cluster Director dan Cluster Toolkit | Pemesanan, Flex-start VM, Spot VM, modifikasi cluster langsung, konfigurasi ulang blueprint langsung | Tugas Slurm dalam antrean dan waktu tunggu tidak ada aktivitas node |
|
| Modifikasi cluster langsung | Menambahkan atau mengubah ukuran partisi, nodeset, MIG, atau batas node statis dan dinamis di cluster aktif | Cluster Director | Orkestrasi Slurm dan node dinamis, mode massal dan permintaan ubah ukuran di MIG, orchestrator kustom, reservasi | Permintaan update cluster di cluster aktif |
|
| Konfigurasi ulang blueprint live | Mengupdate dan men-deploy ulang blueprint untuk menambahkan atau mengubah ukuran partisi Slurm, node statis, atau node pool GKE di cluster aktif | Cluster Toolkit | Orkestrasi Slurm dan node dinamis, autoscaler cluster, reservasi | Update dan deployment ulang blueprint di cluster aktif |
|
| ComputeClass Kustom | Menentukan aturan penggantian hardware yang diprioritaskan, konsumsi kapasitas, dan migrasi node | GKE dalam mode Standard dan Autopilot | Autoscaler cluster, pembuatan otomatis node pool, penyediaan Flex-start di GKE, pemesanan, buffering kapasitas | Pod yang tertunda yang cocok dengan pemilih ComputeClass atau ketersediaan hardware dengan prioritas lebih tinggi |
|
| Autoscaler cluster | Menambahkan atau menghapus node di node pool yang ada | GKE dalam mode Standard, dan blueprint GKE Cluster Toolkit | ComputeClass kustom, pemesanan, penskalaan otomatis grup sole-tenant node, HPA, VPA, buffering kapasitas, penskalaan ke nol | Pod yang tertunda atau node yang kurang dimanfaatkan |
|
| Pembuatan otomatis node pool | Membuat dan menghapus node pool secara paralel agar sesuai dengan persyaratan hardware Pod | GKE: dikelola dalam mode Autopilot; dapat dikonfigurasi dalam mode Standard | ComputeClass kustom, pemesanan, penyediaan Flex-start di GKE, HPA, VPA, buffering kapasitas | Pod yang tertunda yang memerlukan seri mesin, akselerator, atau zona yang tidak ada di node pool yang ada |
|
| Penyediaan flex-start di GKE | Dapatkan GPU, TPU, dan node H4D saat kapasitas tersedia, per node atau sekaligus dengan penyediaan dalam antrean | GKE dalam mode Standard dan Autopilot | ComputeClass kustom, pembuatan otomatis node pool, autoscaler cluster, antrean tugas Kueue | Pod yang tertunda atau objek ProvisioningRequest yang diantrekan saat
kapasitas hardware terbuka |
|
| Buffering kapasitas | Melakukan pra-penyediaan node standby aktif atau yang ditangguhkan untuk penempatan dan ketersediaan Pod yang cepat | GKE dalam mode Standard dan Autopilot | ComputeClass kustom, autoscaler cluster, pembuatan otomatis node pool, HPA, reservasi | Konsumsi kapasitas node yang di-buffer oleh Pod terjadwal |
|
| Platform komputasi yang dioptimalkan untuk container | Percepat kesiapan node dan penempatan Pod dengan infrastruktur terkelola
dan ComputeClass Balanced atau Scale-Out |
GKE: Cluster Autopilot, dan workload mode Autopilot di cluster Standard | Pembuatan otomatis node pool, HPA, VPA, buffering kapasitas, pemesanan | Pod yang tertunda dan memerlukan kapasitas komputasi tambahan |
|
| HPA | Menambahkan atau menghapus replika Pod agar sesuai dengan permintaan workload | GKE dalam mode Standard dan Autopilot | Autoscaler cluster, pembuatan otomatis node pool, MPA, metrik kustom dan eksternal, penskalaan hingga nol | Penggunaan CPU, penggunaan memori, atau metrik kustom dan eksternal |
|
| VPA | Menyesuaikan permintaan dan batas CPU serta memori container berdasarkan penggunaan | GKE dalam mode Standard dan Autopilot | Autoscaler cluster, pembuatan otomatis node pool, MPA, pengubahan ukuran Pod di tempat, pemesanan | Penggunaan CPU dan memori container historis |
|
| MPA | Menskalakan replika Pod pada permintaan CPU dan memori container secara bersamaan | GKE dalam mode Standard dan Autopilot | Autoscaler cluster, pembuatan otomatis node pool, metrik kustom dan eksternal | Pergeseran permintaan CPU dan perubahan penggunaan memori container secara bersamaan |
|
| Metrik kustom dan eksternal | Menskalakan replika Pod berdasarkan sinyal aplikasi atau layanan eksternal | GKE dalam mode Standard dan Autopilot | HPA, MPA, penskalaan ke nol, autoscaler cluster, pembuatan otomatis node pool | Metrik aplikasi atau metrik antrean dan traffic eksternal |
|
| Penskalaan hingga nol | Menurunkan skala Pod dan node pool yang tidak ada aktivitas hingga nol dan mengaktifkannya sesuai permintaan atau peristiwa | GKE dalam mode Standard dan Autopilot | HPA, metrik kustom dan eksternal, autoscaler cluster, pembuatan otomatis node pool | Tidak adanya permintaan, atau permintaan baru di metrik kustom dan eksternal HPA atau pemicu KEDA |
|
| Antrean tugas Kueue | Mengantrekan tugas batch, menerapkan kuota tim, dan mengoordinasikan alokasi node secara bersamaan | GKE dalam mode Standard dan Autopilot | Penyediaan Flex-start di GKE, ComputeClass Kustom, autoscaler cluster, pembuatan otomatis node pool | Tugas batch yang diterima saat kuota cluster dan kapasitas hardware terbuka |
|
| Cloud Storage FUSE dengan streaming paralel | Memasang bucket Cloud Storage sebagai sistem file dengan pembacaan dan cache paralel | GKE dalam mode Standard dan Autopilot | HPA, autoscaler cluster, pembuatan otomatis node pool, snapshot Pod | Startup pod dan pembacaan file berurutan dari bucket yang terpasang |
|
| Penguatan CPU saat startup | Memberikan CPU tambahan sementara ke container selama inisialisasi | GKE dalam mode Standard dan Autopilot | HPA, VPA, autoscaler cluster, pembuatan otomatis node pool | Fase startup dan inisialisasi container |
|
| Streaming image | Melakukan streaming blok image container sesuai permintaan dari Artifact Registry selama startup Pod | GKE dalam mode Standard dan Autopilot | HPA, autoscaler cluster, pembuatan otomatis node pool, buffering kapasitas | Penarikan image container dari Artifact Registry saat Pod dimulai |
|
| Boot disk sekunder | Memasang volume Persistent Disk yang telah dimuat sebelumnya dengan image container atau data model saat booting node | GKE dalam mode Standard dan Autopilot | ComputeClass kustom, HPA, autoscaler cluster, pembuatan otomatis node pool, buffering kapasitas | Booting node di node pool yang dikonfigurasi dengan image boot disk sekunder |
|
| Pengubahan ukuran Pod di tempat | Mengupdate alokasi CPU dan memori container aktif tanpa memulai ulang Pod | GKE dalam mode Standard dan Autopilot | VPA, autoscaler cluster, pembuatan otomatis node pool | Permintaan dan batas CPU atau memori container yang diperbarui |
|
| Snapshot pod | Memulihkan replika Pod dari checkpoint memori dan sistem file yang disimpan | GKE dalam mode Standard dan Autopilot | HPA, autoscaler cluster, pembuatan otomatis node pool, buffering kapasitas | Pembuatan replika pod dari snapshot yang disimpan |
|
| Run:ai Model Streamer | Melakukan streaming tensor model secara paralel ke memori GPU atau TPU | GKE dalam mode Standard dan Autopilot | HPA, autoscaler cluster, pembuatan otomatis node pool, Volume Populator | Permintaan startup server inferensi AI dan pemuatan model |
|
| Volume Populator | Melakukan pramuat volume Hyperdisk ML dengan data dari Cloud Storage | GKE dalam mode Standard dan Autopilot | HPA, autoscaler cluster, pembuatan otomatis node pool, snapshot Pod | Pembuatan PersistentVolumeClaim yang mereferensikan resource GCPDataSource |
|
| Kebijakan penskalaan otomatis | Menambahkan atau menghapus host ESXi di cluster cloud pribadi VMware | VMware Engine | Cloud Load Balancing | Penggunaan CPU, memori, atau penyimpanan vSAN yang berkelanjutan |
|
Praktik terbaik untuk skalabilitas
Untuk mendesain infrastruktur yang dapat diskalakan tanpa bottleneck atau kekurangan kapasitas, terapkan praktik terbaik di bagian ini di seluruh kapasitas komputasi, desain jaringan, dan arsitektur aplikasi.
Merencanakan kapasitas dan ketersediaan komputasi
Untuk mempersiapkan infrastruktur Anda menghadapi pertumbuhan permintaan dan meningkatkan ketersediaan hardware, terapkan praktik berikut:
Perkirakan kebutuhan workload Anda: sebelum mengonfigurasi autoscaler, ukur penggunaan dasar pengukuran dan fluktuasi puncak. Untuk memeriksa penggunaan historis, memperkirakan permintaan, dan menetapkan batas instance komputasi minimum dan maksimum yang akurat, gunakan Capacity Planner.
Desain untuk ketersediaan resource: saat Anda meminta hardware yang langka seperti GPU atau TPU, optimalkan penyediaan komputasi di tiga dimensi berikut:
Fleksibilitas lokasi: distribusikan workload di seluruh zona dengan MIG regional.
Fleksibilitas jenis mesin: mengizinkan beberapa seri mesin melalui fleksibilitas instance MIG atau ComputeClass kustom GKE.
Fleksibilitas waktu: gunakan penyediaan Flex-start saat tugas dapat menunggu kapasitas.
Gunakan pemesanan untuk jaminan kapasitas tinggi: untuk traffic dasar, peristiwa skala puncak, atau GPU dan TPU yang langka, pesan kapasitas terlebih dahulu. Pemesanan memberikan tingkat jaminan yang tinggi bahwa resource tersedia di zona target Anda saat workload Anda diskalakan. Jika satu tugas Slurm melebihi satu pemesanan, rentangkan partisi Cluster Toolkit ke beberapa pemesanan.
Pra-pemanasan kapasitas cadangan untuk workload yang sensitif terhadap latensi: jika aplikasi Anda tidak dapat menunggu instance komputasi baru disediakan selama lonjakan traffic yang tiba-tiba, pertahankan kapasitas cadangan yang siap digunakan. Konfigurasikan buffering kapasitas GKE untuk melakukan pra-penyediaan node aktif atau standby, atau gunakan standby pool di MIG Compute Engine untuk melanjutkan instance komputasi yang ditangguhkan tanpa penundaan booting sistem operasi penuh.
Mendesain jaringan untuk penskalaan
Untuk memindahkan data di antara resource yang diskalakan tanpa penundaan atau kehabisan alamat, terapkan praktik jaringan berikut:
Alokasikan alamat IP yang memadai: pastikan subnet Anda memiliki alamat IP kosong yang cukup untuk jumlah instance atau node maksimum dalam batas autoscaler Anda. Di GKE, periksa juga rentang IP sekunder untuk Pod dan Service. Jika subnet kehabisan alamat IP, autoscaler akan gagal membuat instance komputasi atau Pod baru.
Pilih antarmuka jaringan dengan throughput tinggi: untuk workload yang mentransfer set data besar atau bobot model di seluruh node, pilih pengontrol antarmuka jaringan dengan bandwidth tinggi seperti Google Virtual Network Interface Card atau remote direct memory access. Antarmuka ini mengurangi overhead CPU dan meningkatkan bandwidth antara instance komputasi yang diskalakan.
Mengoptimalkan penempatan instance: untuk tugas pelatihan AI atau HPC multi-node, kelompokkan instance komputasi di server fisik yang berdekatan dengan kebijakan penempatan rapat atau penempatan berbasis topologi di Cluster Director dan Cluster Toolkit. Penempatan fisik yang berdekatan mengurangi hop jaringan dan latensi di seluruh node yang diskalakan. Untuk layanan web yang fault-tolerant, sebarkan instance komputasi ke seluruh zona sehingga pemadaman layanan di satu zona tidak mengganggu traffic.
Mendesain aplikasi untuk skala
Agar aplikasi Anda dapat melakukan penyebaran skala dan penyempitan skala tanpa mengganggu pengguna, terapkan praktik arsitektur berikut:
Jaga agar tingkat aplikasi tetap stateless: simpan data sesi pengguna, checkpoint, dan file bersama di penyimpanan atau database eksternal, bukan di disk instance lokal. Desain ini memungkinkan autoscaler menambahkan atau menghapus instance komputasi dan Pod kapan saja tanpa kehilangan data.
Pisahkan komponen dengan antrean dan microservice: bagi workload monolitik menjadi layanan independen yang terhubung oleh load balancer atau antrean pesan seperti Pub/Sub. Arsitektur ini memungkinkan Anda menskalakan setiap layanan berdasarkan permintaannya sendiri—termasuk hingga nol dengan autoscaler berbasis peristiwa—dan menyerap lonjakan traffic tanpa kelebihan beban pada backend downstream.
Mempersingkat waktu mulai container dan pemuatan model: mengurangi penundaan antara pembuatan resource dan kesiapan traffic sehingga kapasitas yang diskalakan dapat langsung melayani permintaan. Di GKE, lakukan streaming atau pramuat image container dan gunakan penguatan startup CPU atau snapshot Pod untuk mempercepat inisialisasi runtime. Untuk workload AI, lakukan streaming bobot model dari Cloud Storage FUSE, Run:ai Model Streamer, atau volume yang telah diisi otomatis.