Mengonfigurasi penskalaan otomatis CPU untuk worker pool

Penskalaan otomatis CPU di worker pool Cloud Run memungkinkan Anda menskalakan instance berdasarkan penggunaan CPU rata-rata untuk mengoptimalkan performa dan biaya. Anda dapat mengonfigurasi penskalaan otomatis dengan target pemakaian CPU default atau menentukan target pemakaian CPU kustom dan batas instance. Untuk mengetahui informasi selengkapnya tentang cara Cloud Run menghitung jumlah instance dan menskalakan worker pool, lihat Tentang penskalaan otomatis CPU.

Saat Anda men-deploy worker pool tanpa mengaktifkan penskalaan otomatis CPU, Cloud Run akan menggunakan penskalaan manual dengan 1 instance secara default.

Jika Anda menggunakan Penskalaan Otomatis Metrik Eksternal Cloud Run (CREMA) untuk menskalakan workload, beralihlah ke penskalaan manual.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengonfigurasi dan men-deploy worker pool Cloud Run, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui daftar peran dan izin IAM yang terkait dengan Cloud Run, lihat Peran IAM Cloud Run dan Izin IAM Cloud Run. Jika kumpulan worker Cloud Run Anda berinteraksi dengan APIGoogle Cloud , seperti Library Klien Cloud, lihat panduan konfigurasi identitas layanan. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat izin deployment dan mengelola akses.

Mengonfigurasi target CPU default

Saat Anda mengaktifkan penskalaan otomatis CPU default, Cloud Run menargetkan pemakaian CPU 60% dan menskalakan worker pool Anda antara 1 dan 100 instance. Sambil mempertahankan target penggunaan CPU default sebesar 60%, Anda dapat menyesuaikan batas instance minimum dan maksimum sesuai kebutuhan.

Memperbarui mode penskalaan atau batas instance pada worker pool yang ada tidak akan membuat revisi baru.

Anda dapat mengaktifkan penskalaan otomatis CPU default untuk worker pool Cloud Run menggunakan Google Cloud CLI, YAML, atau REST API:

gcloud

  • Untuk men-deploy worker pool baru dengan target CPU default, jalankan perintah berikut dengan flag --scaling=auto:

    gcloud beta run worker-pools deploy WORKER_POOL \
      --image=IMAGE_URL \
      --scaling=auto

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • IMAGE_URL: referensi ke image container yang berisi worker pool, seperti us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
  • Untuk mengupdate worker pool yang ada agar menggunakan target CPU default, jalankan perintah berikut dengan flag --scaling=auto:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling=auto

    Ganti WORKER_POOL dengan nama worker pool Anda.

  • Untuk mengupdate worker pool yang ada dengan target CPU default dan batas instance kustom, jalankan perintah berikut dengan flag --scaling=auto, --min, dan --max:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling=auto \
      --min=MIN_INSTANCES \
      --max=MAX_INSTANCES

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • Opsional: MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus 1 atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance.
    • Opsional: MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.

YAML

  1. Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. Tambahkan atau perbarui anotasi launch-stage dan scalingMode di bagian metadata.annotations, dan hapus anotasi run.googleapis.com/manualInstanceCount jika ada. Untuk menetapkan batas instance kustom, tambahkan anotasi minScale dan maxScale secara opsional:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic
       run.googleapis.com/minScale: 'MIN_INSTANCES'
       run.googleapis.com/maxScale: 'MAX_INSTANCES'

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • Opsional: MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus 1 atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance.
    • Opsional: MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
  3. Buat atau update worker pool menggunakan perintah berikut:

    gcloud run worker-pools replace worker-pool.yaml

    Perintah gcloud run worker-pools replace secara default menggunakan file worker-pool.yaml jika ada.

REST API

Untuk mengonfigurasi target CPU default pada worker pool yang ada, kirim permintaan HTTP PATCH berikut ke endpoint workerPools.patch Cloud Run Admin API. Untuk menetapkan batas instance kustom, sertakan kolom minInstanceCount dan maxInstanceCount serta jalur update_mask-nya secara opsional:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.minInstanceCount,scaling.maxInstanceCount

Ganti kode berikut:

  • ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin Identity and Access Management untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankan gcloud auth print-access-token.
  • Opsional: MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus 1 atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance.
  • Opsional: MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
  • PROJECT_ID: Project ID Google Cloud Anda.
  • REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya, europe-west1.
  • WORKER_POOL: nama worker pool Anda.

Mengonfigurasi target CPU kustom dan batas instance

Anda dapat menyesuaikan target pemakaian CPU, batas instance minimum dan maksimum, atau keduanya. Setiap setelan yang Anda hilangkan akan menggunakan nilai defaultnya (target CPU 60%, 1 instance minimum, dan 100 instance maksimum). Mengupdate target pemakaian CPU atau batas instance pada worker pool yang ada tidak akan membuat revisi baru.

Anda dapat mengonfigurasi target CPU kustom dan batas instance menggunakan Google Cloud CLI, YAML, atau REST API:

gcloud

  • Untuk men-deploy worker pool baru dengan target CPU kustom, jalankan perintah berikut dengan flag --scaling-cpu-target:

    gcloud beta run worker-pools deploy WORKER_POOL \
      --image=IMAGE_URL \
      --scaling-cpu-target=CPU_TARGET

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • IMAGE_URL: referensi ke image container yang berisi worker pool, seperti us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
    • CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari 0.1 hingga 0.90.
  • Untuk mengupdate worker pool yang ada dengan target CPU kustom, jalankan perintah berikut dengan flag --scaling-cpu-target:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=CPU_TARGET

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari 0.1 hingga 0.90.
  • Untuk mengupdate worker pool yang ada dengan target CPU kustom dan batas instance, jalankan perintah berikut dengan flag --scaling-cpu-target, --min, dan --max:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=CPU_TARGET \
      --min=MIN_INSTANCES \
      --max=MAX_INSTANCES

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari 0.1 hingga 0.90.
    • Opsional: MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus 1 atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance.
    • Opsional: MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.

YAML

  1. Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. Tambahkan atau perbarui anotasi launch-stage, scalingMode, scaling-cpu-target, minScale, dan maxScale di bagian metadata.annotations, dan hapus anotasi run.googleapis.com/manualInstanceCount jika ada. Anda dapat menghilangkan anotasi kustom (scaling-cpu-target, minScale, atau maxScale) yang ingin Anda pertahankan pada nilai defaultnya:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic
       run.googleapis.com/scaling-cpu-target: 'CPU_TARGET'
       run.googleapis.com/minScale: 'MIN_INSTANCES'
       run.googleapis.com/maxScale: 'MAX_INSTANCES'

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari 0.1 hingga 0.90.
    • Opsional: MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus 1 atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance.
    • Opsional: MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
  3. Buat atau update worker pool menggunakan perintah berikut:

    gcloud run worker-pools replace worker-pool.yaml

    Perintah gcloud run worker-pools replace secara default menggunakan file worker-pool.yaml jika ada.

REST API

Untuk mengonfigurasi target CPU kustom dan batas instance kustom pada worker pool yang ada, kirim permintaan HTTP PATCH berikut ke endpoint workerPools.patch Cloud Run Admin API:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{"cpuUtilization":CPU_TARGET},"minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount

Ganti kode berikut:

  • ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin IAM untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankan gcloud auth print-access-token.
  • CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari 0.1 hingga 0.90.
  • Opsional: MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus 1 atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance.
  • Opsional: MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
  • PROJECT_ID: Project ID Google Cloud Anda.
  • REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya, europe-west1.
  • WORKER_POOL: nama worker pool Anda.

Memulihkan setelan penskalaan otomatis default

Saat Anda memulihkan target pemakaian CPU kustom atau batas instance kustom ke nilai defaultnya, Cloud Run akan kembali ke target default pemakaian CPU 60%, 1 instance minimum, dan 100 instance maksimum, sekaligus menjaga penskalaan otomatis CPU tetap aktif.

Anda dapat memulihkan setelan penskalaan otomatis default menggunakan Google Cloud CLI, YAML, atau REST API:

gcloud

  • Untuk memulihkan target CPU default, jalankan perintah berikut dengan flag --scaling-cpu-target=default:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=default

    Ganti WORKER_POOL dengan nama worker pool Anda.

  • Untuk memulihkan batas instance default, jalankan perintah berikut dengan flag --min=default dan --max=default:

    gcloud beta run worker-pools update WORKER_POOL \
      --min=default \
      --max=default

    Ganti WORKER_POOL dengan nama worker pool Anda.

YAML

  1. Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. Hapus anotasi scaling-cpu-target, minScale, dan maxScale dari metadata.annotations. Perbarui anotasi scalingMode: automatic:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic

    Ganti WORKER_POOL dengan nama worker pool Anda.

  3. Buat atau update worker pool menggunakan perintah berikut:

    gcloud run worker-pools replace worker-pool.yaml

    Perintah gcloud run worker-pools replace secara default menggunakan file worker-pool.yaml jika ada.

REST API

Untuk memulihkan target CPU default dan batas instance default pada worker pool yang ada, kirim permintaan HTTP PATCH berikut ke endpoint workerPools.patch Cloud Run Admin API:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{}}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount

Ganti kode berikut:

  • ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin IAM untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankan gcloud auth print-access-token.
  • PROJECT_ID: Project ID Google Cloud Anda.
  • REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya, europe-west1.
  • WORKER_POOL: nama worker pool Anda.

Menonaktifkan penskalaan otomatis CPU

Untuk menonaktifkan penskalaan otomatis CPU dan mengalihkan kembali worker pool Anda ke penskalaan manual, tentukan jumlah instance tetap menggunakan Google Cloud CLI, YAML, atau REST API:

gcloud

Untuk menonaktifkan penskalaan otomatis CPU pada worker pool yang ada, jalankan perintah berikut dengan flag --scaling ditetapkan ke jumlah instance tetap:

gcloud beta run worker-pools update WORKER_POOL \
    --scaling=INSTANCE_COUNT

Ganti kode berikut:

  • WORKER_POOL: nama worker pool Anda.
  • INSTANCE_COUNT: jumlah tetap instance yang akan dijalankan dalam mode penskalaan manual.

YAML

  1. Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. Tetapkan scalingMode ke manual, tentukan manualInstanceCount, dan hapus scaling-cpu-target, minScale, dan maxScale jika ada:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/scalingMode: manual
       run.googleapis.com/manualInstanceCount: "INSTANCE_COUNT"

    Ganti kode berikut:

    • WORKER_POOL: nama worker pool Anda.
    • INSTANCE_COUNT: jumlah tetap instance yang akan dijalankan dalam mode penskalaan manual.
  3. Buat atau update worker pool menggunakan perintah berikut:

    gcloud run worker-pools replace worker-pool.yaml

    Perintah gcloud run worker-pools replace secara default menggunakan file worker-pool.yaml jika ada.

REST API

Untuk menonaktifkan penskalaan otomatis CPU pada worker pool yang ada, kirim permintaan HTTP PATCH berikut ke endpoint workerPools.patch Cloud Run Admin API:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"scaling":{"scalingMode":"MANUAL","manualInstanceCount":INSTANCE_COUNT}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling,scaling.minInstanceCount,scaling.maxInstanceCount

Ganti kode berikut:

  • ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin IAM untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankan gcloud auth print-access-token.
  • INSTANCE_COUNT: jumlah tetap instance yang akan dijalankan dalam mode penskalaan manual.
  • PROJECT_ID: Project ID Google Cloud Anda.
  • REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya, europe-west1.
  • WORKER_POOL: nama worker pool Anda.

Melihat setelan penskalaan otomatis CPU

Untuk melihat konfigurasi penskalaan otomatis CPU untuk worker pool Anda, jalankan perintah gcloud beta run worker-pools describe:

gcloud beta run worker-pools describe WORKER_POOL

Ganti WORKER_POOL dengan nama worker pool Anda.

Tentang penskalaan otomatis CPU

Secara default, penskalaan otomatis CPU menargetkan pemakaian CPU rata-rata sebesar 60% (run.googleapis.com/container/cpu/utilizations) dan menskalakan worker pool Anda antara 1 hingga 100 instance.

Saat Anda mengaktifkan penskalaan otomatis CPU, Cloud Run akan menghitung jumlah instance yang diperlukan untuk worker pool dengan merata-ratakan penggunaan CPU per detik selama satu menit terakhir di semua instance yang berjalan, dan membagi nilai tersebut dengan jumlah CPU per instance. Hasilnya kemudian dibagi lagi dengan target CPU Anda:

\[ \text{Instances} = \left\lceil \dfrac{\left( \frac{\text{Average CPU usage per second over the past minute}}{\text{Number of CPUs per instance}} \right)}{\text{CPU target}} \right\rceil \]

Cloud Run menyesuaikan jumlah instance worker pool menggunakan perilaku berikut:

  • Pembulatan ke atas: Cloud Run menghitung jumlah instance yang diperlukan dari penggunaan CPU yang diukur dan target Anda, bukan dari jumlah instance yang berjalan, dan membulatkan hasilnya ke atas ke instance utuh berikutnya. Karena pembulatan ini, worker pool Anda dapat ditingkatkan skalanya meskipun pemakaiannya masih di bawah target. Misalnya, worker pool yang memerlukan 4,1 instance akan menjalankan 5 instance.
  • Penskalaan tingkat pool dan pembagian instance: Cloud Run menghitung total jumlah instance untuk seluruh pool worker, lalu mendistribusikan instance tersebut di seluruh revisi aktif berdasarkan pembagian instance yang Anda konfigurasi.
  • Stabilisasi perkecil skala 5 menit: Cloud Run menggunakan periode stabilisasi 5 menit (300 detik) saat memperkecil skala. Untuk mencegah fluktuasi instance yang sering terjadi, Cloud Run mempertahankan jumlah instance pada rekomendasi tertinggi dari 5 menit sebelumnya.

Memilih target pemakaian CPU

Anda dapat menggunakan target pemakaian CPU default sebesar 60% atau mengonfigurasi target kustom dari 10% hingga 90% berdasarkan profil workload dan toleransi latensi Anda menggunakan panduan berikut:

  • Target CPU yang lebih tinggi (80% hingga 90%): Gunakan target yang lebih tinggi untuk workload latar belakang yang stabil dan dapat diprediksi atau tugas pemrosesan batch yang tidak sensitif terhadap latensi. Target yang lebih tinggi memaksimalkan penggunaan resource dan mengurangi biaya infrastruktur, tetapi menyisakan lebih sedikit ruang untuk lonjakan pekerjaan yang tiba-tiba, yang dapat menyebabkan throttling CPU atau peningkatan latensi pemrosesan saat instance baru dimulai.
  • Target CPU yang lebih rendah (20% hingga 40%): Gunakan target yang lebih rendah untuk workload dengan permintaan CPU yang tidak stabil atau tidak dapat diprediksi, persyaratan latensi pemrosesan yang ketat, atau waktu startup container yang lebih lama. Target yang lebih rendah memberikan buffering untuk menyerap lonjakan aktivitas yang tiba-tiba dengan menyediakan lebih banyak instance lebih awal, sehingga membantu mencegah penurunan performa. Konsekuensinya adalah biaya yang lebih tinggi karena lebih banyak instance yang berjalan dalam kondisi beban normal.

Sebaiknya Anda memulai dengan target default, memantau metrik run.googleapis.com/container/instance_count di Cloud Monitoring, dan menyesuaikan target berdasarkan pengujian beban dan pengamatan performa.

Langkah berikutnya