Jika penskalaan otomatis Pod horizontal tidak berfungsi seperti yang diharapkan di Google Kubernetes Engine (GKE), workload Anda mungkin tidak diskalakan dengan benar. Masalah ini
dapat mencegah aplikasi menangani beban, yang dapat menyebabkan masalah performa
atau pemadaman layanan. Anda mungkin melihat Pod tidak meningkat meskipun CPU tinggi, nilai metrik
ditampilkan sebagai <unknown> dalam status HorizontalPodAutoscaler,
atau operasi penskalaan tidak terjadi sama sekali.
Gunakan dokumen ini untuk mendiagnosis dan menyelesaikan masalah umum terkait penskalaan otomatis Pod horizontal, mulai dari kesalahan konfigurasi awal di HorizontalPodAutoscaler hingga kegagalan yang lebih kompleks dalam pipeline metrik. Dengan mengikuti langkah-langkah pemecahan masalah ini, Anda dapat membantu memastikan bahwa aplikasi Anda diskalakan secara efisien dan andal berdasarkan permintaan.
Informasi ini penting bagi developer aplikasi yang mengonfigurasi HorizontalPodAutoscaler dan perlu memastikan bahwa aplikasi mereka diskalakan dengan benar. Hal ini juga membantu admin dan operator platform memecahkan masalah pada pipeline metrik atau konfigurasi cluster yang memengaruhi semua workload yang diskalakan otomatis. Untuk mengetahui informasi selengkapnya tentang peran umum dan contoh tugas yang kami referensikan dalam konten Google Cloud , lihat Peran dan tugas pengguna GKE umum.
Sebelum memulai
- Pastikan Anda menggunakan objek HorizontalPodAutoscaler dengan workload yang skalabel, seperti Deployment dan StatefulSet. Anda tidak dapat menggunakan penskalaan otomatis Pod horizontal dengan workload yang tidak dapat diskalakan, misalnya, DaemonSets.
-
Untuk mendapatkan izin yang diperlukan guna memecahkan masalah penskalaan otomatis Pod horizontal di GKE, yang mencakup memeriksa objek HorizontalPodAutoscaler dan melihat log cluster, minta administrator untuk memberi Anda peran IAM berikut pada project Anda:
-
Memeriksa resource GKE:
GKE Viewer (
roles/container.viewer) -
Lihat log cluster:
Logs Viewer (
roles/logging.viewer)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
-
Memeriksa resource GKE:
GKE Viewer (
Konfigurasi alat command line
kubectluntuk berkomunikasi dengan cluster GKE Anda:gcloud container clusters get-credentials CLUSTER_NAME \ --location LOCATION \ --project PROJECT_IDGanti kode berikut:
CLUSTER_NAME: nama cluster Anda.LOCATION: region atau zona Compute Engine (misalnya,us-central1atauus-central1-a) untuk cluster.PROJECT_ID: Project ID Google Cloud Anda.
Mendiagnosis masalah HorizontalPodAutoscaler
Untuk mendiagnosis masalah pada HorizontalPodAutoscaler, periksa status dan
konfigurasi menggunakan perintah kubectl atau konsol Google Cloud .
Menjelaskan HorizontalPodAutoscaler
Untuk melihat penghitungan real-time dan keputusan penskalaan terbaru, gunakan
perintah kubectl describe hpa:
kubectl describe hpa HPA_NAME -n NAMESPACE_NAME
Ganti kode berikut:
HPA_NAME: nama objek HorizontalPodAutoscaler Anda.NAMESPACE_NAME: namespace objek HorizontalPodAutoscaler Anda.
Outputnya mirip dengan hal berikut ini:
Name: php-apache-hpa
Namespace: default
Reference: Deployment/php-apache
Metrics: ( current / target )
resource cpu on pods (as a percentage of request): 1% (1m) / 50%
Min replicas: 1
Max replicas: 10
Conditions:
Type Status Reason Message
---- ------ ------ -------
AbleToScale True ReadyForNewScale recommended size matches current size
ScalingActive True ValidMetricFound the HorizontalPodAutoscaler was able to successfully calculate a replica count
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SuccessfulRescale 39m horizontal-pod-autoscaler New size: 4; reason: cpu resource utilization...
Normal SuccessfulRescale 26m horizontal-pod-autoscaler New size: 1; reason: cpu resource utilization...
Dalam output, tiga bagian berikut membantu Anda mendiagnosis masalah:
Metrics: menampilkan nilai metrik saat ini dibandingkan dengan targetnya. Nilai metrik<unknown>menunjukkan bahwa HorizontalPodAutoscaler belum mengambil metrik atau pipeline metrik rusak.Conditions: menunjukkan apakah HorizontalPodAutoscaler dapat mengambil metrik (AbleToScale) dan melakukan penghitungan penskalaan (ScalingActive). StatusFalsedalam salah satu kondisi ini menunjukkan kegagalan.Events: mencatat tindakan penskalaan, peringatan, dan error terbaru dari pengontrol HorizontalPodAutoscaler. Log ini sering kali menjadi tempat pertama untuk menemukan pesan atau alasan error tertentu, sepertiFailedGetScaleatauFailedGetResourceMetric.
Memeriksa manifes HorizontalPodAutoscaler
Manifes YAML objek HorizontalPodAutoscaler memungkinkan Anda melihat informasi tentang konfigurasi dan statusnya saat ini.
Untuk melihat manifes YAML, pilih salah satu opsi berikut:
Konsol
Di konsol Google Cloud , buka halaman Object Browser.
Di daftar Object Kinds, centang kotak HorizontalPodAutoscaler, lalu klik OK.
Buka grup API autoscaling, lalu klik panah peluas untuk HorizontalPodAutoscaler.
Klik nama objek HorizontalPodAutoscaler yang ingin Anda periksa.
Tinjau bagian YAML, yang menampilkan konfigurasi lengkap objek HorizontalPodAutoscaler.
kubectl
Jalankan perintah berikut:
kubectl get hpa HPA_NAME -n NAMESPACE_NAME -o yaml
Ganti kode berikut:
HPA_NAME: nama objek HorizontalPodAutoscaler Anda.NAMESPACE_NAME: namespace objek HorizontalPodAutoscaler Anda.
Setelah Anda mengambil manifes, cari bagian-bagian penting berikut:
spec(konfigurasi Anda):scaleTargetRef: workload (seperti Deployment) yang dikonfigurasi untuk diskalakan oleh HorizontalPodAutoscaler.minReplicasdanmaxReplicas: setelan replika minimum dan maksimum.metrics: metrik yang dikonfigurasi untuk penskalaan (misalnya, pemakaian CPU atau metrik kustom).
status(status aktif HorizontalPodAutoscaler):currentMetrics: nilai metrik terbaru yang telah diamati oleh HorizontalPodAutoscaler.currentReplicasdandesiredReplicas: jumlah Pod saat ini dan jumlah yang ingin diskalakan oleh HorizontalPodAutoscaler.conditions: menampilkan kondisi HorizontalPodAutoscaler:AbleToScale: menunjukkan apakah HorizontalPodAutoscaler dapat menemukan target dan metriknya.ScalingActive: menunjukkan apakah HorizontalPodAutoscaler diizinkan untuk menghitung dan melakukan penskalaan.ScalingLimited: menunjukkan apakah HorizontalPodAutoscaler ingin melakukan penskalaan, tetapi dibatasi oleh setelanminReplicasataumaxReplicasAnda.
Melihat log peristiwa
Untuk mendapatkan insight yang lebih mendalam tentang objek HorizontalPodAutoscaler, gunakan jenis log berikut:
Melihat peristiwa HorizontalPodAutoscaler di Cloud Logging: gunakan filter log untuk menemukan semua peristiwa HorizontalPodAutoscaler untuk cluster tertentu. Contoh:
Di konsol Google Cloud , buka halaman Logs Explorer.
Di panel kueri, masukkan kueri berikut:
resource.type="k8s_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.location="LOCATION" logName="projects/PROJECT_ID/logs/events" jsonPayload.involvedObject.kind="HorizontalPodAutoscaler"Ganti kode berikut:
CLUSTER_NAME: nama cluster tempat HorizontalPodAutoscaler berada.LOCATION: region atau zona Compute Engine (misalnya,us-central1atauus-central1-a) untuk cluster.PROJECT_ID: project ID Anda.
Klik Run query dan tinjau outputnya.
Melihat peristiwa penskalaan otomatis Pod horizontal: log ini menyediakan log terstruktur yang dapat dibaca manusia yang menjelaskan cara HorizontalPodAutoscaler menghitung rekomendasi, sehingga memberikan insight mendetail tentang proses pengambilan keputusannya.
Memecahkan masalah error konfigurasi HorizontalPodAutoscaler
Bagian berikut membahas kesalahan konfigurasi dalam manifes HorizontalPodAutoscaler, seperti kolom yang salah ketik, target metrik yang tidak valid, atau konfigurasi yang bertentangan.
Workload target tidak ditemukan
Gejala
Bagian Events memiliki kondisi FailedGetScale dengan pesan yang mirip
dengan berikut ini:
the HorizontalPodAutoscaler controller was unable to get the target's current scale: WORKLOAD_TYPE.apps "TARGET_WORKLOAD" not found
Output ini mencakup nilai-nilai berikut:
WORKLOAD_TYPE: jenis workload, sepertiDeploymentatauStatefulSet.TARGET_WORKLOAD: nama workload.
Penyebab
Pengontrol HorizontalPodAutoscaler tidak dapat menemukan workload (seperti Deployment atau StatefulSet) yang dikonfigurasi untuk dikelola. Masalah ini terjadi
karena kesalahan konfigurasi di kolom scaleTargetRef dalam
manifes HorizontalPodAutoscaler. Resource yang ditentukan mungkin tidak ada,
mungkin telah dihapus, atau mungkin salah eja.
Resolusi
Coba solusi berikut:
- Verifikasi kolom
scaleTargetRefmanifes HorizontalPodAutoscaler: pastikan nilainame,kind, danapiVersiondi kolomscaleTargetRefsama persis dengan metadata yang sesuai dari workload target Anda. Jika nama workload salah, perbarui kolomscaleTargetRefHorizontalPodAutoscaler agar mengarah ke nama yang benar. - Konfirmasi bahwa workload ada: pastikan workload target ada di namespace yang sama dengan HorizontalPodAutoscaler. Anda dapat memeriksanya
dengan perintah seperti
kubectl get deployment DEPLOYMENT_NAME. Jika Anda sengaja menghapus workload, hapus objek HorizontalPodAutoscaler yang sesuai untuk membersihkan cluster Anda. Jika Anda perlu membuat ulang workload, HorizontalPodAutoscaler akan otomatis menemukannya setelah tersedia, dan error akan teratasi. - Pastikan HorizontalPodAutoscaler dan workload berada di namespace yang sama: HorizontalPodAutoscaler dan workload targetnya harus berada di namespace yang sama. Jika Anda lupa menentukan namespace saat membuat objek dengan perintah
kubectl, Kubernetes akan menempatkan objek di namespacedefault. Perilaku ini dapat menyebabkan ketidakcocokan jika HorizontalPodAutoscaler Anda berada di namespacedefaultdan workload Anda berada di namespace lain, atau sebaliknya. Periksa namespace untuk kedua objek dan verifikasi bahwa keduanya cocok.
Setelah HorizontalPodAutoscaler berhasil menemukan targetnya, kondisi
AbleToScale menjadi True, dan pesan berubah menjadi:
the HorizontalPodAutoscaler controller was able to get the target's current scale.
Metrik tidak valid
Gejala
Jika HorizontalPodAutoscaler tidak dapat menghitung replika yang diperlukan karena
masalah konfigurasi, bagian Events-nya akan menampilkan alasan
FailedComputeMetricsReplicas dengan pesan yang mirip dengan berikut ini:
invalid metrics (1 invalid out of 1)
Penyebab
Error ini biasanya berarti ada ketidakcocokan antara metrik type dan
target yang Anda tentukan dalam manifes HorizontalPodAutoscaler. Misalnya,
Anda mungkin telah menentukan type sebesar Utilization, tetapi memberikan nilai target
averageValue, bukan averageUtilization.
Resolusi
Perbaiki manifes HorizontalPodAutoscaler agar nilai kolom target
sesuai dengan metrik type:
- Jika
typeadalahUtilization, nilai di kolomtargetharus berupaaverageUtilization. - Jika
typeadalahAverageValue, nilai di kolomtargetharus berupaaverageValue.
Label metrik tidak diizinkan
Gejala
Anda melihat error berikut:
unable to fetch metrics from external metrics API: googleapi: Error 400: Metric label: 'LABEL_NAME' is not allowed
Dalam output ini, LABEL_NAME adalah nama label yang salah.
Penyebab
Manifes HorizontalPodAutoscaler menentukan kunci label yang tidak valid di bagian metric.selector.matchLabels dan Cloud Monitoring tidak mengenali atau mengizinkan kunci ini untuk metrik.
Resolusi
Untuk mengatasi masalah ini, lakukan langkah berikut:
- Identifikasi nama label yang tidak diizinkan dari pesan error.
- Hapus atau perbaiki kunci label ini di bagian
metric.selector.matchLabelspada manifes HorizontalPodAutoscaler Anda. - Temukan kunci label yang valid dan dapat difilter dengan membaca dokumentasi Cloud Monitoring untuk metrik tersebut.
Beberapa HorizontalPodAutoscaler menargetkan workload yang sama
Gejala
Tidak ada Condition atau Reason tertentu dalam status HorizontalPodAutoscaler yang secara langsung menunjukkan konflik ini. Sebagai gantinya, Anda mungkin mengamati
gejala berikut:
- Jumlah replika workload dapat berfluktuasi secara tidak terduga.
- Keputusan penskalaan mungkin tidak sesuai dengan metrik yang ditentukan dalam HorizontalPodAutoscaler tunggal.
- Saat melihat peristiwa, Anda mungkin melihat peristiwa
SuccessfulRescaleyang bergantian atau bertentangan dari objek HorizontalPodAutoscaler yang berbeda.
Penyebab
Masalah ini terjadi karena lebih dari satu objek HorizontalPodAutoscaler dalam namespace yang sama menentukan workload yang sama persis di kolom spec.scaleTargetRef. Setiap HorizontalPodAutoscaler secara independen
menghitung jumlah replika dan mencoba menskalakan workload berdasarkan kumpulan
metrik dan targetnya sendiri. Kubernetes tidak memblokir konfigurasi ini, tetapi menyebabkan penyesuaian penskalaan yang tidak menentu karena HorizontalPodAutoscaler saling bersaing.
Resolusi
Untuk menghindari konflik, tentukan semua metrik penskalaan dalam satu objek HorizontalPodAutoscaler. Setiap HorizontalPodAutoscaler menghitung kebutuhan penskalaan dari kolom spec.metrics-nya sendiri, sehingga penggabungan keduanya memungkinkan objek HorizontalPodAutoscaler yang dipilih mempertimbangkan semua faktor, seperti CPU dan permintaan per detik, secara bersamaan:
Untuk mengidentifikasi HorizontalPodAutoscaler mana yang menargetkan workload yang sama, dapatkan manifes YAML untuk setiap objek HorizontalPodAutoscaler. Perhatikan baik-baik kolom
spec.scaleTargetRefdi output.kubectl get hpa -n NAMESPACE_NAME -o yamlGanti
NAMESPACE_NAMEdengan namespace objek HorizontalPodAutoscaler Anda.Cari instance tempat resource HorizontalPodAutoscaler yang berbeda memiliki nilai yang sama untuk
apiVersion,kind, dannamedalam kolomscaleTargetRef.Gabungkan metrik ke dalam satu objek HorizontalPodAutoscaler:
- Pilih satu objek HorizontalPodAutoscaler untuk dipertahankan. HorizontalPodAutoscaler ini akan menjadi yang Anda ubah.
- Periksa bagian
spec.metricsdalam manifes setiap objek HorizontalPodAutoscaler lainnya yang menargetkan workload yang sama. - Salin definisi metrik yang ingin Anda pertahankan dari bagian
spec.metricsobjek HorizontalPodAutoscaler duplikat. - Tempelkan definisi metrik yang disalin ini ke dalam array
spec.metricsdari HorizontalPodAutoscaler yang Anda putuskan untuk dipertahankan.
Terapkan perubahan Anda:
kubectl apply -f MANIFEST_NAMEGanti
MANIFEST_NAMEdengan nama manifes HorizontalPodAutoscaler yang Anda putuskan untuk dipertahankan.Hapus objek HorizontalPodAutoscaler lain yang menargetkan workload yang sama:
kubectl delete hpa DUPLICATE_MANIFEST_NAME -n NAMESPACE_NAMEGanti
DUPLICATE_MANIFEST_NAMEdengan nama objek HorizontalPodAutoscaler redundan yang ingin Anda hapus.
Memecahkan masalah workload dan Service
Bagian berikut membahas error yang disebabkan oleh workload target atau Service terkait, bukan objek HorizontalPodAutoscaler itu sendiri.
Permintaan resource tidak ada untuk penghitungan penskalaan
Gejala
Kondisi ScalingActive adalah False dengan Reason
FailedGetResourceMetric. Biasanya, Anda juga akan melihat pesan yang mirip dengan
berikut ini:
the HorizontalPodAutoscaler was unable to compute the replica count
Penyebab
HorizontalPodAutoscaler perlu menghitung penggunaan resource sebagai persentase untuk menskalakan workload, tetapi tidak dapat melakukan penghitungan ini karena setidaknya satu container dalam spesifikasi Pod tidak memiliki definisi resources.requests untuk resource yang sesuai (cpu atau memory).
Resolusi
Untuk mengatasi masalah ini, perbarui manifes Pod dalam Deployment,
StatefulSet, atau pengontrol lainnya untuk menyertakan kolom resources.requests untuk
resource (cpu atau memory) yang coba diskalakan oleh HorizontalPodAutoscaler
untuk semua container di Pod. Contoh:
apiVersion: v1
kind: Pod
metadata:
name: example-pod
# Multiple lines are omitted here
spec:
containers:
- name: example-container
resources:
requests:
cpu: "100m"
memory: "128Mi"
Tidak dapat mengambil metrik Pod
Gejala
Anda melihat pesan persisten yang mirip dengan berikut ini:
unable to fetch pod metrics for pod
Wajar jika Anda melihat pesan ini untuk sementara saat server metrik mulai dijalankan.
Penyebab
Untuk melakukan penskalaan berdasarkan persentase penggunaan resource (seperti cpu atau memory), setiap container dalam Pod yang ditargetkan oleh objek HorizontalPodAutoscaler harus memiliki kolom resources.requests yang ditentukan untuk resource tertentu tersebut.
Jika tidak, HorizontalPodAutoscaler tidak dapat melakukan penghitungan yang diperlukan, dan tidak mengambil tindakan terkait metrik tersebut.
Resolusi
Jika pesan error ini terus muncul dan Anda melihat bahwa Pod tidak diskalakan untuk workload, pastikan Anda telah menentukan permintaan resource untuk setiap container dalam workload.
Beberapa layanan memilih target yang sama
Gejala
Anda melihat error berikut:
multiple services selecting the same target of HPA_NAME: SERVICE_NAME
Output ini mencakup nilai-nilai berikut:
HPA_NAME: nama HorizontalPodAutoscaler.SERVICE_NAME: nama Service.
Penyebab
Penskalaan otomatis berbasis traffic dikonfigurasi, tetapi lebih dari satu Service Kubernetes menargetkan kolom scaleTargetRef HorizontalPodAutoscaler. Penskalaan otomatis berbasis traffic hanya mendukung hubungan satu-ke-satu antara Service dan workload yang diskalakan otomatis.
Resolusi
Untuk memperbaiki masalah ini, pastikan hanya satu pemilih label Service yang cocok dengan Pod workload Anda:
Temukan label Pod workload Anda:
kubectl get deployment HPA_TARGET_DEPLOYMENT \ -n NAMESPACE \ -o jsonpath='{.spec.template.metadata.labels}'Ganti kode berikut:
HPA_TARGET_DEPLOYMENT: nama Deployment yang ditargetkan oleh HorizontalPodAutoscaler.NAMESPACE: namespace Deployment.
Outputnya mirip dengan hal berikut ini:
{"app":"my-app", "env":"prod"}Temukan semua Service yang cocok dengan label tersebut dengan meninjau kolom
spec.selectoruntuk semua Service di namespace.kubectl get services -n NAMESPACE -o yamlIdentifikasi setiap Service yang pemilihnya cocok dengan label dari langkah sebelumnya. Misalnya,
{"app": "my-app"}dan{"app": "my-app", "env": "prod"}cocok dengan contoh label Pod.Selesaikan konflik dengan memilih salah satu opsi berikut:
- Buat pemilih Service yang diinginkan menjadi unik dengan menambahkan label baru yang unik ke kolom
spec.template.metadata.labelsDeployment Anda. Kemudian, perbarui kolomspec.selectorService satu yang dimaksud untuk menyertakan label baru ini. - Buat pemilih Service lainnya lebih ketat dengan mengubah kolom
spec.selectordari semua Service lainnya yang bertentangan agar lebih ketat dan tidak lagi cocok dengan Pod workload Anda.
- Buat pemilih Service yang diinginkan menjadi unik dengan menambahkan label baru yang unik ke kolom
Terapkan perubahan Anda:
kubectl apply -f MANIFEST_NAMEGanti
MANIFEST_NAMEdengan nama file YAML yang berisi manifes Service atau Deployment yang telah diperbarui.
Memecahkan masalah Metrics API dan ketersediaan data
Bagian berikut membantu Anda mengatasi error yang terjadi saat HorizontalPodAutoscaler mencoba berkomunikasi dengan Metrics API atau mengkueri backend metrik.
Memecahkan masalah metrik kustom dan eksternal
Jika HorizontalPodAutoscaler Anda mengandalkan metrik dari sumber selain CPU atau memori default, masalah dapat terjadi dalam pipeline metrik kustom atau eksternal. Pipeline ini terdiri dari pengontrol HorizontalPodAutoscaler, server API metrik Kubernetes, adaptor metrik, dan sumber metrik (misalnya, Cloud Monitoring atau Prometheus) seperti yang ditunjukkan dalam diagram berikut:
Gejala
Gejala paling umum dari masalah dalam pipeline metrik adalah sebagai berikut:
- Nilai metrik ditampilkan sebagai
<unknown>. - Peristiwa HorizontalPodAutoscaler menampilkan error seperti
FailedGetExternalMetricatauFailedGetCustomMetric.
Penyebab
Ada masalah dalam pipeline metrik kustom atau eksternal.
Resolusi
Gunakan langkah-langkah berikut untuk membantu Anda men-debug pipeline:
Periksa apakah adaptor metrik terdaftar dan tersedia: adaptor metrik harus mendaftarkan dirinya ke server Kubernetes API utama untuk menyajikan metrik. Tindakan ini adalah cara paling langsung untuk melihat apakah adaptor berjalan dan dapat dijangkau oleh server API:
kubectl get apiservice | grep -E 'NAME|metrics.k8s.io'Dalam output, Anda akan melihat entri
v1beta1.custom.metrics.k8s.ioatauv1beta1.external.metrics.k8s.iodan nilaiTruedi kolomAvailable. Contoh:NAME SERVICE AVAILABLE AGE v1beta1.metrics.k8s.io kube-system/metrics-server True 18dJika nilai di kolom
AvailableadalahFalseatau tidak ada, adaptor Anda kemungkinan error atau salah dikonfigurasi. Periksa log Pod adaptor di namespacekube-systemataucustom-metricsuntuk menemukan error yang terkait dengan izin, konektivitas jaringan ke sumber metrik, atau pesan yang menunjukkan bahwa metrik tidak dapat ditemukan.Jika nilainya adalah
True, lanjutkan ke langkah berikutnya.
Buat kueri API metrik secara langsung: jika adaptor tersedia, lewati HorizontalPodAutoscaler dan minta metrik Anda langsung ke Kubernetes API. Perintah ini menguji seluruh pipeline, mulai dari server API, adaptor metrik, hingga sumber data.
Untuk mengkueri metrik eksternal, jalankan perintah berikut:
kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/NAMESPACE_NAME/METRIC_NAME" | jq .Untuk membuat kueri metrik Pod kustom, jalankan perintah berikut:
kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/namespaces/NAMESPACE_NAME/pods/*/METRIC_NAME" | jq .Ganti kode berikut:
NAMESPACE_NAME: namespace tempat Pod Anda berjalan.METRIC_NAME: nama metrik kustom atau eksternal yang ingin Anda buat kuerinya. Misalnya,requests_per_secondatauqueue_depth.
Analisis output perintah: hasil perintah sebelumnya memberi tahu Anda letak masalahnya. Pilih skenario yang sesuai dengan output Anda:
- Respons JSON yang berhasil dengan nilai: pipeline metrik berfungsi dengan benar. Masalah ini kemungkinan adalah masalah konfigurasi dalam manifes HorizontalPodAutoscaler Anda. Periksa kesalahan ejaan dalam nama metrik atau
matchLabelsyang salah. Error: Error from server (Service Unavailable): error ini biasanya menunjukkan masalah konektivitas jaringan, yang sering kali merupakan masalah firewall di cluster yang menggunakan isolasi jaringan.Identifikasi Service adaptor metrik. Biasanya berada di namespace
custom-metricsataukube-system:kubectl get service -n custom-metrics,kube-system | grep -E 'adapter|metrics'Temukan port yang diproses adaptor:
kubectl get service ADAPTER_SERVICE -n ADAPTER_NAMESPACE -o yamlGanti kode berikut:
ADAPTER_SERVICE: nama Service Kubernetes yang terkait dengan adaptor metrik yang Anda deploy. Service ini adalah Service yang Anda temukan di langkah sebelumnya. Service ini mengekspos fungsi adaptor ke bagian lain cluster, termasuk server Kubernetes API.ADAPTER_NAMESPACE: namespace tempat layanan adaptor berada (misalnya,custom-metricsataukube-system).
Temukan aturan firewall masuk untuk bidang kontrol cluster Anda:
gcloud compute firewall-rules list \ --filter="name~gke-CLUSTER_NAME-[0-9a-z]*-master"Ganti
CLUSTER_NAMEdengan nama cluster Anda.Tambahkan
targetPortadaptor ke aturan:Deskripsikan aturan saat ini untuk melihat port yang diizinkan:
gcloud compute firewall-rules describe FIREWALL_RULE_NAMEGanti
FIREWALL_RULE_NAMEdengan nama aturan firewall yang mengatur traffic jaringan ke bidang kontrol cluster Kubernetes Anda.Perbarui aturan untuk menambahkan port adaptor ke daftar:
gcloud compute firewall-rules update FIREWALL_RULE_NAME \ --allow tcp:443,tcp:10250,tcp:ADAPTER_PORTGanti
ADAPTER_PORTdengan port jaringan yang diproses oleh adaptor metrik.
Pastikan Kebijakan Jaringan Kubernetes tidak memblokir traffic ke Pod adaptor metrik:
kubectl get networkpolicy -n custom-metrics,kube-systemTinjau kebijakan apa pun untuk memverifikasi bahwa kebijakan tersebut mengizinkan traffic masuk dari bidang kontrol atau server API ke
ADAPTER_SERVICEdiADAPTER_PORT.
Daftar kosong
[]: output ini berarti adaptor sedang berjalan, tetapi tidak dapat mengambil metrik tertentu, yang menunjukkan masalah pada konfigurasi adaptor atau sumber metrik itu sendiri.Masalah Pod adaptor: periksa log Pod atau Pod adaptor metrik untuk menemukan error yang terkait dengan panggilan API, autentikasi, atau pengambilan metrik. Untuk memeriksa log, lakukan hal berikut:
Temukan nama Pod adaptor:
kubectl get pods -n ADAPTER_NAMESPACELihat lognya:
kubectl logs ADAPTER_POD_NAME \ -n ADAPTER_NAMESPACEGanti kode berikut:
ADAPTER_POD_NAME: nama Pod adaptor yang Anda identifikasi di langkah sebelumnya.ADAPTER_NAMESPACE: namespace tempat Pod adaptor berada (misalnya,custom-metricsataukube-system).
Tidak ada data di sumber: metrik mungkin tidak ada di sistem sumber. Gunakan alat pemantauan, seperti Metrics Explorer, untuk mengonfirmasi bahwa metrik ada dan memiliki nama serta label yang benar.
- Respons JSON yang berhasil dengan nilai: pipeline metrik berfungsi dengan benar. Masalah ini kemungkinan adalah masalah konfigurasi dalam manifes HorizontalPodAutoscaler Anda. Periksa kesalahan ejaan dalam nama metrik atau
Versi metrik tidak ditemukan atau adaptor tidak tersedia
Gejala
Anda melihat error berikut:
unable to fetch metrics from custom metrics API: no known available metric versions found
Penyebab
Error ini menunjukkan gangguan komunikasi dalam cluster, bukan masalah pada sumber metrik (seperti Cloud Monitoring). Penyebab umumnya meliputi:
- Server Kubernetes API tidak tersedia untuk sementara (misalnya, selama upgrade cluster atau perbaikan bidang kontrol).
- Pod adaptor metrik (misalnya,
custom-metrics-stackdriver-adapter) tidak responsif, tidak berjalan, atau tidak terdaftar dengan benar di server API.
Resolusi
Masalah ini sering kali bersifat sementara. Jika masalah berlanjut, coba solusi berikut:
Memeriksa kondisi bidang kontrol Kubernetes:
Di konsol Google Cloud , lihat kondisi dan status cluster Anda.
Buka halaman Kubernetes clusters.
Periksa kolom Status dan Notifikasi untuk cluster Anda.
Klik Notifications untuk mencari operasi yang sedang berlangsung seperti upgrade atau perbaikan. Server API mungkin tidak tersedia untuk sementara selama waktu ini.
Tinjau Cloud Audit Logs untuk menemukan error yang terkait dengan komponen bidang kontrol. Untuk mengetahui informasi tentang cara melihat log ini, lihat Informasi logging audit GKE.
Periksa respons dan log Pod adaptor metrik: pastikan Pod adaptor metrik berada dalam status
Runningdan tidak dimulai ulang baru-baru ini:kubectl get pods -n custom-metrics,kube-system -o wideJika status Pod selain
Running, atau memiliki jumlah mulai ulang yang tinggi, selidiki Pod untuk menemukan akar masalahnya. Untuk mengetahui tips pemecahan masalah, lihat Men-debug Pod dalam dokumentasi Kubernetes.Pastikan Metrics API terdaftar dan tersedia:
kubectl get apiservice | grep metrics.k8s.ioJika Metrics API responsif, outputnya akan mirip dengan berikut ini:
NAME SERVICE AVAILABLE AGE v1beta1.custom.metrics.k8s.io custom-metrics/custom-metrics-stackdriver-adapter True 18d v1beta1.external.metrics.k8s.io custom-metrics/custom-metrics-stackdriver-adapter True 18d v1beta1.metrics.k8s.io kube-system/metrics-server True 18dJika kolom
AVAILABLEmemiliki nilaiFalse, kolomMessagedalam manifes APIService lengkap mungkin memberikan detail selengkapnya.Anda dapat melihat manifes lengkap dengan perintah berikut:
kubectl get apiservice API_SERVICE_NAME -o yamlGanti
API_SERVICE_NAMEdengan nama objek APIService, sepertiv1beta1.custom.metrics.k8s.io.
Kueri metrik tidak menampilkan deret waktu
Gejala
Anda melihat error berikut:
unable to fetch metrics from custom or external metrics API: googleapi: Error
400: The supplied filter [...] query will not return any time series
Penyebab
Kueri yang dikirim ke Cloud Monitoring valid, tetapi tidak menampilkan data. Artinya, tidak ada titik data yang cocok dengan filter Anda (yang berbeda dengan menemukan metrik dengan nilai 0). Alasan yang paling mungkin untuk masalah ini adalah aplikasi atau workload yang bertanggung jawab untuk membuat metrik kustom tidak menulis data ke Cloud Monitoring selama waktu error dilaporkan.
Resolusi
Coba solusi berikut:
- Verifikasi konfigurasi: pastikan nama dan label metrik di objek HorizontalPodAutoscaler Anda sama persis dengan yang dikeluarkan oleh aplikasi.
- Periksa izin: pastikan aplikasi dikonfigurasi dengan benar dengan izin dan endpoint API yang diperlukan untuk memublikasikan metrik ke Cloud Monitoring.
- Konfirmasi aktivitas aplikasi: pastikan aplikasi yang bertanggung jawab atas metrik tersebut beroperasi dan mencoba mengirim data ke Cloud Monitoring selama jangka waktu terjadinya peringatan HorizontalPodAutoscaler.
- Selidiki error: periksa log aplikasi dari jangka waktu yang sama untuk menemukan error eksplisit yang terkait dengan emisi metrik, seperti kegagalan koneksi, kredensial yang tidak valid, atau masalah pemformatan.
Memecahkan masalah perilaku penskalaan yang sehat, tetapi tidak terduga
Bagian berikut membahas skenario saat konfigurasi HorizontalPodAutoscaler valid dan metrik tersedia, tetapi tindakan penskalaan tidak terjadi seperti yang diharapkan.
HorizontalPodAutoscaler responsif, tetapi tidak melakukan penskalaan
Gejala
HorizontalPodAutoscaler tampak responsif, kondisinya melaporkan True, dan
tidak menunjukkan error dalam peristiwanya. Namun, kebijakan ini masih belum melakukan tindakan penskalaan apa pun.
Penyebab
Beberapa faktor dapat menyebabkan perilaku yang diharapkan ini:
- Batas replika: jumlah replika saat ini sudah berada pada batas yang ditetapkan oleh kolom
minReplicasataumaxReplicasdalam konfigurasi HorizontalPodAutoscaler. - Periode toleransi: Kubernetes menggunakan periode toleransi default 10% untuk mencegah penskalaan pada fluktuasi metrik kecil. Penskalaan hanya terjadi jika rasio metrik saat ini terhadap metrik target berada di luar rentang 0,9 hingga 1,1. Misalnya, jika targetnya adalah CPU 85% dan penggunaan saat ini adalah 93%, rasionya adalah sekitar 1,094 (93/85≈1,094). Karena nilai ini kurang dari 1,1, HorizontalPodAutoscaler tidak akan meningkatkan skala.
- Pod yang belum siap: HorizontalPodAutoscaler hanya menyertakan Pod dengan status
Readydalam penghitungan penskalaannya. Pod yang terjebak dengan statusPendingatau tidak menjadiReady(karena health check yang gagal atau masalah resource) akan diabaikan dan dapat mencegah penskalaan. - Penundaan periode sinkronisasi: pengontrol HorizontalPodAutoscaler memeriksa metrik secara berkala. Penundaan selama 15-30 detik antara metrik yang melewati batas dan inisiasi tindakan penskalaan adalah hal yang normal.
- Latensi metrik baru: saat HorizontalPodAutoscaler menggunakan metrik kustom baru untuk pertama kalinya, Anda mungkin melihat latensi satu kali selama beberapa menit. Penundaan ini terjadi karena sistem pemantauan (seperti Cloud Monitoring) harus membuat deret waktu baru saat titik data pertama ditulis.
- Penghitungan beberapa metrik: saat Anda mengonfigurasi beberapa metrik, HorizontalPodAutoscaler menghitung jumlah replika yang diperlukan untuk setiap metrik secara independen, lalu memilih nilai yang dihitung tertinggi sebagai jumlah akhir replika. Karena perilaku ini, workload Anda akan diskalakan untuk memenuhi permintaan metrik dengan kebutuhan tertinggi. Misalnya, jika metrik CPU menghitung kebutuhan untuk 9 replika, tetapi metrik permintaan per detik menghitung kebutuhan untuk 15 replika, HorizontalPodAutoscaler akan menskalakan Deployment menjadi 15 replika.
Resolusi
Coba solusi berikut:
- Batas replika: periksa nilai
minReplicasdanmaxReplicasdi manifes HorizontalPodAutoscaler atau di output perintahkubectl describe. Sesuaikan batas ini jika menghalangi penskalaan yang diperlukan. - Jendela toleransi: jika penskalaan diperlukan di dalam toleransi default, konfigurasikan nilai toleransi yang berbeda. Jika tidak, tunggu hingga metrik bergerak di luar rasio 0,9 hingga 1,1.
- Pod yang belum siap: selidiki alasan Pod berstatus
Pendingatau tidakReadydan selesaikan masalah yang mendasarinya (misalnya, batasan resource, pemeriksaan kesiapan yang gagal). Untuk mengetahui tips pemecahan masalah, lihat Men-debug Pod dalam dokumentasi Kubernetes. - Penundaan periode sinkronisasi dan latensi metrik baru: latensi ini normal. Tunggu hingga periode sinkronisasi selesai atau hingga deret waktu metrik kustom baru dibuat.
- Penghitungan beberapa metrik: ini adalah perilaku yang dimaksudkan. Jika peningkatan skala terjadi berdasarkan satu metrik (seperti permintaan per detik), hal ini akan menggantikan penghitungan metrik lain yang lebih rendah (seperti CPU) dengan benar.
HorizontalPodAutoscaler gagal memperkecil skala
Gejala
HorizontalPodAutoscaler berhasil meningkatkan skala workload, tetapi gagal menurunkan skalanya meskipun metrik seperti pemakaian CPU rendah.
Penyebab
Perilaku ini dirancang untuk mencegah peningkatan dan penurunan skala yang cepat atau penurunan skala berdasarkan informasi yang tidak lengkap. Alasan utamanya adalah sebagai berikut:
- Menggunakan beberapa metrik: HorizontalPodAutoscaler diskalakan berdasarkan metrik yang memerlukan replika paling banyak. Jika Anda memiliki beberapa metrik, workload tidak akan memperkecil skala kecuali jika semua metrik menunjukkan bahwa replika yang diperlukan lebih sedikit. Satu metrik yang memerlukan jumlah replika tinggi akan mencegah penurunan skala, meskipun metrik lainnya rendah.
- Metrik tidak tersedia: jika ada metrik yang tidak tersedia (sering kali ditampilkan sebagai
<unknown>), HorizontalPodAutoscaler akan secara konservatif menolak untuk memperkecil skala workload. Sistem tidak dapat menentukan apakah metrik tidak ada karena penggunaan benar-benar nol atau karena pipeline metrik rusak. Masalah ini umum terjadi pada metrik kustom berbasis kapasitas (misalnya,messages_per_second), yang dapat berhenti melaporkan data saat tidak ada aktivitas, sehingga HorizontalPodAutoscaler melihat metrik sebagai tidak tersedia dan menghentikan operasi penurunan skala. - Penundaan penurunan skala dari kebijakan penskalaan: kolom
behaviorHorizontalPodAutoscaler memungkinkan Anda mengonfigurasi kebijakan penskalaan. Kebijakan default untuk penurunan skala mencakup periode stabilisasi selama 300 detik (lima menit). Selama periode ini, HorizontalPodAutoscaler tidak akan mengurangi jumlah replika, meskipun nilai metrik telah turun di bawah batas target. Periode ini mencegah fluktuasi yang cepat, tetapi dapat membuat penurunan skala lebih lambat dari yang diharapkan.
Resolusi
Coba solusi berikut:
Untuk beberapa metrik dan metrik yang tidak tersedia, diagnosis metrik yang menyebabkan masalah:
kubectl describe hpa HPA_NAME -n NAMESPACE_NAMEPada output, cari metrik apa pun dengan status
<unknown>di bagianMetricsdan peringatan sepertiFailedGetCustomMetricatauFailedGetExternalMetricdi bagianEvents. Untuk proses debug pipeline yang mendetail, lihat bagian Memecahkan masalah metrik kustom dan eksternal.Untuk metrik yang tidak tersedia, jika metrik menjadi tidak tersedia selama periode traffic rendah (umumnya terjadi pada metrik berbasis rasio), coba salah satu solusi berikut:
- Gunakan metrik berbasis pengukur, bukan berbasis rasio, jika memungkinkan. Metrik
pengukur, seperti jumlah total pesan dalam antrean (misalnya,
subscriptionataunum_undelivered_messages), secara konsisten melaporkan nilai, meskipun nilai tersebut adalah0, sehingga HorizontalPodAutoscaler dapat membuat keputusan penskalaan dengan andal. - Pastikan sumber metrik Anda melaporkan nilai nol. Jika Anda mengontrol metrik kustom, konfigurasikan metrik tersebut untuk memublikasikan
0selama periode tidak aktif, bukan tidak mengirim data sama sekali.
- Gunakan metrik berbasis pengukur, bukan berbasis rasio, jika memungkinkan. Metrik
pengukur, seperti jumlah total pesan dalam antrean (misalnya,
Untuk penundaan penurunan skala dari kebijakan penskalaan, jika periode stabilisasi default lima menit untuk penurunan skala terlalu lama, sesuaikan. Periksa bagian
spec.behavior.scaleDownpada manifes HorizontalPodAutoscaler Anda. Anda dapat menurunkanstabilizationWindowSecondsagar autoscaler memperkecil skala lebih cepat setelah metrik turun. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi kebijakan ini, lihat Kebijakan Penskalaan dalam dokumentasi Kubernetes.
Memecahkan masalah penskalaan workload GKE ke dan dari nol menggunakan HPA
Bagian ini membantu Anda mendiagnosis masalah saat mengonfigurasi workload untuk melakukan penskalaan ke dan dari nol menggunakan HPA (minReplicas: 0) di GKE 1.37 atau yang lebih baru.
Workload tidak diskalakan ke nol
Jika workload Anda tetap berada di satu atau beberapa replika saat permintaan turun ke nol, periksa hal berikut:
- Periksa
minReplicas: pastikan pasangan nilai kolomminReplicas: 0ditetapkan dalam manifes HorizontalPodAutoscaler Anda. - Periksa jenis metrik: HPA tidak dapat diskalakan ke nol jika hanya menggunakan metrik CPU atau memori (
Resource). Anda harus mengonfigurasi setidaknya satu metrikExternalatauObject. - Memeriksa beberapa metrik: HPA diskalakan berdasarkan metrik yang memerlukan jumlah replika tertinggi. Jika Anda mengonfigurasi beberapa metrik, workload tidak akan diskalakan ke nol kecuali jika setiap metrik yang dipantau bernilai nol.
- Menunggu periode stabilisasi penurunan skala: secara default, GKE menunggu selama lima menit (
scaleDown.stabilizationWindowSeconds: 300) tanpa permintaan berkelanjutan sebelum menurunkan skala dari satu ke nol replika. - Memeriksa metrik yang tidak tersedia: jika nilai metrik apa pun ditampilkan sebagai
<unknown>, HPA akan menjeda operasi penurunan skala untuk mencegah penurunan skala dini. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah Horizontal Pod Autoscaler yang gagal memperkecil skala.
Workload tidak melakukan penskalaan naik dari nol
Jika workload Anda tetap berada di nol replika saat permintaan meningkat, periksa hal berikut:
Periksa HorizontalPodAutoscaler: jalankan perintah
kubectl describe hpa HPA_NAMEdan periksa bagian berikut dalam output:- Bagian metrik: pastikan nilai metrik lebih besar dari nol dan tidak menampilkan nilai sebagai
<unknown>. Jika metrik tidak ada atau tidak diperbarui, pastikan sumber eksternal (seperti Pub/Sub) memublikasikan peristiwa dan Cloud Monitoring menerimanya. - Bagian Conditions:
- Status nol replika yang responsif: pastikan kondisi menampilkan
AbleToScale: True,ScalingActive: True, danScaledToZero: True(dengan alasanScaledToZero). Dalam status ini, GKE otomatis melakukan penskalaan otomatis workload saat permintaan meningkat. - External override detected: periksa apakah nilai kondisi
ScalingActiveadalahFalsedengan alasanScalingDisabledExternalScaleToZeroatau alasanScalingDisabledReplicaCountZero, yang menunjukkan bahwa workload diskalakan secara manual ke nol. Misalnya, workload diskalakan secara manual dengan perintahkubectl scale, yang menjeda penskalaan otomatis untuk mencegah perubahan yang bertentangan.
- Status nol replika yang responsif: pastikan kondisi menampilkan
Penyelesaian: untuk melanjutkan penskalaan otomatis, skalakan Deployment secara manual kembali ke satu atau beberapa replika:
kubectl scale deployment DEPLOYMENT_NAME --replicas=1
- Bagian metrik: pastikan nilai metrik lebih besar dari nol dan tidak menampilkan nilai sebagai
Periksa latensi cold-start: jika workload dimulai dengan lambat, penyediaan node mungkin menambah penundaan. Untuk membantu memastikan kapasitas komputasi standby siap saat melakukan penskalaan dari nol, pertimbangkan untuk menggunakan Buffering Kapasitas.
Langkah berikutnya
Jika Anda tidak dapat menemukan solusi untuk masalah Anda dalam dokumentasi, lihat Mendapatkan dukungan untuk mendapatkan bantuan lebih lanjut, termasuk saran tentang topik berikut:
- Membuka kasus dukungan dengan menghubungi Cloud Customer Care.
- Mendapatkan dukungan dari komunitas dengan
mengajukan pertanyaan di StackOverflow
dan menggunakan tag
google-kubernetes-engineuntuk menelusuri masalah serupa. Anda juga dapat bergabung ke saluran Slack#kubernetes-engineuntuk mendapatkan dukungan komunitas lainnya. - Membuka laporan masalah atau permintaan fitur menggunakan issue tracker publik.