Monitorare le metriche di latenza di avvio

Questa pagina descrive le metriche e le dashboard disponibili per il monitoraggio della latenza di avvio dei workload di Google Kubernetes Engine (GKE) e dei nodi del cluster sottostanti. Puoi utilizzare le metriche per monitorare, risolvere i problemi e ridurre la latenza di avvio.

Questa pagina è rivolta agli amministratori e agli operatori della piattaforma che devono monitorare e ottimizzare la latenza di avvio dei workload. Per scoprire di più sui ruoli comuni a cui facciamo riferimento nei contenuti di Google Cloud , consulta Ruoli e attività utente GKE comuni.

Panoramica

La latenza di avvio influisce in modo significativo sulla risposta della tua applicazione ai picchi di traffico, sulla velocità con cui le sue repliche si riprendono dalle interruzioni e sull'efficienza dei costi operativi dei tuoi cluster e workload. Il monitoraggio della latenza di avvio dei workload può aiutarti a rilevare i peggioramenti della latenza e a monitorare l'impatto degli aggiornamenti dei workload e dell'infrastruttura sulla latenza di avvio.

L'ottimizzazione della latenza di avvio del workload offre i seguenti vantaggi:

  • Riduce la latenza di risposta del servizio agli utenti durante i picchi di traffico.
  • Riduce la capacità di gestione in eccesso necessaria per assorbire i picchi di domanda durante la creazione di nuove repliche.
  • Riduce il tempo di inattività delle risorse di cui è già stato eseguito il deployment e che sono in attesa dell'avvio delle risorse rimanenti durante i calcoli batch.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti attività:

  • Abilita l'API Google Kubernetes Engine.
  • Abilita l'API Google Kubernetes Engine
  • Per utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo il comando gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.
  • Abilita le API Cloud Logging e Cloud Monitoring.

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente disponi già di questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

    Abilita le API

Requisiti

Per visualizzare le metriche e le dashboard relative alla latenza di avvio dei workload, il cluster GKE deve soddisfare i seguenti requisiti:

  • Devi avere GKE versione 1.31.1-gke.1678000 o successive.
  • Devi configurare la raccolta delle metriche di sistema.
  • Devi configurare la raccolta dei log di sistema.
  • Abilita le metriche di stato kube con il componente POD sui tuoi cluster per visualizzare le metriche dei pod e dei container.

Ruoli e autorizzazioni richiesti

Per ottenere le autorizzazioni necessarie per attivare la generazione dei log e per accedere ed elaborarli, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Visualizza i cluster GKE, i nodi e i workload: Kubernetes Engine Viewer (roles/container.viewer) nel tuo progetto
  • Accedere alle metriche di latenza di avvio e visualizzare le dashboard: Monitoring Viewer (roles/monitoring.viewer) sul tuo progetto
  • Accedi ai log con informazioni sulla latenza, come gli eventi di pull delle immagini Kubelet, e visualizzali in Esplora log e Observability Analytics: Visualizzatore log (roles/logging.viewer) sul tuo progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Metriche della latenza di avvio

Le metriche di latenza di avvio sono incluse nelle metriche di sistema di GKE e vengono esportate in Cloud Monitoring nello stesso progetto del cluster GKE.

I nomi delle metriche di Cloud Monitoring in questa tabella devono essere preceduti dal prefisso kubernetes.io/. Questo prefisso è stato omesso dalle voci della tabella.

Metriche di latenza di avvio
Tipo di metrica (livelli della gerarchia delle risorse) e nome visualizzato Tipo, unità e risorse monitorate Descrizione ed etichette

pod/latencies/pod_first_ready (project)

Latenza prima disponibilità pod

GAUGE, Double, s

k8s_pod

La latenza di avvio end-to-end del pod (dal pod Created a Ready), inclusi i pull delle immagini. Campionamento eseguito ogni 60 secondi.

node/latencies/startup (project)

Latenza di avvio dei nodi

GAUGE, INT64, s

k8s_node

La latenza di avvio totale del nodo, da CreationTimestamp dell'istanza GCE a Kubernetes node ready per la prima volta. Campionamento eseguito ogni 60 secondi.

  • accelerator_family: una classificazione dei nodi in base agli acceleratori hardware: gpu, tpu, cpu.
  • kube_control_plane_available: indica se la richiesta di creazione del nodo è stata ricevuta quando KCP (kube control plane) era disponibile.

autoscaler/latencies/per_hpa_recommendation_scale_latency_seconds (project)

Latenza di scalabilità dei suggerimenti per HPA

GAUGE, DOUBLE, s

k8s_scale

Latenza dei suggerimenti di scalabilità di Horizontal Pod Autoscaler (HPA) (tempo tra la creazione delle metriche e l'applicazione del suggerimento di scalabilità corrispondente all'apiserver) per il target HPA. Campionamento eseguito ogni 60 secondi. Dopo il campionamento, i dati non sono visibili per un massimo di 20 secondi.

metric_type: il tipo di origine della metrica. Deve essere uno tra "ContainerResource", "External", "Object", "Pods" o "Resource".

Visualizza la dashboard Latenza di avvio per i workload

La dashboard Latenza di avvio per i workload è disponibile solo per i deployment. Per visualizzare le metriche sulla latenza di avvio per i deployment, segui questi passaggi nella console Google Cloud :

  1. Vai alla pagina Workload.

    Vai a Carichi di lavoro

  2. Per aprire la visualizzazione Dettagli deployment, fai clic sul nome del workload che vuoi ispezionare.

  3. Fai clic sulla scheda Osservabilità.

  4. Seleziona Latenza di avvio dal menu a sinistra.

Visualizza la distribuzione della latenza di avvio dei pod

La latenza di avvio dei pod si riferisce alla latenza di avvio totale, inclusi i pull delle immagini, che misura il tempo dallo stato Created del pod allo stato Ready. Puoi valutare la latenza di avvio dei pod utilizzando i seguenti due grafici:

  • Grafico Distribuzione della latenza di avvio dei pod: questo grafico mostra i percentili della latenza di avvio dei pod (50° percentile, 95° percentile e 99° percentile) calcolati in base alle osservazioni degli eventi di avvio dei pod in intervalli di tempo fissi di 3 ore, ad esempio 00:00-03:00 e 03:00-06:00. Puoi utilizzare questo grafico per i seguenti scopi:

    • Comprendi la latenza di avvio dei pod di base.
    • Identifica le modifiche della latenza di avvio dei pod nel tempo.
    • Correlare le variazioni della latenza di avvio dei pod con eventi recenti, come i deployment dei workload o gli eventi del gestore della scalabilità automatica dei cluster. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Distribuzione latenza avvio pod
Figura: grafico Distribuzione latenza avvio pod
  • Grafico Conteggio avvii pod: questo grafico mostra il numero di pod avviati durante gli intervalli di tempo selezionati. Puoi utilizzare questo grafico per i seguenti scopi:

    • Comprendere le dimensioni dei campioni di pod utilizzate per calcolare i percentili della distribuzione della latenza di avvio dei pod per un determinato intervallo di tempo.
    • Comprendere le cause degli avvii dei pod, ad esempio i deployment dei workload o gli eventi di scalabilità automatica orizzontale dei pod. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Numero avvio pod
Figura: grafico Numero avvio pod

Visualizza la latenza di avvio dei singoli pod

Puoi visualizzare la latenza di avvio dei singoli pod nel grafico a cronologia Latenza primo pod pronto e nell'elenco associato.

  • Utilizza il grafico a cronologia Latenza prima disponibilità pod per correlare i singoli avvii dei pod con eventi recenti, come gli eventi di Horizontal Pod Autoscaler o Cluster Autoscaler. Puoi selezionare questi eventi nell'elenco Annotazioni nella parte superiore della dashboard. Questo grafico ti aiuta a determinare le potenziali cause di eventuali modifiche alla latenza di avvio rispetto ad altri pod.
  • Utilizza l'elenco Latenza di primo stato Pronto del pod per identificare i singoli pod il cui avvio ha richiesto più o meno tempo. Puoi ordinare l'elenco in base alla colonna Latenza. Quando identifichi i pod con la latenza di avvio più elevata, puoi risolvere il problema di peggioramento della latenza correlando gli eventi di avvio dei pod con altri eventi recenti.
Grafico della latenza prima disponibilità pod
Figura: grafico Latenza prima disponibilità pod

Puoi scoprire quando è stato creato un singolo pod esaminando il valore nel campo timestamp in un evento di creazione del pod corrispondente. Per visualizzare il campo timestamp, esegui questa query in Esplora log:

   log_id("cloudaudit.googleapis.com/activity") AND
   protoPayload.methodName="io.k8s.core.v1.pods.create" AND
   resource.labels.project_id=PROJECT_ID AND
   resource.labels.cluster_name=CLUSTER_NAME AND
   resource.labels.location=CLUSTER_LOCATION AND
   protoPayload.response.metadata.namespace=NAMESPACE AND
   protoPayload.response.metadata.name=POD_NAME

Per elencare tutti gli eventi di creazione dei pod per il tuo workload, utilizza il seguente filtro nella query precedente: protoPayload.response.metadata.name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"

Confrontando le latenze dei singoli pod, puoi testare l'impatto di varie configurazioni sulla latenza di avvio dei pod e identificare una configurazione ottimale in base ai tuoi requisiti.

Determina la latenza di pianificazione dei pod

La latenza di pianificazione dei pod è il tempo che intercorre tra la creazione di un pod e la sua pianificazione su un nodo. La latenza di pianificazione dei pod contribuisce al tempo di avvio end-to-end di un pod e viene calcolata sottraendo i timestamp di un evento di pianificazione dei pod e di una richiesta di creazione dei pod.

Puoi trovare un timestamp di un singolo evento di pianificazione dei pod nel campo jsonPayload.eventTime di un evento di pianificazione dei pod corrispondente. Per visualizzare il campo jsonPayload.eventTime, esegui questa query in Esplora log:

  log_id("events")
  jsonPayload.reason="Scheduled"
  resource.type="k8s_pod"
  resource.labels.project_id=PROJECT_ID
  resource.labels.location=CLUSTER_LOCATION
  resource.labels.cluster_name=CLUSTER_NAME
  resource.labels.namespace_name=NAMESPACE
  resource.labels.pod_name=POD_NAME

Per elencare tutti gli eventi di pianificazione dei pod per il tuo workload, utilizza il seguente filtro nella query precedente: resource.labels.pod_name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"

Visualizza la latenza di pull delle immagini

La latenza di pull delle immagini container contribuisce alla latenza di avvio dei pod negli scenari in cui l'immagine non è ancora disponibile sul nodo o deve essere aggiornata. Quando ottimizzi la latenza di pull delle immagini, riduci la latenza di avvio del workload durante gli eventi di scale out del cluster.

Puoi visualizzare la tabella Eventi di pull delle immagini kubelet per vedere quando sono state estratte le immagini container del workload e quanto tempo ha richiesto il processo.

Tabella degli eventi di pull immagini kubelet
Figura: tabella Eventi di pull immagini kubelet

La latenza di pull dell'immagine è disponibile nel campo jsonPayload.message, che contiene un messaggio simile al seguente:

  "Successfully pulled image "gcr.io/example-project/image-name" in 17.093s (33.051s including waiting). Image size: 206980012 bytes."

Visualizza la distribuzione della latenza dei suggerimenti sulla scalabilità HPA

La latenza dei suggerimenti di scalabilità automatica orizzontale dei pod (HPA) per il target HPA è il tempo che intercorre tra la creazione delle metriche e l'applicazione del suggerimento di scalabilità corrispondente al server API. Quando ottimizzi la latenza dei suggerimenti di scalabilità HPA, riduci la latenza di avvio del workload durante gli eventi di scale out.

La scalabilità HPA può essere visualizzata nei seguenti due grafici:

  • Grafico Distribuzione della latenza dei suggerimenti sulla scalabilità HPA: questo grafico mostra i percentili della latenza dei suggerimenti sulla scalabilità HPA (50° percentile, 95° percentile e 99° percentile) calcolati in base alle osservazioni dei suggerimenti sulla scalabilità HPA in intervalli di tempo di 3 ore. Puoi utilizzare questo grafico per i seguenti scopi:

    • Comprendi la latenza di base dei suggerimenti di scalabilità HPA.
    • Identifica le modifiche apportate alla latenza dei suggerimenti di scalabilità HPA nel tempo.
    • Metti in relazione le variazioni della latenza dei suggerimenti di scalabilità HPA con gli eventi recenti. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Distribuzione della latenza dei suggerimenti sulla scalabilità HPA
Figura: grafico Distribuzione della latenza dei suggerimenti sulla scalabilità HPA
  • Grafico Numero di suggerimenti sulla scalabilità HPA: questo grafico mostra il numero di suggerimenti sulla scalabilità HPA osservati durante l'intervallo di tempo selezionato. Utilizza il grafico per le seguenti attività:

    • Comprendi le dimensioni del campione dei suggerimenti di scalabilità HPA. I campioni vengono utilizzati per calcolare i percentili nella distribuzione della latenza per i suggerimenti di scalabilità HPA per un determinato intervallo di tempo.
    • Correlare i suggerimenti di scalabilità HPA con i nuovi eventi di avvio dei pod e con gli eventi di Horizontal Pod Autoscaler. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Numero di suggerimenti sulla scalabilità HPA
Figura: grafico Numero di suggerimenti sulla scalabilità HPA

Visualizza i problemi di pianificazione dei pod

I problemi di pianificazione dei pod potrebbero influire sulla latenza di avvio end-to-end del tuo workload. Per ridurre la latenza di avvio end-to-end del workload, risolvi i problemi e riduci il numero di questi problemi.

Di seguito sono riportati i due grafici disponibili per monitorare questi problemi:

  • Il grafico Pod non pianificabili/in attesa/non riusciti mostra il numero di pod non pianificabili, in attesa e non riusciti nel tempo.
  • Il grafico Container con backoff/in attesa/non idonei mostra il numero di container in questi stati nel tempo.

Visualizza la dashboard della latenza di avvio per i nodi

Per visualizzare le metriche della latenza di avvio per i nodi, segui questi passaggi nella consoleGoogle Cloud :

  1. Vai alla pagina Cluster Kubernetes.

    Vai ai cluster Kubernetes

  2. Per aprire la visualizzazione Dettagli cluster, fai clic sul nome del cluster che vuoi ispezionare.

  3. Fai clic sulla scheda Osservabilità.

  4. Nel menu a sinistra, seleziona Latenza di avvio.

Visualizza la distribuzione della latenza di avvio dei nodi

La latenza di avvio di un nodo si riferisce alla latenza di avvio totale, che misura il tempo che intercorre tra la CreationTimestamp del nodo e lo stato Kubernetes node ready. La latenza di avvio dei nodi può essere visualizzata nei seguenti due grafici:

  • Grafico Distribuzione della latenza di avvio dei nodi: questo grafico mostra i percentili della latenza di avvio dei nodi (50° percentile, 95° percentile e 99° percentile) calcolati in base alle osservazioni degli eventi di avvio dei nodi in intervalli di tempo fissi di 3 ore, ad esempio 00:00-03:00 e 03:00-06:00. Puoi utilizzare questo grafico per i seguenti scopi:

    • Comprendere la latenza di avvio dei nodi di riferimento.
    • Identifica le modifiche della latenza di avvio dei nodi nel tempo.
    • Metti in correlazione le variazioni della latenza di avvio dei nodi con eventi recenti, come aggiornamenti dei cluster o dei pool di nodi. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Distribuzione della latenza di avvio dei nodi
Figura: grafico Distribuzione della latenza di avvio dei nodi
  • Grafico Conteggio avvii dei nodi: questo grafico mostra il numero di nodi avviati durante gli intervalli di tempo selezionati. Puoi utilizzare il grafico per i seguenti scopi:

    • Comprendere le dimensioni dei campioni dei nodi, utilizzate per calcolare i percentili della distribuzione della latenza di avvio dei nodi per un determinato intervallo di tempo.
    • Comprendere le cause degli avvii dei nodi, ad esempio gli aggiornamenti dei node pool o gli eventi del gestore della scalabilità automatica dei cluster. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Numero avvio pod
Figura: grafico Numero avvio pod

Visualizza la latenza di avvio dei singoli nodi

Quando confronti le latenze dei singoli nodi, puoi testare l'impatto di varie configurazioni dei nodi sulla latenza di avvio dei nodi e identificare una configurazione ottimale in base ai tuoi requisiti. Puoi visualizzare la latenza di avvio dei singoli nodi nel grafico a cronologia Latenza di avvio del nodo e nell'elenco associato.

  • Utilizza il grafico a cronologia Latenza di avvio dei nodi per correlare i singoli avvii dei nodi con eventi recenti, come gli aggiornamenti dei cluster o dei node pool. Puoi determinare le potenziali cause delle variazioni della latenza di avvio rispetto ad altri nodi. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.

  • Utilizza l'elenco Latenza di avvio dei nodi per identificare i singoli nodi il cui avvio ha richiesto più o meno tempo. Puoi ordinare l'elenco in base alla colonna Latenza. Quando identifichi i nodi con la latenza di avvio più elevata, puoi risolvere i problemi di peggioramento della latenza correlando gli eventi di avvio dei nodi con altri eventi recenti.

Grafico della latenza di avvio dei nodi
Figura: grafico Latenza di avvio dei nodi

Puoi scoprire quando è stato creato un singolo nodo esaminando il valore del campo protoPayload.metadata.creationTimestamp in un evento di creazione del nodo corrispondente. Per visualizzare il campo protoPayload.metadata.creationTimestamp, esegui la seguente query in Esplora log:

   log_id("cloudaudit.googleapis.com/activity") AND
   protoPayload.methodName="io.k8s.core.v1.nodes.create" AND
   resource.labels.project_id=PROJECT_ID AND
   resource.labels.cluster_name=CLUSTER_NAME AND
   resource.labels.location=CLUSTER_LOCATION AND
   protoPayload.response.metadata.name=NODE_NAME

Visualizza la latenza di avvio in un pool di nodi

Se i tuoi pool di nodi hanno configurazioni diverse, ad esempio per eseguire workload diversi, potresti dover monitorare la latenza di avvio dei nodi separatamente per pool di nodi. Quando confronti le latenze di avvio dei nodi nei tuoi node pool, puoi ottenere insight su come la configurazione dei nodi influisce sulla latenza di avvio dei nodi e, di conseguenza, ottimizzare la latenza.

Per impostazione predefinita, la dashboard Latenza di avvio dei nodi mostra la distribuzione della latenza di avvio aggregata e le latenze di avvio dei singoli nodi in tutti i node pool di un cluster. Per visualizzare la latenza di avvio dei nodi per un pool di nodi specifico, seleziona il nome del pool di nodi utilizzando il filtro $node_pool_name_var situato nella parte superiore della dashboard.

Passaggi successivi