Questa pagina descrive le metriche e le dashboard disponibili per il monitoraggio della latenza di avvio dei workload di Google Kubernetes Engine (GKE) e dei nodi del cluster sottostanti. Puoi utilizzare le metriche per monitorare, risolvere i problemi e ridurre la latenza di avvio.
Questa pagina è rivolta agli amministratori e agli operatori della piattaforma che devono monitorare e ottimizzare la latenza di avvio dei workload. Per scoprire di più sui ruoli comuni a cui facciamo riferimento nei contenuti di Google Cloud , consulta Ruoli e attività utente GKE comuni.
Panoramica
La latenza di avvio influisce in modo significativo sulla risposta della tua applicazione ai picchi di traffico, sulla velocità con cui le sue repliche si riprendono dalle interruzioni e sull'efficienza dei costi operativi dei tuoi cluster e workload. Il monitoraggio della latenza di avvio dei workload può aiutarti a rilevare i peggioramenti della latenza e a monitorare l'impatto degli aggiornamenti dei workload e dell'infrastruttura sulla latenza di avvio.
L'ottimizzazione della latenza di avvio del workload offre i seguenti vantaggi:
- Riduce la latenza di risposta del servizio agli utenti durante i picchi di traffico.
- Riduce la capacità di gestione in eccesso necessaria per assorbire i picchi di domanda durante la creazione di nuove repliche.
- Riduce il tempo di inattività delle risorse di cui è già stato eseguito il deployment e che sono in attesa dell'avvio delle risorse rimanenti durante i calcoli batch.
Prima di iniziare
Prima di iniziare, assicurati di aver eseguito le seguenti attività:
- Abilita l'API Google Kubernetes Engine. Abilita l'API Google Kubernetes Engine
- Per utilizzare Google Cloud CLI per questa attività,
installala e poi
inizializza
gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima
versione eseguendo il comando
gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.
Abilita le API Cloud Logging e Cloud Monitoring.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione
serviceusage.services.enable. Se hai creato il progetto, probabilmente disponi già di questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.
Requisiti
Per visualizzare le metriche e le dashboard relative alla latenza di avvio dei workload, il cluster GKE deve soddisfare i seguenti requisiti:
- Devi avere GKE versione 1.31.1-gke.1678000 o successive.
- Devi configurare la raccolta delle metriche di sistema.
- Devi configurare la raccolta dei log di sistema.
- Abilita le metriche di stato kube con il componente
PODsui tuoi cluster per visualizzare le metriche dei pod e dei container.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni necessarie per attivare la generazione dei log e per accedere ed elaborarli, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Visualizza i cluster GKE, i nodi e i workload:
Kubernetes Engine Viewer (
roles/container.viewer) nel tuo progetto -
Accedere alle metriche di latenza di avvio e visualizzare le dashboard:
Monitoring Viewer (
roles/monitoring.viewer) sul tuo progetto -
Accedi ai log con informazioni sulla latenza, come gli eventi di pull delle immagini Kubelet, e visualizzali in Esplora log e Observability Analytics:
Visualizzatore log (
roles/logging.viewer) sul tuo progetto
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Metriche della latenza di avvio
Le metriche di latenza di avvio sono incluse nelle metriche di sistema di GKE e vengono esportate in Cloud Monitoring nello stesso progetto del cluster GKE.
I nomi delle metriche di Cloud Monitoring in questa tabella devono essere preceduti dal prefisso kubernetes.io/. Questo prefisso è stato omesso dalle voci della tabella.
| Tipo di metrica (livelli della gerarchia delle risorse) e nome visualizzato | Tipo, unità e risorse monitorate | Descrizione ed etichette |
|---|---|---|
|
Latenza prima disponibilità pod |
|
La latenza di avvio end-to-end del pod (dal pod |
|
Latenza di avvio dei nodi |
|
La latenza di avvio totale del nodo, da
|
|
Latenza di scalabilità dei suggerimenti per HPA |
|
Latenza dei suggerimenti di scalabilità di Horizontal Pod Autoscaler (HPA) (tempo tra la creazione delle metriche e l'applicazione del suggerimento di scalabilità corrispondente all'apiserver) per il target HPA. Campionamento eseguito ogni 60 secondi. Dopo il campionamento, i dati non sono visibili per un massimo di 20 secondi.
|
Visualizza la dashboard Latenza di avvio per i workload
La dashboard Latenza di avvio per i workload è disponibile solo per i deployment. Per visualizzare le metriche sulla latenza di avvio per i deployment, segui questi passaggi nella console Google Cloud :
Vai alla pagina Workload.
Per aprire la visualizzazione Dettagli deployment, fai clic sul nome del workload che vuoi ispezionare.
Fai clic sulla scheda Osservabilità.
Seleziona Latenza di avvio dal menu a sinistra.
Visualizza la distribuzione della latenza di avvio dei pod
La latenza di avvio dei pod si riferisce alla latenza di avvio totale, inclusi i pull delle immagini, che misura il tempo dallo stato Created del pod allo stato Ready. Puoi valutare la latenza di avvio dei pod utilizzando i seguenti due grafici:
Grafico Distribuzione della latenza di avvio dei pod: questo grafico mostra i percentili della latenza di avvio dei pod (50° percentile, 95° percentile e 99° percentile) calcolati in base alle osservazioni degli eventi di avvio dei pod in intervalli di tempo fissi di 3 ore, ad esempio 00:00-03:00 e 03:00-06:00. Puoi utilizzare questo grafico per i seguenti scopi:
- Comprendi la latenza di avvio dei pod di base.
- Identifica le modifiche della latenza di avvio dei pod nel tempo.
- Correlare le variazioni della latenza di avvio dei pod con eventi recenti, come i deployment dei workload o gli eventi del gestore della scalabilità automatica dei cluster. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Conteggio avvii pod: questo grafico mostra il numero di pod avviati durante gli intervalli di tempo selezionati. Puoi utilizzare questo grafico per i seguenti scopi:
- Comprendere le dimensioni dei campioni di pod utilizzate per calcolare i percentili della distribuzione della latenza di avvio dei pod per un determinato intervallo di tempo.
- Comprendere le cause degli avvii dei pod, ad esempio i deployment dei workload o gli eventi di scalabilità automatica orizzontale dei pod. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Visualizza la latenza di avvio dei singoli pod
Puoi visualizzare la latenza di avvio dei singoli pod nel grafico a cronologia Latenza primo pod pronto e nell'elenco associato.
- Utilizza il grafico a cronologia Latenza prima disponibilità pod per correlare i singoli avvii dei pod con eventi recenti, come gli eventi di Horizontal Pod Autoscaler o Cluster Autoscaler. Puoi selezionare questi eventi nell'elenco Annotazioni nella parte superiore della dashboard. Questo grafico ti aiuta a determinare le potenziali cause di eventuali modifiche alla latenza di avvio rispetto ad altri pod.
- Utilizza l'elenco Latenza di primo stato Pronto del pod per identificare i singoli pod il cui avvio ha richiesto più o meno tempo. Puoi ordinare l'elenco in base alla colonna Latenza. Quando identifichi i pod con la latenza di avvio più elevata, puoi risolvere il problema di peggioramento della latenza correlando gli eventi di avvio dei pod con altri eventi recenti.
Puoi scoprire quando è stato creato un singolo pod esaminando il valore nel campo timestamp in un evento di creazione del pod corrispondente. Per visualizzare il campo timestamp, esegui questa query in Esplora log:
log_id("cloudaudit.googleapis.com/activity") AND
protoPayload.methodName="io.k8s.core.v1.pods.create" AND
resource.labels.project_id=PROJECT_ID AND
resource.labels.cluster_name=CLUSTER_NAME AND
resource.labels.location=CLUSTER_LOCATION AND
protoPayload.response.metadata.namespace=NAMESPACE AND
protoPayload.response.metadata.name=POD_NAME
Per elencare tutti gli eventi di creazione dei pod per il tuo workload, utilizza il seguente filtro nella query precedente:
protoPayload.response.metadata.name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"
Confrontando le latenze dei singoli pod, puoi testare l'impatto di varie configurazioni sulla latenza di avvio dei pod e identificare una configurazione ottimale in base ai tuoi requisiti.
Determina la latenza di pianificazione dei pod
La latenza di pianificazione dei pod è il tempo che intercorre tra la creazione di un pod e la sua pianificazione su un nodo. La latenza di pianificazione dei pod contribuisce al tempo di avvio end-to-end di un pod e viene calcolata sottraendo i timestamp di un evento di pianificazione dei pod e di una richiesta di creazione dei pod.
Puoi trovare un timestamp di un singolo evento di pianificazione dei pod nel campo jsonPayload.eventTime di un evento di pianificazione dei pod corrispondente. Per visualizzare il campo jsonPayload.eventTime, esegui questa query in Esplora log:
log_id("events")
jsonPayload.reason="Scheduled"
resource.type="k8s_pod"
resource.labels.project_id=PROJECT_ID
resource.labels.location=CLUSTER_LOCATION
resource.labels.cluster_name=CLUSTER_NAME
resource.labels.namespace_name=NAMESPACE
resource.labels.pod_name=POD_NAME
Per elencare tutti gli eventi di pianificazione dei pod per il tuo workload, utilizza il seguente filtro nella query precedente:
resource.labels.pod_name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"
Visualizza la latenza di pull delle immagini
La latenza di pull delle immagini container contribuisce alla latenza di avvio dei pod negli scenari in cui l'immagine non è ancora disponibile sul nodo o deve essere aggiornata. Quando ottimizzi la latenza di pull delle immagini, riduci la latenza di avvio del workload durante gli eventi di scale out del cluster.
Puoi visualizzare la tabella Eventi di pull delle immagini kubelet per vedere quando sono state estratte le immagini container del workload e quanto tempo ha richiesto il processo.
La latenza di pull dell'immagine è disponibile nel campo jsonPayload.message, che contiene un messaggio simile al seguente:
"Successfully pulled image "gcr.io/example-project/image-name" in 17.093s (33.051s including waiting). Image size: 206980012 bytes."
Visualizza la distribuzione della latenza dei suggerimenti sulla scalabilità HPA
La latenza dei suggerimenti di scalabilità automatica orizzontale dei pod (HPA) per il target HPA è il tempo che intercorre tra la creazione delle metriche e l'applicazione del suggerimento di scalabilità corrispondente al server API. Quando ottimizzi la latenza dei suggerimenti di scalabilità HPA, riduci la latenza di avvio del workload durante gli eventi di scale out.
La scalabilità HPA può essere visualizzata nei seguenti due grafici:
Grafico Distribuzione della latenza dei suggerimenti sulla scalabilità HPA: questo grafico mostra i percentili della latenza dei suggerimenti sulla scalabilità HPA (50° percentile, 95° percentile e 99° percentile) calcolati in base alle osservazioni dei suggerimenti sulla scalabilità HPA in intervalli di tempo di 3 ore. Puoi utilizzare questo grafico per i seguenti scopi:
- Comprendi la latenza di base dei suggerimenti di scalabilità HPA.
- Identifica le modifiche apportate alla latenza dei suggerimenti di scalabilità HPA nel tempo.
- Metti in relazione le variazioni della latenza dei suggerimenti di scalabilità HPA con gli eventi recenti. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Numero di suggerimenti sulla scalabilità HPA: questo grafico mostra il numero di suggerimenti sulla scalabilità HPA osservati durante l'intervallo di tempo selezionato. Utilizza il grafico per le seguenti attività:
- Comprendi le dimensioni del campione dei suggerimenti di scalabilità HPA. I campioni vengono utilizzati per calcolare i percentili nella distribuzione della latenza per i suggerimenti di scalabilità HPA per un determinato intervallo di tempo.
- Correlare i suggerimenti di scalabilità HPA con i nuovi eventi di avvio dei pod e con gli eventi di Horizontal Pod Autoscaler. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Visualizza i problemi di pianificazione dei pod
I problemi di pianificazione dei pod potrebbero influire sulla latenza di avvio end-to-end del tuo workload. Per ridurre la latenza di avvio end-to-end del workload, risolvi i problemi e riduci il numero di questi problemi.
Di seguito sono riportati i due grafici disponibili per monitorare questi problemi:
- Il grafico Pod non pianificabili/in attesa/non riusciti mostra il numero di pod non pianificabili, in attesa e non riusciti nel tempo.
- Il grafico Container con backoff/in attesa/non idonei mostra il numero di container in questi stati nel tempo.
Visualizza la dashboard della latenza di avvio per i nodi
Per visualizzare le metriche della latenza di avvio per i nodi, segui questi passaggi nella consoleGoogle Cloud :
Vai alla pagina Cluster Kubernetes.
Per aprire la visualizzazione Dettagli cluster, fai clic sul nome del cluster che vuoi ispezionare.
Fai clic sulla scheda Osservabilità.
Nel menu a sinistra, seleziona Latenza di avvio.
Visualizza la distribuzione della latenza di avvio dei nodi
La latenza di avvio di un nodo si riferisce alla latenza di avvio totale, che misura il tempo che intercorre tra la CreationTimestamp del nodo e lo stato Kubernetes node ready. La latenza di avvio dei nodi può essere visualizzata nei seguenti due grafici:
Grafico Distribuzione della latenza di avvio dei nodi: questo grafico mostra i percentili della latenza di avvio dei nodi (50° percentile, 95° percentile e 99° percentile) calcolati in base alle osservazioni degli eventi di avvio dei nodi in intervalli di tempo fissi di 3 ore, ad esempio 00:00-03:00 e 03:00-06:00. Puoi utilizzare questo grafico per i seguenti scopi:
- Comprendere la latenza di avvio dei nodi di riferimento.
- Identifica le modifiche della latenza di avvio dei nodi nel tempo.
- Metti in correlazione le variazioni della latenza di avvio dei nodi con eventi recenti, come aggiornamenti dei cluster o dei pool di nodi. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Grafico Conteggio avvii dei nodi: questo grafico mostra il numero di nodi avviati durante gli intervalli di tempo selezionati. Puoi utilizzare il grafico per i seguenti scopi:
- Comprendere le dimensioni dei campioni dei nodi, utilizzate per calcolare i percentili della distribuzione della latenza di avvio dei nodi per un determinato intervallo di tempo.
- Comprendere le cause degli avvii dei nodi, ad esempio gli aggiornamenti dei node pool o gli eventi del gestore della scalabilità automatica dei cluster. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Visualizza la latenza di avvio dei singoli nodi
Quando confronti le latenze dei singoli nodi, puoi testare l'impatto di varie configurazioni dei nodi sulla latenza di avvio dei nodi e identificare una configurazione ottimale in base ai tuoi requisiti. Puoi visualizzare la latenza di avvio dei singoli nodi nel grafico a cronologia Latenza di avvio del nodo e nell'elenco associato.
Utilizza il grafico a cronologia Latenza di avvio dei nodi per correlare i singoli avvii dei nodi con eventi recenti, come gli aggiornamenti dei cluster o dei node pool. Puoi determinare le potenziali cause delle variazioni della latenza di avvio rispetto ad altri nodi. Puoi selezionare gli eventi nell'elenco Annotazioni nella parte superiore della dashboard.
Utilizza l'elenco Latenza di avvio dei nodi per identificare i singoli nodi il cui avvio ha richiesto più o meno tempo. Puoi ordinare l'elenco in base alla colonna Latenza. Quando identifichi i nodi con la latenza di avvio più elevata, puoi risolvere i problemi di peggioramento della latenza correlando gli eventi di avvio dei nodi con altri eventi recenti.
Puoi scoprire quando è stato creato un singolo nodo esaminando il valore del campo protoPayload.metadata.creationTimestamp in un evento di creazione del nodo corrispondente. Per visualizzare il campo protoPayload.metadata.creationTimestamp, esegui la seguente query in Esplora log:
log_id("cloudaudit.googleapis.com/activity") AND
protoPayload.methodName="io.k8s.core.v1.nodes.create" AND
resource.labels.project_id=PROJECT_ID AND
resource.labels.cluster_name=CLUSTER_NAME AND
resource.labels.location=CLUSTER_LOCATION AND
protoPayload.response.metadata.name=NODE_NAME
Visualizza la latenza di avvio in un pool di nodi
Se i tuoi pool di nodi hanno configurazioni diverse, ad esempio per eseguire workload diversi, potresti dover monitorare la latenza di avvio dei nodi separatamente per pool di nodi. Quando confronti le latenze di avvio dei nodi nei tuoi node pool, puoi ottenere insight su come la configurazione dei nodi influisce sulla latenza di avvio dei nodi e, di conseguenza, ottimizzare la latenza.
Per impostazione predefinita, la dashboard Latenza di avvio dei nodi mostra la distribuzione della latenza di avvio aggregata e le latenze di avvio dei singoli nodi in tutti i node pool di un cluster. Per visualizzare la latenza di avvio dei nodi per un pool di nodi specifico, seleziona il nome del pool di nodi utilizzando il filtro $node_pool_name_var situato nella parte superiore della dashboard.
Passaggi successivi
- Confronta le strategie per ridurre la latenza di avvio.
- Scopri come accelerare l'avvio delle applicazioni utilizzando l'avvio CPU ottimizzato.
- Scopri di più sui modi per ridurre la latenza di avvio a freddo su GKE.
- Scopri come ridurre la latenza di pull delle immagini con lo streaming delle immagini.
- Scopri di più sugli aspetti economici sorprendenti dell'ottimizzazione della scalabilità automatica orizzontale dei pod.
- Monitora i tuoi workload con il monitoraggio automatico delle applicazioni.