Messwerte zur Startlatenz überwachen

Auf dieser Seite werden die Messwerte und Dashboards beschrieben, die zum Monitoring der Startlatenz von GKE-Arbeitslasten (Google Kubernetes Engine) und der zugrunde liegenden Clusterknoten verfügbar sind. Sie können die Messwerte verwenden, um die Startlatenz zu verfolgen, Fehler zu beheben und die Startlatenz zu reduzieren.

Diese Seite richtet sich an Plattformadministratoren und -operatoren, die die Startlatenz ihrer Arbeitslasten überwachen und optimieren müssen. Weitere Informationen zu gängigen Rollen, auf die wir in Google Cloud -Inhalten verweisen, finden Sie unter Häufig verwendete GKE-Nutzerrollen und -Aufgaben.

Übersicht

Die Startlatenz hat erhebliche Auswirkungen darauf, wie Ihre Anwendung auf Traffic-Spitzen reagiert, wie schnell sich ihre Replikate von Störungen erholen und wie effizient die Betriebskosten Ihrer Cluster und Arbeitslasten sein können. Wenn Sie die Startlatenz Ihrer Arbeitslasten überwachen, können Sie Latenzverschlechterungen erkennen und die Auswirkungen von Arbeitslast- und Infrastrukturupdates auf die Startlatenz verfolgen.

Die Optimierung der Startlatenz von Arbeitslasten hat folgende Vorteile:

  • Verringert die Antwortlatenz Ihres Dienstes für Nutzer bei Traffic-Spitzen.
  • Reduziert die überschüssige Bereitstellungskapazität, die erforderlich ist, um Nachfragespitzen abzufangen, während neue Replikate erstellt werden.
  • Reduziert die Leerlaufzeit von Ressourcen, die bereits bereitgestellt wurden und auf den Start der verbleibenden Ressourcen während der Batchberechnungen warten.

Hinweis

Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:

  • Aktivieren Sie die Google Kubernetes Engine API.
  • Google Kubernetes Engine API aktivieren
  • Wenn Sie die Google Cloud CLI für diese Aufgabe verwenden möchten, müssen Sie die gcloud CLI installieren und dann initialisieren. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die aktuelle Version mit dem Befehl gcloud components update ab. Ältere gcloud CLI-Versionen unterstützen möglicherweise nicht die Ausführung der Befehle in diesem Dokument.
  • Aktivieren Sie die Cloud Logging und Cloud Monitoring APIs.

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    APIs aktivieren

Voraussetzungen

Damit Sie Messwerte und Dashboards für die Startlatenz von Arbeitslasten aufrufen können, muss Ihr GKE-Cluster die folgenden Anforderungen erfüllen:

  • Sie benötigen die GKE-Version 1.31.1-gke.1678000 oder höher.
  • Sie müssen die Erfassung von Systemmesswerten konfigurieren.
  • Sie müssen die Erfassung von Systemprotokollen konfigurieren.
  • Aktivieren Sie Kube State Metrics mit der Komponente POD in Ihren Clustern, um die Pod- und Container-Messwerte aufzurufen.

Erforderliche Rollen und Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aktivieren der Logerstellung und zum Zugriff auf Logs und deren Verarbeitung benötigen:

  • GKE-Cluster, -Knoten und -Arbeitslasten ansehen: Kubernetes Engine-Betrachter (roles/container.viewer) für Ihr Projekt
  • Auf Messwerte zur Startlatenz zugreifen und die Dashboards aufrufen: Monitoring-Betrachter (roles/monitoring.viewer) für Ihr Projekt
  • Zugriff auf Logs mit Latenzinformationen, z. B. Kubelet-Image-Pull-Ereignisse, und Anzeige im Log-Explorer und in Observability Analytics: Log-Betrachter (roles/logging.viewer) für Ihr Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Messwerte zur Startlatenz

Messwerte zur Startlatenz sind in den GKE-Systemmesswerten enthalten und werden in Cloud Monitoring im selben Projekt wie der GKE-Cluster exportiert.

Die Cloud Monitoring-Messwertnamen in dieser Tabelle müssen das Präfix kubernetes.io/ haben. Dieses Präfix wurde in den Einträgen der Tabelle weggelassen.

Messwerte für die Startlatenz
Messwerttyp (Ressourcenhierarchieebenen) und Anzeigename Art, Typ, Einheit und überwachte Ressourcen Beschreibung und Labels

pod/latencies/pod_first_ready (project)

Latenz der Pod-Bereitschaft

GAUGE, Double, s

k8s_pod

Die End-to-End-Startlatenz des Pods (von Pod Created bis Ready), einschließlich Image-Abrufen. Alle 60 Sekunden wird eine Stichprobe erstellt.

node/latencies/startup (project)

Latenz beim Knotenstart

GAUGE, INT64, s

k8s_node

Die gesamte Startlatenz des Knotens, von CreationTimestamp der GCE-Instanz bis zum ersten Kubernetes node ready. Alle 60 Sekunden wird eine Stichprobe erstellt.

  • accelerator_family: Eine Klassifizierung von Knoten basierend auf Hardwarebeschleunigern: gpu, tpu, cpu.
  • kube_control_plane_available: Gibt an, ob die Anfrage zur Knotenerstellung empfangen wurde, als die KCP (kube control plane) verfügbar war.

autoscaler/latencies/per_hpa_recommendation_scale_latency_seconds (project)

Skalierungslatenz pro HPA-Empfehlung

GAUGE, DOUBLE, s

k8s_scale

Latenz der Skalierungsempfehlung für horizontales Pod-Autoscaling (HPA) (Zeit zwischen dem Erstellen von Messwerten und dem Anwenden der entsprechenden Skalierungsempfehlung auf den API-Server) für das HPA-Ziel. Alle 60 Sekunden wird eine Stichprobe erstellt. Nach der Stichprobe werden bis zu 20 Sekunden lang keine Daten angezeigt.

metric_type: der Typ der Messwertquelle. Es sollte "ContainerResource", "External", "Object", "Pods" oder "Resource" sein.

Dashboard zur Startlatenz für Arbeitslasten ansehen

Das Dashboard Startlatenz für Arbeitslasten ist nur für Deployments verfügbar. Führen Sie die folgenden Schritte in der Google Cloud Console aus, um Messwerte zur Startlatenz für Deployments aufzurufen:

  1. Zur Seite „Arbeitslasten“

    Zu Arbeitslasten

  2. Klicken Sie auf den Namen der Arbeitslast, die Sie prüfen möchten, um die Ansicht Deployment-Details zu öffnen.

  3. Klicken Sie auf den Tab Beobachtbarkeit.

  4. Wählen Sie im Menü auf der linken Seite Startlatenz aus.

Verteilung der Startlatenz von Pods ansehen

Die Startlatenz von Pods bezieht sich auf die Gesamtstartlatenz, einschließlich Image-Abrufen. Sie misst die Zeit vom Status Created des Pods bis zum Status Ready. Sie können die Startlatenz von Pods mithilfe der folgenden beiden Diagramme bewerten:

  • Pod-Startlatenzverteilung: Dieses Diagramm zeigt die Startlatenzperzentile von Pods (50., 95. und 99. Perzentil), die anhand der Beobachtungen von Pod-Startereignissen über feste 3-Stunden-Zeitintervalle berechnet werden, z. B. 00:00–03:00 Uhr und 03:00–06:00 Uhr. Sie können dieses Diagramm für folgende Zwecke verwenden:

    • Ermitteln Sie die Baseline-Pod-Startlatenz.
    • Veränderungen der Pod-Startlatenz im Laufe der Zeit erkennen.
    • Korrelieren Sie Änderungen der Pod-Startlatenz mit aktuellen Ereignissen, z. B. Arbeitslastbereitstellungen oder Cluster-Autoscaling-Ereignissen. Sie können die Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen.
Diagramm „Verteilung der Pod-Startlatenz“
Abbildung: Diagramm zur Verteilung der Pod-Startlatenz
  • Pod-Startanzahl: Dieses Diagramm zeigt die Anzahl der Pods, die in den ausgewählten Zeitintervallen gestartet wurden. Sie können dieses Diagramm für folgende Zwecke verwenden:

    • Die Pod-Stichprobengrößen, die zur Berechnung der Perzentile der Verteilung der Pod-Startlatenz für ein bestimmtes Zeitintervall verwendet werden.
    • Ursachen für Pod-Starts, z. B. Arbeitslastbereitstellungen oder Ereignisse des horizontalen Pod-Autoscalings, nachvollziehen. Sie können die Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen.
Diagramm „Anzahl der Pod-Starts“
Abbildung: Diagramm „Anzahl der Pod-Starts“

Startlatenz einzelner Pods ansehen

Sie können die Startlatenz einzelner Pods im Zeitachsendiagramm Pod First Ready Latency und in der zugehörigen Liste ansehen.

  • Verwenden Sie das Zeitachsendiagramm Latenz der Pod-Bereitschaft, um einzelne Pod-Starts mit aktuellen Ereignissen wie Horizontal Pod Autoscaler- oder Cluster Autoscaler-Ereignissen zu korrelieren. Sie können diese Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen. Mithilfe dieses Diagramms können Sie potenzielle Ursachen für Änderungen der Startlatenz im Vergleich zu anderen Pods ermitteln.
  • Mithilfe der Liste Latenz bis zur ersten Bereitschaft des Pods können Sie einzelne Pods mit den längsten oder kürzesten Startvorgängen identifizieren. Sie können die Liste nach der Spalte Latenz sortieren. Wenn Sie Pods mit der höchsten Startlatenz identifizieren, können Sie die Latenzverschlechterung beheben, indem Sie die Pod-Startereignisse mit anderen aktuellen Ereignissen korrelieren.
Diagramm zur Latenz der Pod-Bereitschaft
Abbildung: Diagramm „Latenz der Pod-Bereitschaft“

Sie können herausfinden, wann ein einzelner Pod erstellt wurde, indem Sie sich den Wert im Feld timestamp in einem entsprechenden Pod-Erstellungsereignis ansehen. Führen Sie die folgende Abfrage im Log-Explorer aus, um das Feld timestamp aufzurufen:

   log_id("cloudaudit.googleapis.com/activity") AND
   protoPayload.methodName="io.k8s.core.v1.pods.create" AND
   resource.labels.project_id=PROJECT_ID AND
   resource.labels.cluster_name=CLUSTER_NAME AND
   resource.labels.location=CLUSTER_LOCATION AND
   protoPayload.response.metadata.namespace=NAMESPACE AND
   protoPayload.response.metadata.name=POD_NAME

Verwenden Sie den folgenden Filter in der vorherigen Abfrage, um alle Pod-Erstellungsereignisse für Ihre Arbeitslast aufzulisten: protoPayload.response.metadata.name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"

Wenn Sie die Latenzen einzelner Pods vergleichen, können Sie die Auswirkungen verschiedener Konfigurationen auf die Pod-Startlatenz testen und eine optimale Konfiguration basierend auf Ihren Anforderungen ermitteln.

Pod-Planungslatenz bestimmen

Die Pod-Planungslatenz ist die Zeitspanne zwischen dem Erstellen eines Pods und dem Planen des Pods auf einem Knoten. Die Pod-Planungslatenz trägt zur End-to-End-Startzeit eines Pods bei und wird berechnet, indem die Zeitstempel eines Pod-Planungsereignisses und einer Pod-Erstellungsanfrage voneinander abgezogen werden.

Den Zeitstempel eines einzelnen Pod-Planungsereignisses finden Sie im Feld jsonPayload.eventTime des entsprechenden Pod-Planungsereignisses. Führen Sie die folgende Abfrage im Log-Explorer aus, um das Feld jsonPayload.eventTime aufzurufen:

  log_id("events")
  jsonPayload.reason="Scheduled"
  resource.type="k8s_pod"
  resource.labels.project_id=PROJECT_ID
  resource.labels.location=CLUSTER_LOCATION
  resource.labels.cluster_name=CLUSTER_NAME
  resource.labels.namespace_name=NAMESPACE
  resource.labels.pod_name=POD_NAME

Verwenden Sie den folgenden Filter in der vorherigen Abfrage, um alle Pod-Planungsereignisse für Ihre Arbeitslast aufzulisten: resource.labels.pod_name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"

Latenz beim Image-Abruf ansehen

Die Latenz beim Abrufen von Container-Images trägt zur Startlatenz von Pods bei, wenn das Image noch nicht auf dem Knoten verfügbar ist oder aktualisiert werden muss. Wenn Sie die Latenz beim Image-Abruf optimieren, verringern Sie die Startlatenz Ihrer Arbeitslasten bei horizontalen Skalierungen des Clusters.

In der Tabelle Kubelet-Image-Pull-Ereignisse können Sie sehen, wann die Container-Images der Arbeitslast abgerufen wurden und wie lange der Vorgang gedauert hat.

Tabelle „Kubelet-Image-Abrufereignisse“
Abbildung: Tabelle der Kubelet-Image-Abrufereignisse

Die Latenz beim Image-Abruf ist im Feld jsonPayload.message verfügbar, das eine Nachricht wie die folgende enthält:

  "Successfully pulled image "gcr.io/example-project/image-name" in 17.093s (33.051s including waiting). Image size: 206980012 bytes."

Latenzverteilung von HPA-Skalierungsempfehlungen ansehen

Die Latenz der Skalierungsempfehlungen für das horizontale Pod-Autoscaling (HPA) für das HPA-Ziel ist die Zeit zwischen dem Erstellen der Messwerte und dem Anwenden der entsprechenden Skalierungsempfehlung auf den API-Server. Wenn Sie die Latenz von HPA-Skalierungsempfehlungen optimieren, reduzieren Sie die Startlatenz Ihrer Arbeitslast bei horizontalen Skalierungsereignissen.

Die HPA-Skalierung kann in den folgenden beiden Diagrammen angezeigt werden:

  • Latenzverteilung der HPA-Skalierungsempfehlung: In diesem Diagramm werden die Perzentile der HPA-Skalierungsempfehlungslatenz (50., 95. und 99. Perzentil) angezeigt, die anhand der Beobachtungen von HPA-Skalierungsempfehlungen über die letzten 3 Stunden berechnet werden. Sie können dieses Diagramm für folgende Zwecke verwenden:

    • Ausgangsniveau der Latenz von HPA-Skalierungsempfehlungen nachvollziehen
    • Veränderungen der HPA-Skalierungsempfehlungslatenz im Laufe der Zeit erkennen.
    • Änderungen der HPA-Skalierungsempfehlungslatenz mit aktuellen Ereignissen korrelieren. Sie können die Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen.
Diagramm zur Latenzverteilung der HPA-Skalierungsempfehlung
Abbildung: Diagramm zur Latenzverteilung der HPA-Skalierungsempfehlung
  • Anzahl der HPA-Skalierungsempfehlungen: In diesem Diagramm wird die Anzahl der HPA-Skalierungsempfehlungen angezeigt, die im ausgewählten Zeitintervall beobachtet wurden. Verwenden Sie das Diagramm für die folgenden Aufgaben:

    • Stichprobengrößen für HPA-Skalierungsempfehlungen verstehen. Die Stichproben werden verwendet, um die Perzentile in der Latenzverteilung für HPA-Skalierungsempfehlungen für ein bestimmtes Zeitintervall zu berechnen.
    • Korrelieren Sie HPA-Skalierungsempfehlungen mit Startereignissen neuer Pods und mit Ereignissen des horizontalen Pod-Autoscalers. Sie können die Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen.
Diagramm „Anzahl der HPA-Skalierungsempfehlungen“
Abbildung: Diagramm „Anzahl der HPA-Skalierungsempfehlungen“

Planungsprobleme für Pods ansehen

Probleme bei der Pod-Planung können sich auf die End-to-End-Startlatenz Ihrer Arbeitslast auswirken. Wenn Sie die End-to-End-Startlatenz Ihrer Arbeitslast reduzieren möchten, beheben Sie diese Probleme und reduzieren Sie ihre Anzahl.

Die folgenden beiden Diagramme sind für die Erfassung solcher Probleme verfügbar:

  • Das Diagramm Nicht planbare/ausstehende/fehlgeschlagene Pods zeigt die Anzahl der nicht planbaren, ausstehenden und fehlgeschlagenen Pods im Zeitverlauf.
  • Das Diagramm Container mit Backoff / im Wartezustand / mit fehlgeschlagener Bereitschaftsprüfung zeigt die Anzahl der Container in diesen Zuständen im Zeitverlauf.

Dashboard zur Startlatenz für Knoten ansehen

Führen Sie die folgenden Schritte in derGoogle Cloud Console aus, um Messwerte zur Startlatenz für Knoten aufzurufen:

  1. Rufen Sie die Seite Kubernetes-Cluster auf.

    Zu „Kubernetes-Cluster“

  2. Klicken Sie auf den Namen des Clusters, den Sie prüfen möchten, um die Ansicht Clusterdetails zu öffnen.

  3. Klicken Sie auf den Tab Beobachtbarkeit.

  4. Wählen Sie im Menü auf der linken Seite Startlatenz aus.

Verteilung der Startlatenz von Knoten ansehen

Die Startlatenz eines Knotens bezieht sich auf die Gesamtstartlatenz, die die Zeit von der CreationTimestamp des Knotens bis zum Status Kubernetes node ready misst. Die Latenz beim Knotenstart kann in den folgenden beiden Diagrammen angezeigt werden:

  • Diagramm zur Verteilung der Knotenstartlatenz: In diesem Diagramm werden die Perzentile der Knotenstartlatenz (50., 95. und 99. Perzentil) angezeigt, die auf Grundlage der Beobachtungen von Knotenstartereignissen in festen 3-Stunden-Intervallen berechnet werden, z. B. 00:00–03:00 Uhr und 03:00–06:00 Uhr. Sie können dieses Diagramm für folgende Zwecke verwenden:

    • Ermitteln Sie die Baseline-Latenz für den Knotenstart.
    • Veränderungen der Knotenstartlatenz im Laufe der Zeit erkennen.
    • Korrelieren Sie Änderungen der Knotenstartlatenz mit kürzlich aufgetretenen Ereignissen, z. B. Cluster- oder Knotenpool-Updates. Sie können die Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen.
Diagramm zur Latenzverteilung beim Knotenstart
Abbildung: Diagramm zur Latenzverteilung beim Knotenstart
  • Diagramm Anzahl der Knotenstarts: Dieses Diagramm zeigt die Anzahl der Knoten, die während der ausgewählten Zeitintervalle gestartet wurden. Sie können das Diagramm für folgende Zwecke verwenden:

    • Die Stichprobengrößen der Knoten, die zur Berechnung der Verteilungsperzentile der Knotenstartlatenz für ein bestimmtes Zeitintervall verwendet werden.
    • Ursachen für Knotenstarts wie Knotenpool-Updates oder Cluster Autoscaler-Ereignisse verstehen. Sie können die Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen.
Diagramm „Anzahl der Knotenstarts“
Abbildung: Diagramm „Anzahl der Knotenstarts“

Startlatenz einzelner Knoten ansehen

Wenn Sie die Latenzen einzelner Knoten vergleichen, können Sie die Auswirkungen verschiedener Knotenkonfigurationen auf die Startlatenz der Knoten testen und eine optimale Konfiguration für Ihre Anforderungen ermitteln. Sie können die Startlatenz einzelner Knoten im Zeitachsendiagramm Knotenstartlatenz und in der zugehörigen Liste ansehen.

  • Verwenden Sie das Zeitachsendiagramm Knotenstartlatenz, um einzelne Knotenstarts mit aktuellen Ereignissen wie Cluster- oder Knotenpool-Updates zu korrelieren. Sie können potenzielle Ursachen für Änderungen der Startlatenz im Vergleich zu anderen Knoten ermitteln. Sie können die Ereignisse in der Liste Anmerkungen oben im Dashboard auswählen.

  • Mithilfe der Liste Knotenstartlatenz können Sie einzelne Knoten mit den längsten oder kürzesten Startvorgängen identifizieren. Sie können die Liste nach der Spalte Latenz sortieren. Wenn Sie Knoten mit der höchsten Startlatenz identifizieren, können Sie die Latenzverschlechterung beheben, indem Sie Knotenstartereignisse mit anderen aktuellen Ereignissen korrelieren.

Diagramm zur Latenz beim Knotenstart
Abbildung: Diagramm „Latenz beim Knotenstart“

Sie können herausfinden, wann ein einzelner Knoten erstellt wurde, indem Sie sich den Wert des Felds protoPayload.metadata.creationTimestamp in einem entsprechenden Ereignis zur Knotenerstellung ansehen. Führen Sie die folgende Abfrage im Log-Explorer aus, um das Feld protoPayload.metadata.creationTimestamp aufzurufen:

   log_id("cloudaudit.googleapis.com/activity") AND
   protoPayload.methodName="io.k8s.core.v1.nodes.create" AND
   resource.labels.project_id=PROJECT_ID AND
   resource.labels.cluster_name=CLUSTER_NAME AND
   resource.labels.location=CLUSTER_LOCATION AND
   protoPayload.response.metadata.name=NODE_NAME

Startlatenz in einem Knotenpool ansehen

Wenn Ihre Knotenpools unterschiedliche Konfigurationen haben, z. B. zum Ausführen verschiedener Arbeitslasten, müssen Sie die Startlatenz der Knoten möglicherweise separat nach Knotenpools überwachen. Wenn Sie die Startlatenzen von Knoten in Ihren Knotenpools vergleichen, können Sie sich ein Bild davon machen, wie sich die Knotenkonfiguration auf die Startlatenz von Knoten auswirkt, und die Latenz entsprechend optimieren.

Standardmäßig zeigt das Dashboard Latenz beim Knotenstart die aggregierte Verteilung der Startlatenz und die einzelnen Latenzen beim Knotenstart für alle Knotenpools in einem Cluster an. Wenn Sie die Knotenstartlatenz für einen bestimmten Knotenpool aufrufen möchten, wählen Sie den Namen des Knotenpools mit dem Filter $node_pool_name_var oben im Dashboard aus.

Nächste Schritte