Fehlerbehebung bei der Beobachtbarkeit

Dieses Dokument enthält Verfahren zur Fehlerbehebung und Referenzbeschreibungen vordefinierter Systemwarnungen, mit denen Sie Bereitstellungsfehler identifizieren und Betriebsvorfälle mit Logging- und Monitoring-Komponenten in der Google Distributed Cloud (GDC) Air-Gapped-Appliance beheben können. Mit diesen Verfahren und Benachrichtigungsdefinitionen können Sie prüfen, ob die Logging- und Monitoring-Stacks ausgeführt werden, Pipelinekonfigurationen prüfen und Komponentenprobleme beheben.

Observability-Komponenten identifizieren

Die Observability-Plattform stellt ihre Komponenten im Namespace obs-system im Organisationsinfrastrukturcluster bereit.

Die Grafana-Instanz des Infrastrukturoperators (IO) bietet Zugriff auf Messwerte auf Organisationsebene, um Infrastrukturkomponenten wie CPU-Auslastung und Speicherverbrauch zu überwachen. Außerdem bietet es Zugriff auf Betriebs- und Audit-Logs. Außerdem erhalten Sie Zugriff auf Benachrichtigungen, Logs und Messwerte der betriebsfähigen GDC-Komponenten.

Die GDC-Monitoring- und Logging-Stacks verwenden Open-Source-Lösungen als Teil der Observability-Plattform. Diese Komponenten erfassen Logs und Messwerte von Kubernetes-Pods, Bare-Metal-Maschinen, Netzwerk-Switches, Speicher und verwalteten Diensten.

Die folgende Tabelle enthält eine Beschreibung aller Komponenten, die die Beobachtbarkeit-Plattform integrieren:

Komponente Beschreibung
Prometheus Prometheus ist eine Zeitreihendatenbank zum Erfassen und Speichern von Messwerten und zum Auswerten von Benachrichtigungen. Prometheus speichert Messwerte in der Cortex-Instanz des Organisationsinfrastrukturclusters zur langfristigen Speicherung. Prometheus fügt Labels als Schlüssel/Wert-Paare hinzu und erfasst Messwerte von Kubernetes-Knoten, Pods, Bare-Metal-Maschinen, Netzwerk-Switches und Speicher-Appliances.
Alertmanager Alertmanager ist ein benutzerdefiniertes Managersystem, das Benachrichtigungen sendet, wenn Logs oder Messwerte darauf hinweisen, dass Systemkomponenten ausfallen oder nicht normal funktionieren. Er verwaltet das Routing, die Stummschaltung und die Aggregation von Prometheus-Benachrichtigungen.
Loki Loki ist eine Zeitreihendatenbank, in der Logs aus verschiedenen Quellen gespeichert und aggregiert werden. Logs werden für effiziente Abfragen indexiert.
Grafana Grafana bietet eine Benutzeroberfläche zum Anzeigen von Messwerten, die von Prometheus erfasst werden, und zum Abfragen von Audit- und Betriebsprotokollen aus den entsprechenden Loki-Instanzen. Über die Benutzeroberfläche können Sie Dashboards mit Messwerten und Benachrichtigungen visualisieren.
Fluent Bit Fluent Bit ist ein Prozessor, der Logs aus verschiedenen Komponenten oder Speicherorten abruft und an Loki sendet. Er wird auf jedem Knoten aller Cluster ausgeführt.

Bereitstellungsfehler identifizieren

Wenn Ihre Bereitstellung ausgeführt wird und fehlerfrei ist, werden die Komponenten im Status READY ausgeführt.

Führen Sie die folgenden Schritte aus, um Bereitstellungsfehler zu identifizieren:

  1. Prüfen Sie den aktuellen Status einer Komponente:

    kubectl get -n obs-system TYPE/COMPONENT
    

    Ersetzen Sie Folgendes:

    • TYPE: der Komponententyp
    • COMPONENT: der Name der Komponente

    Die Ausgabe sollte in etwa so aussehen:

    NAME       READY  AGE
    COMPONENT  1/1    23h
    

    Wenn die Komponente fehlerfrei ist, wird in der Spalte READY der Ausgabe der Wert N/N angezeigt. Wenn in der Spalte READY kein Wert angezeigt wird, bedeutet das nicht unbedingt, dass ein Fehler vorliegt. Der Dienst benötigt möglicherweise mehr Zeit für die Verarbeitung.

  2. Prüfen Sie die Pods in jeder Komponente:

    kubectl get pods -n obs-system | awk 'NR==1 | /COMPONENT/'
    

    Ersetzen Sie COMPONENT durch den Komponentennamen.

    Die Ausgabe sollte in etwa so aussehen:

    NAME       READY  STATUS   RESTARTS  AGE
    COMPONENT  1/1    Running  0         23h
    

    Prüfen Sie, ob die Spalte READY den Wert N/N, die Spalte STATUS den Wert Running und die Anzahl der RESTARTS den Wert 2 nicht überschreitet.

    Eine hohe Anzahl von Neustarts weist auf die folgenden Symptome hin:

    • Die Pods schlagen fehl und Kubernetes startet sie neu.
    • In der Spalte STATUS wird der Wert CrashLoopBackoff angezeigt.

    Sehen Sie sich die Logs der Pods an, um den Fehlerstatus zu beheben.

    Wenn ein Pod den Status PENDING hat, weist dieser Status auf eines oder mehrere der folgenden Symptome hin:

    • Der Pod wartet auf den Netzwerkzugriff, um den erforderlichen Container herunterzuladen.
    • Ein Konfigurationsproblem verhindert, dass der Pod gestartet wird. Beispielsweise fehlt ein Secret-Wert, den der Pod benötigt.
    • Ihr Kubernetes-Cluster hat keine Ressourcen mehr, um den Pod zu planen. Das passiert, wenn viele Anwendungen auf dem Cluster ausgeführt werden.
  3. So ermitteln Sie die Ursache eines PENDING-Status:

    kubectl describe -n obs-system pod/POD_NAME
    

    Ersetzen Sie POD_NAME durch den Namen des Pods, der den Status PENDING hat.

    Die Ausgabe enthält weitere Details zum Pod.

  4. Gehen Sie zum Abschnitt Events der Ausgabe, um eine Tabelle mit den letzten Ereignissen des Pods und eine Zusammenfassung der Ursache des Status PENDING aufzurufen.

    Die folgende Ausgabe zeigt einen Beispielabschnitt Events für ein Grafana-StatefulSet-Objekt:

    Events:
      Type    Reason            Age                From                    Message
      ----    ------            ----               ----                    -------
      Normal  SuccessfulCreate  13s (x3 over 12d)  statefulset-controller  create Pod grafana-0 in StatefulSet grafana successful
    

    Wenn es über einen längeren Zeitraum keine Ereignisse in Ihrem Pod oder einer anderen Ressource gibt, erhalten Sie die folgende Ausgabe:

      Events:         <none>
    

Prüfen, ob der Logging-Stack für die Beobachtbarkeit ausgeführt wird

Führen Sie die folgenden Schritte aus, um zu prüfen, ob der Logging-Stack ausgeführt wird:

  1. Prüfen Sie, ob in allen Loki-Instanzen oder -Pods der Istio-Sidecar eingefügt ist. Prüfen Sie, ob alle Fluent Bit-Pods mit den Namen anthos-audit-logs-forwarder-SUFFIX und anthos-log-forwarder-SUFFIX den Istio-Sidecar eingefügt haben.

  2. Prüfen Sie, ob alle Loki-Instanzen im Infrastrukturcluster der Organisation fehlerfrei ausgeführt werden.

  3. Prüfen Sie den Status der anthos-audit-logs-forwarder- und anthos-log-forwarder-DaemonSet-Objekte, um festzustellen, ob alle Instanzen auf allen Knoten fehlerfrei ausgeführt werden.

  4. Prüfen Sie, ob Sie die Betriebsprotokolle von kube-apiserver-SUFFIX-Containern und die Audit-Logs vom Kubernetes API-Server für die letzten fünf Minuten in allen Clustern erhalten. Führen Sie dazu die folgenden Abfragen in der Grafana-Instanz aus:

    • Betriebslogs: sum (count_over_time({service_name="apiserver"} [5m])) by (cluster, fluentbit_pod)
    • Audit-Logs: sum (count_over_time({cluster=~".+"} [5m])) by (cluster, node)

    Sie müssen für alle Knoten der Steuerungsebene im Cluster der Organisationsinfrastruktur Werte ungleich null erhalten.

Prüfen, ob der Observability-Monitoring-Stack ausgeführt wird

Führen Sie die folgenden Schritte aus, um zu prüfen, ob der Monitoring-Stack ausgeführt wird:

  1. Prüfen Sie, ob die Grafana-Instanzen im Infrastrukturcluster der Organisation ausgeführt werden. Die grafana-0-Pods müssen in den folgenden Namespaces fehlerfrei ausgeführt werden:

    • obs-system
    • infra-obs-obs-system
    • platform-obs-obs-system
  2. Achten Sie darauf, dass sich alle Monitoring-Komponenten im Istio Service Mesh befinden. Führen Sie die Schritte im Abschnitt Bereitstellungsfehler identifizieren aus. In der Spalte READY muss für jeden der folgenden Pods angezeigt werden, dass alle Container bereit sind. Der Wert 3/3 bedeutet beispielsweise, dass drei von drei Containern bereit sind. Außerdem müssen die Pods einen istio-proxy-Container haben. Wenn die Pods diese Bedingungen nicht erfüllen, starten Sie den Pod neu:

    Pod-Name Anzahl der einsatzbereiten Container
    cortex- 2/2
    cortex-etcd-0 2/2
    cortex-proxy-server- 2/2
    cortex-tenant- 2/2
    meta-blackbox-exporter- 2/2
    meta-grafana-0 3/3
    meta-grafana-proxy-server- 2/2
    meta-prometheus-0 4/4
    cortex-alertmanager- 2/2
    cortex-compactor- 2/2
    cortex-distributor- 2/2
    cortex-etcd-0 2/2
    cortex-ingester- 2/2
    cortex-querier- 2/2
    cortex-query-frontend- 2/2
    cortex-query-scheduler- 2/2
    cortex-ruler- 2/2
    cortex-store-gateway- 2/2
    cortex-tenant- 2/2
    grafana-proxy-server- 2/2
    meta-blackbox-exporter- 2/2
    meta-grafana-0 3/3
    meta-grafana-proxy-server-* 2/2
    meta-prometheus-0 4/4

  3. Prüfen Sie, ob Cortex ohne Fehler ausgeführt wird.

Beobachtbarkeitslogs abrufen

Die folgende Tabelle enthält die Befehle, die Sie ausführen müssen, um die Logs für jede der Komponenten abzurufen, die die Observability-Plattform bereitstellt.

Komponente Befehl zum Abrufen von Logs
grafana kubectl logs -n obs-system statefulset/grafana
anthos-prometheus-k8s kubectl logs -n obs-system statefulset/anthos-prometheus-k8s
alertmanager kubectl logs -n obs-system statefulset/alertmanager
ops-logs-loki-io kubectl logs -n obs-system statefulset/ops-logs-loki-io
ops-logs-loki-io-read kubectl logs -n obs-system statefulset/ops-logs-loki-io-read
ops-logs-loki-all kubectl logs -n obs-system statefulset/ops-logs-loki-all
ops-logs-loki-all-read kubectl logs -n obs-system statefulset/ops-logs-loki-all-read
audit-logs-loki-io kubectl logs -n obs-system statefulset/audit-logs-loki-io
audit-logs-loki-io-read kubectl logs -n obs-system statefulset/audit-logs-loki-io-read
audit-logs-loki-pa kubectl logs -n obs-system statefulset/audit-logs-loki-pa
audit-logs-loki-pa-read kubectl logs -n obs-system statefulset/audit-logs-loki-pa-read
audit-logs-loki-all kubectl logs -n obs-system statefulset/audit-logs-loki-all
audit-logs-loki-all-read kubectl logs -n obs-system statefulset/audit-logs-loki-all-read
anthos-log-forwarder kubectl logs -n obs-system daemonset/anthos-log-forwarder
anthos-audit-logs-forwarder kubectl logs -n obs-system daemonset/anthos-audit-logs-forwarder
oplogs-forwarder kubectl logs -n obs-system daemonset/oplogs-forwarder
logmon-operator kubectl logs -n obs-system deployment/logmon-operator

Wenn Sie die Logs einer vorherigen Instanz einer Komponente aufrufen möchten, fügen Sie am Ende jedes Befehls das Flag -p hinzu. Wenn Sie das Flag -p hinzufügen, können Sie Logs einer vorherigen fehlgeschlagenen Instanz anstelle der aktuellen laufenden Instanz prüfen.

Konfiguration ansehen

Der Observability-Stack verwendet benutzerdefinierte Kubernetes API-Ressourcen, um Monitoring- und Logging-Pipelines zu konfigurieren.

Die benutzerdefinierte Ressource LoggingPipeline wird im Infrastrukturcluster der Organisation bereitgestellt und konfiguriert Loki-Instanzen.

Die folgenden Befehle zeigen die verfügbaren Aktionen, die Sie für die Logging-Pipeline ausführen können:

  • Sehen Sie sich die aktuelle Konfiguration Ihrer Logging-Pipeline-Bereitstellung an:

    kubectl get loggingpipeline -n obs-system default -o yaml
    
  • Ändern Sie die Konfiguration der Bereitstellung Ihrer Logging-Pipeline:

    kubectl edit loggingpipeline -n obs-system default
    

GDC verwendet einen Logging- und Monitoring-Operator namens logmon-operator, um die Bereitstellung von Observability-Komponenten wie Prometheus und Fluent Bit zu verwalten. Die API für die logmon-operator-Komponente ist die benutzerdefinierte Ressourcendefinition logmon. Die benutzerdefinierte Ressourcendefinition logmon weist logmon-operator an, wie die Beobachtbarkeit für Ihre Bereitstellung konfiguriert werden soll. Diese benutzerdefinierte Ressourcendefinition enthält die Attribute von Volumes zum Speichern Ihrer Messwerte, Benachrichtigungsregeln für Alertmanager, Prometheus-Konfigurationen zum Erfassen von Messwerten und Grafana-Konfigurationen für Dashboards.

Die folgenden Befehle zeigen die verfügbaren Aktionen, die Sie für die benutzerdefinierte Ressourcendefinition logmon ausführen können:

  • Sehen Sie sich die aktuelle Konfiguration für Ihre Observability-Bereitstellung an:

    kubectl get logmon -n obs-system logmon-default -o yaml
    
  • Ändern Sie die Konfiguration Ihrer Observability-Bereitstellung:

    kubectl edit logmon -n obs-system logmon-default
    

Die Ausgabe der beiden Befehle kann auf mehrere Kubernetes-ConfigMap-Objekte für die weitere Konfiguration verweisen. Sie können beispielsweise Alertmanager-Regeln in einem separaten ConfigMap-Objekt konfigurieren, auf das in der benutzerdefinierten Ressourcendefinition logmon namentlich verwiesen wird. Sie können die Alertmanager-Konfiguration über die benutzerdefinierte logmon-Ressourcendefinition mit dem Namen gpc-alertmanager-config ändern und aufrufen.

Führen Sie folgenden Befehl aus, um die Alertmanager-Konfiguration aufzurufen:

kubectl get configmap -n obs-system gpc-alertmanager-config -o yaml

Allgemeine Probleme

In diesem Abschnitt werden häufige Probleme beschrieben, die bei der Bereitstellung der Observability-Plattform auftreten können.

Sie können nicht auf Grafana zugreifen

Standardmäßig ist Grafana für Maschinen außerhalb Ihres Kubernetes-Clusters nicht zugänglich. Wenn Sie vorübergehend von außerhalb des Clusters der Organisationsinfrastruktur auf die Grafana-Oberfläche zugreifen möchten, können Sie den Service an den Localhost weiterleiten. Führen Sie Folgendes aus, um die Portweiterleitung für Service einzurichten:

kubectl port-forward -n gpc-system service/grafana 33000\:3000

Rufen Sie in Ihrem Webbrowser http://localhost:33000 auf, um das Grafana-Dashboard für Ihre Bereitstellung aufzurufen. Drücken Sie Strg + C, um den Vorgang zu beenden.

Grafana läuft langsam

Wenn Grafana langsam ausgeführt wird, deutet das auf Folgendes hin:

  • Abfragen an Prometheus oder Loki geben zu viele Daten zurück.
  • Abfragen geben mehr Daten zurück, als in einem einzelnen Diagramm sinnvoll dargestellt werden können.

Wenn Sie langsame Geschwindigkeiten in Grafana beheben möchten, prüfen Sie die Abfragen in Ihren benutzerdefinierten Grafana-Dashboards. Wenn die Abfragen mehr Daten zurückgeben, als in einem einzelnen Diagramm sinnvoll dargestellt werden können, sollten Sie die Menge der angezeigten Daten reduzieren, um die Dashboard-Leistung zu verbessern.

Grafana-Dashboard zeigt keine Messwerte oder Logs an

Wenn in Grafana keine Messwerte oder Logs angezeigt werden, kann das folgende Gründe haben:

  • Grafana-Datenquellen sind nicht richtig festgelegt.
  • Das System hat Verbindungsprobleme mit Monitoring- oder Logging-Datenquellen.
  • Das System erfasst keine Messwerte oder Protokolle.

So rufen Sie die Logs und Messwerte auf:

  1. Klicken Sie in der Grafana-Benutzeroberfläche auf Dashboard-Einstellungen.
  2. Wählen Sie Datenquellen aus.
  3. Auf der Seite Datenquellen sollten die folgenden Quellen angezeigt werden:
Name Organisation URL
Audit Logs All http://audit-logs-loki-io-read.obs-system.svc:3100
Operational Logs Root http://ops-logs-loki-io-read.obs-system.svc:3100
Operational Logs Org http://ops-logs-loki-all-read.obs-system.svc:3100
prometheus http://anthos-prometheus-k8s.obs-system.svc:9090

Wenn diese Datenquellen fehlen, bedeutet das, dass der Observability-Stack Grafana nicht richtig konfiguriert hat.

Wenn Sie die Datenquellen richtig konfiguriert haben, aber keine Daten angezeigt werden, kann dies auf ein Problem mit Service-Objekten hinweisen, die Messwerte oder Logs erfassen, um sie in Prometheus oder Loki einzuspeisen.

Prometheus erfasst Messwerte nach einem Pull-Modell, um Ihre Service-Objekte regelmäßig nach Messwerten abzufragen und die gefundenen Werte zu speichern. Damit Prometheus Ihre Service-Objekte für die Messwerterfassung erkennen kann, muss Folgendes zutreffen:

  • Alle Pods für Service-Objekte sind mit 'monitoring.gke.io/scrape: "true"' annotiert.

  • Das Prometheus-Messwertformat stellt die Pod-Messwerte über HTTP bereit. Standardmäßig sucht Prometheus am Endpunkt http://POD_NAME:80/metrics nach diesen Messwerten. Bei Bedarf können Sie den Port, den Endpunkt und das Schema über Annotationen überschreiben.

Fluent Bit erfasst Logs und ist für die Ausführung auf jedem Knoten Ihrer Kubernetes-Cluster vorgesehen. Fluent Bit sendet die Logs zur langfristigen Speicherung an Loki.

Wenn in Grafana keine Logs vorhanden sind, versuchen Sie es mit den folgenden Problemumgehungen:

  • Prüfen Sie die Logs der Loki-Instanzen, um sicherzustellen, dass sie fehlerfrei ausgeführt werden.

  • Wenn die Loki-Instanzen ordnungsgemäß ausgeführt werden, die Logs aber nicht angezeigt werden, prüfen Sie die Logs in Fluent Bit, um sicherzustellen, dass der Dienst wie erwartet funktioniert. Informationen zum Abrufen von Logs finden Sie unter Beobachtbarkeitslogs abrufen.

Alertmanager öffnet keine Benachrichtigungen

Wenn Alertmanager keine Benachrichtigungen öffnen kann, führen Sie die folgenden Schritte aus:

  1. Achten Sie darauf, dass das Label logmon: system_metrics in Ihrem configMap-Objekt im Namespace gpc-system vorhanden ist.
  2. Prüfen Sie, ob der Datenabschnitt configMap einen Schlüssel mit dem Namen alertmanager.yml enthält. Der Wert für den Schlüssel alertmanager.yml muss die Benachrichtigungsregeln sein, die in Ihrer gültigen Alertmanager-Konfigurationsdatei enthalten sind.
  3. Achten Sie darauf, dass die benutzerdefinierte Ressourcendefinition logmon mit dem Namen logmon-default im Namespace gpc-system einen Verweis auf das Objekt configMap enthält. Die benutzerdefinierte Ressourcendefinition logmon-default muss den Namen des configMap-Objekts enthalten, wie im folgenden Beispiel gezeigt:

    apiVersion: addons.gke.io/v1
    kind: Logmon
    spec:
      system_metrics:
        outputs:
          default_prometheus:
            deployment:
              components:
                alertmanager:
                  alertmanagerConfigurationConfigmaps:
                    - alerts-config
    

    Der Wert alerts-config im Beispiel ist der Name Ihres configMap-Objekts.

Alertmanager sendet keine Benachrichtigungen an die konfigurierten Benachrichtigungskanäle

Ein Konfigurationsfehler kann dazu führen, dass Sie keine Benachrichtigungen in der externen Software erhalten, die Sie als Benachrichtigungskanal konfiguriert haben, z. B. Slack, selbst wenn Alertmanager Benachrichtigungen in der Grafana-Instanz generiert.

So erhalten Sie Benachrichtigungen in Ihrer externen Software:

  1. Prüfen Sie, ob die Werte in Ihrer Alertmanager-Konfigurationsdatei richtig formatiert sind. Wenn Alertmanager eine Benachrichtigung auslöst, wird ein Webhook in der externen Software abgefragt.

  2. Prüfen Sie, ob die Webhook-URLs, die eine Verbindung zur externen Software herstellen, korrekt sind. Wenn die URLs korrekt sind, prüfen Sie, ob die Software so konfiguriert ist, dass sie Webhooks akzeptiert. Möglicherweise müssen Sie einen API-Schlüssel generieren, um auf die API des externen Dienstes zuzugreifen, oder Ihr aktueller API-Schlüssel ist abgelaufen und Sie müssen ihn aktualisieren.

  3. Wenn sich der externe Dienst außerhalb Ihrer GDC-Appliance-Bereitstellung mit Air Gap befindet, müssen Sie dafür sorgen, dass die Regeln für ausgehenden Traffic für Ihren Organisationsinfrastrukturcluster konfiguriert sind. Mit dieser Konfiguration kann Alertmanager Anfragen an einen Dienst außerhalb des internen Kubernetes-Netzwerks senden. Wenn Sie die Regeln für ausgehenden Traffic nicht prüfen, kann Alertmanager die externe Software möglicherweise nicht finden.

Sie können keine Messwerte aus Ihrer projektbezogenen Arbeitslast sehen.

Führen Sie die folgenden Schritte aus, um einen Workaround anzuwenden und Messwerte aus Ihrer Arbeitslast abzurufen:

  1. Prüfen Sie, ob die benutzerdefinierte Ressource MonitoringTarget den Status Ready hat.
  2. Wenn Sie Ihre Arbeitslast scrapen möchten, müssen Sie alle Zielinformationen, die für MonitoringTarget angegeben sind, in der Pod-Spezifikation der Arbeitslast deklarieren. Wenn Sie beispielsweise angeben, dass Messwerte auf Port 8080 verfügbar sind, muss der Arbeitslast-Pod Kubernetes mitteilen, dass Port 8080 geöffnet ist. Andernfalls wird die Arbeitslast von Prometheus ignoriert.
  3. Prometheus führt mehrere Shards aus. Das bedeutet, dass nicht alle Prometheus-Pods Ihren Pod per Scraping erfassen. Sie können die Shard-Nummer im Namen jedes Prometheus-Pods identifizieren. Beispiel: primary-prometheus-shard0-replica0-0 ist Teil von Shard 0. Suchen Sie nach dem Pod, den Sie aus jedem Prometheus-Shard extrahieren möchten:
    1. Leiten Sie den Port des primary-prometheus-shardSHARD_NUMBER-replica0-0-Pods von Prometheus im Namespace obs-system weiter, um Zugriff auf die Prometheus-Benutzeroberfläche zu erhalten. Ersetzen Sie SHARD_NUMBER im Pod-Namen jedes Mal durch eine höhere Zahl, wenn Sie ein neues Shard prüfen.
    2. Rufen Sie die Prometheus-Benutzeroberfläche in Ihrem Webbrowser auf und führen Sie die folgenden Schritte aus:
      1. Klicken Sie auf Status > Ziele.
      2. Prüfen Sie, ob der Pod, den Sie scrapen möchten, in der Liste enthalten ist. Falls nicht, prüfen Sie den nächsten Shard. Wenn keine weiteren Shards zu prüfen sind, prüfen Sie noch einmal, ob Prometheus genügend Informationen hat, um sie zu erkennen.
    3. Prüfen Sie, ob der primary-prometheus-shardSHARD_NUMBER-replica0-0-Pod von Prometheus Fehler im Namespace obs-system protokolliert.
  4. Prüfen Sie die Fehler in den Logs des cortex-tenant-Pods im Namespace obs-system.

Es wurde kein Dashboard erstellt

Führen Sie die folgenden Schritte aus, um eine Problemumgehung anzuwenden und herauszufinden, warum ein Dashboard nicht erstellt wird:

  1. Prüfen Sie den Status der benutzerdefinierten Dashboard-Ressource auf Fehler. Die benutzerdefinierte Ressource muss den Status Ready haben.
  2. Prüfen Sie, ob Sie die richtige Grafana-Instanz verwenden. Wenn Sie das Dashboard beispielsweise in Ihrem Projekt-Namespace mit dem Namen my-namespace bereitgestellt haben, muss sich das Dashboard in der Grafana-Instanz am Endpunkt https://GDCH_URL/my-namespace/grafana befinden.
  3. Prüfen Sie die Logs von fleet-admin-controller im Namespace gpc-system. Suchen Sie in den Logs nach dem Namen des Dashboards, um nach Fehlern im Zusammenhang mit dem Dashboard zu suchen. Wenn Sie Fehler finden, hat die JSON-Datei in Ihrem configMap-Objekt ein falsches Format und Sie müssen es korrigieren.
  4. Prüfen Sie die Grafana-Logs im Namespace PROJECT_NAME-obs-system auf Fehler. Dashboards fragen die Grafana REST API ab. Grafana muss also funktionieren, damit ein Dashboard erstellt werden kann.

Die Benachrichtigung wird nicht geöffnet

Führen Sie die folgenden Schritte aus, um eine Problemumgehung anzuwenden und herauszufinden, warum eine Benachrichtigung nicht geöffnet wird:

  1. Achten Sie darauf, dass sich Cortex und Loki im Bucket-Speichermodus befinden. Regeln funktionieren nur, wenn das Backend durch Bucket-Speicher unterstützt wird.
  2. Prüfen Sie, ob der Status der benutzerdefinierten Ressourcen MonitoringRule und LoggingRule Ready lautet.
  3. Prüfen Sie die folgenden Benachrichtigungsbedingungen:
    • PromQL- und LogQL-Ausdrücke: Vergleichen Sie alle verwendeten Funktionen mit der Dokumentation unter Benachrichtigungsregeln erstellen, um sicherzustellen, dass Ihre Regeln wie gewünscht konfiguriert sind. Die Ausdrücke müssen einen true- oder false-Wert zurückgeben.
    • Dauer: Im Feld for der benutzerdefinierten Ressource wird definiert, wie lange eine Bedingung erfüllt sein muss. Im Feld interval wird festgelegt, wie oft die Bedingung ausgewertet werden soll. Vergleichen Sie die Werte dieser Felder miteinander und achten Sie darauf, dass Ihre Bedingungen logisch sind.
  4. Prüfen Sie auf der Seite Benachrichtigungen in der Grafana-Benutzeroberfläche, ob die Benachrichtigung offen ist.
  5. Wenn Grafana anzeigt, dass die Benachrichtigung offen ist, prüfen Sie Ihre Benachrichtigungskanäle und stellen Sie sicher, dass Alertmanager sie kontaktieren kann, um die Benachrichtigung zu erstellen.

Erwartete Logs sind nicht verfügbar

Führen Sie die folgenden Schritte aus, wenn Sie keine Betriebsprotokolle von Ihrer Komponente sehen:

  1. Prüfen Sie, ob Ihre Komponente ausgeführt wird und Logs erstellt.
  2. Prüfen Sie, ob Ihre Komponentenlogs als integrierte Funktion erfasst werden sollen. Wenn nicht, prüfen Sie, ob die benutzerdefinierte Ressource LoggingTarget mit einer gültigen Spezifikation und dem Status Ready bereitgestellt wurde.

Führen Sie die folgenden Schritte aus, wenn Sie keine Audit-Logs von Ihrer Komponente sehen:

  1. Wenn Ihre Komponente Logs in eine Datei schreibt, prüfen Sie, ob die Datei im Dateisystem des Knotens im Pfad /var/log/audit/SERVICE_NAME/NAMESPACE/ACCESS_LEVEL/audit.log tatsächlich vorhanden ist.
  2. Prüfen Sie, ob der anthos-audit-logs-forwarder-SUFFIX-Pod auf demselben Knoten keine Fehler enthält.
  3. Wenn Ihre Komponente einen Syslog-Endpunkt zum Empfangen von Logs verwendet, muss die benutzerdefinierte Ressource AuditLoggingTarget mit einer gültigen Spezifikation und dem Status Ready bereitgestellt sein.

Vordefinierte Benachrichtigungsregeln identifizieren

Dieser Abschnitt enthält Informationen zu den vordefinierten Benachrichtigungsregeln, die in Observability-Komponenten vorhanden sind, um Sie über Systemfehler zu informieren.

Vordefinierte Benachrichtigungsregeln in Loki

In der folgenden Tabelle sind die vorinstallierten Benachrichtigungsregeln in Loki für Audit-Logging-Fehler aufgeführt:

Vorinstallierte Benachrichtigungsregeln in Loki für Audit-Logging-Fehler
Name Typ Beschreibung
FluentBitAuditLoggingWriteFailure Kritisch Fluent Bit konnte in den letzten fünf Minuten keine Audit-Logs weiterleiten.
LokiAuditLoggingWriteFailure Kritisch Loki konnte keine Audit-Logs in den Back-End-Speicher schreiben.

Wenn eine oder mehrere dieser Warnungen angezeigt werden, hat das System mindestens einen Audit-Datensatz verloren.

Vordefinierte Benachrichtigungsregeln in Prometheus

In der folgenden Tabelle sind die vorinstallierten Benachrichtigungsregeln in Prometheus für Kubernetes-Komponenten aufgeführt:

Vorinstallierte Benachrichtigungsregeln in Prometheus
Name Typ Beschreibung
KubeAPIDown Kritisch Die Kube API ist 15 Minuten lang nicht in der Prometheus-Zielerkennung aufgetaucht.
KubeClientErrors Warnung Das Fehlerverhältnis des Kubernetes API-Server-Clients war 15 Minuten lang größer als 0,01.
KubeClientErrors Kritisch Das Fehlerverhältnis des Kubernetes API-Server-Clients war 15 Minuten lang größer als 0,1.
KubePodCrashLooping Warnung Der Pod befindet sich seit mehr als 15 Minuten in einer Absturzschleife.
KubePodNotReady Warnung Der Pod ist seit mehr als 15 Minuten nicht einsatzbereit.
KubePersistentVolumeFillingUp Kritisch Die verfügbaren Byte eines beanspruchten PersistentVolume-Objekts sind kleiner als 0,03.
KubePersistentVolumeFillingUp Warnung Die verfügbaren Byte eines beanspruchten PersistentVolume-Objekts sind kleiner als 0,15.
KubePersistentVolumeErrors Kritisch Das nichtflüchtige Volume befindet sich seit fünf Minuten in der Phase Failed oder Pending.
KubeNodeNotReady Warnung Der Knoten ist seit mehr als 15 Minuten nicht bereit.
KubeNodeCPUUsageHigh Kritisch Die CPU-Auslastung des Knotens beträgt mehr als 80 %.
KubeNodeMemoryUsageHigh Kritisch Die Speichernutzung des Knotens beträgt mehr als 80 %.
NodeFilesystemSpaceFillingUp Warnung Die Dateisystemnutzung des Knotens ist größer als 60 %.
NodeFilesystemSpaceFillingUp Kritisch Die Dateisystemnutzung des Knotens ist größer als 85 %.
CertManagerCertExpirySoon Warnung Ein Zertifikat läuft in 21 Tagen ab.
CertManagerCertNotReady Kritisch Ein Zertifikat ist nach 10 Minuten nicht bereit, Traffic zu verarbeiten.
CertManagerHittingRateLimits Kritisch Sie haben beim Erstellen oder Verlängern von Zertifikaten für fünf Minuten eine Ratenbegrenzung erreicht.
DeploymentNotReady Kritisch Ein Deployment im Infrastrukturcluster der Organisation ist seit mehr als 15 Minuten nicht einsatzbereit.
StatefulSetNotReady Kritisch Ein StatefulSet-Objekt im Cluster der Organisationsinfrastruktur ist seit mehr als 15 Minuten nicht bereit.
AuditLogsForwarderDown Kritisch Das anthos-audit-logs-forwarder-DaemonSet ist seit mehr als 15 Minuten ausgefallen.
AuditLogsLokiDown Kritisch Das StatefulSet audit-logs-loki ist seit mehr als 15 Minuten nicht einsatzbereit.