Dieses Dokument enthält Verfahren zur Fehlerbehebung und Referenzbeschreibungen vordefinierter Systemwarnungen, mit denen Sie Bereitstellungsfehler identifizieren und Betriebsvorfälle mit Logging- und Monitoring-Komponenten in der Google Distributed Cloud (GDC) Air-Gapped-Appliance beheben können. Mit diesen Verfahren und Benachrichtigungsdefinitionen können Sie prüfen, ob die Logging- und Monitoring-Stacks ausgeführt werden, Pipelinekonfigurationen prüfen und Komponentenprobleme beheben.
Observability-Komponenten identifizieren
Die Observability-Plattform stellt ihre Komponenten im Namespace obs-system im Organisationsinfrastrukturcluster bereit.
Die Grafana-Instanz des Infrastrukturoperators (IO) bietet Zugriff auf Messwerte auf Organisationsebene, um Infrastrukturkomponenten wie CPU-Auslastung und Speicherverbrauch zu überwachen. Außerdem bietet es Zugriff auf Betriebs- und Audit-Logs. Außerdem erhalten Sie Zugriff auf Benachrichtigungen, Logs und Messwerte der betriebsfähigen GDC-Komponenten.
Die GDC-Monitoring- und Logging-Stacks verwenden Open-Source-Lösungen als Teil der Observability-Plattform. Diese Komponenten erfassen Logs und Messwerte von Kubernetes-Pods, Bare-Metal-Maschinen, Netzwerk-Switches, Speicher und verwalteten Diensten.
Die folgende Tabelle enthält eine Beschreibung aller Komponenten, die die Beobachtbarkeit-Plattform integrieren:
| Komponente | Beschreibung |
|---|---|
Prometheus |
Prometheus ist eine Zeitreihendatenbank zum Erfassen und Speichern von Messwerten und zum Auswerten von Benachrichtigungen. Prometheus speichert Messwerte in der Cortex-Instanz des Organisationsinfrastrukturclusters zur langfristigen Speicherung. Prometheus fügt Labels als Schlüssel/Wert-Paare hinzu und erfasst Messwerte von Kubernetes-Knoten, Pods, Bare-Metal-Maschinen, Netzwerk-Switches und Speicher-Appliances. |
Alertmanager |
Alertmanager ist ein benutzerdefiniertes Managersystem, das Benachrichtigungen sendet, wenn Logs oder Messwerte darauf hinweisen, dass Systemkomponenten ausfallen oder nicht normal funktionieren. Er verwaltet das Routing, die Stummschaltung und die Aggregation von Prometheus-Benachrichtigungen. |
Loki |
Loki ist eine Zeitreihendatenbank, in der Logs aus verschiedenen Quellen gespeichert und aggregiert werden. Logs werden für effiziente Abfragen indexiert. |
Grafana |
Grafana bietet eine Benutzeroberfläche zum Anzeigen von Messwerten, die von Prometheus erfasst werden, und zum Abfragen von Audit- und Betriebsprotokollen aus den entsprechenden Loki-Instanzen. Über die Benutzeroberfläche können Sie Dashboards mit Messwerten und Benachrichtigungen visualisieren. |
Fluent Bit |
Fluent Bit ist ein Prozessor, der Logs aus verschiedenen Komponenten oder Speicherorten abruft und an Loki sendet. Er wird auf jedem Knoten aller Cluster ausgeführt. |
Bereitstellungsfehler identifizieren
Wenn Ihre Bereitstellung ausgeführt wird und fehlerfrei ist, werden die Komponenten im Status READY ausgeführt.
Führen Sie die folgenden Schritte aus, um Bereitstellungsfehler zu identifizieren:
Prüfen Sie den aktuellen Status einer Komponente:
kubectl get -n obs-system TYPE/COMPONENTErsetzen Sie Folgendes:
TYPE: der KomponententypCOMPONENT: der Name der Komponente
Die Ausgabe sollte in etwa so aussehen:
NAME READY AGE COMPONENT 1/1 23hWenn die Komponente fehlerfrei ist, wird in der Spalte
READYder Ausgabe der WertN/Nangezeigt. Wenn in der SpalteREADYkein Wert angezeigt wird, bedeutet das nicht unbedingt, dass ein Fehler vorliegt. Der Dienst benötigt möglicherweise mehr Zeit für die Verarbeitung.Prüfen Sie die Pods in jeder Komponente:
kubectl get pods -n obs-system | awk 'NR==1 | /COMPONENT/'Ersetzen Sie
COMPONENTdurch den Komponentennamen.Die Ausgabe sollte in etwa so aussehen:
NAME READY STATUS RESTARTS AGE COMPONENT 1/1 Running 0 23hPrüfen Sie, ob die Spalte
READYden WertN/N, die SpalteSTATUSden WertRunningund die Anzahl derRESTARTSden Wert2nicht überschreitet.Eine hohe Anzahl von Neustarts weist auf die folgenden Symptome hin:
- Die Pods schlagen fehl und Kubernetes startet sie neu.
- In der Spalte
STATUSwird der WertCrashLoopBackoffangezeigt.
Sehen Sie sich die Logs der Pods an, um den Fehlerstatus zu beheben.
Wenn ein Pod den Status
PENDINGhat, weist dieser Status auf eines oder mehrere der folgenden Symptome hin:- Der Pod wartet auf den Netzwerkzugriff, um den erforderlichen Container herunterzuladen.
- Ein Konfigurationsproblem verhindert, dass der Pod gestartet wird. Beispielsweise fehlt ein
Secret-Wert, den der Pod benötigt. - Ihr Kubernetes-Cluster hat keine Ressourcen mehr, um den Pod zu planen. Das passiert, wenn viele Anwendungen auf dem Cluster ausgeführt werden.
So ermitteln Sie die Ursache eines
PENDING-Status:kubectl describe -n obs-system pod/POD_NAMEErsetzen Sie
POD_NAMEdurch den Namen des Pods, der den StatusPENDINGhat.Die Ausgabe enthält weitere Details zum Pod.
Gehen Sie zum Abschnitt
Eventsder Ausgabe, um eine Tabelle mit den letzten Ereignissen des Pods und eine Zusammenfassung der Ursache des StatusPENDINGaufzurufen.Die folgende Ausgabe zeigt einen Beispielabschnitt
Eventsfür ein Grafana-StatefulSet-Objekt:Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SuccessfulCreate 13s (x3 over 12d) statefulset-controller create Pod grafana-0 in StatefulSet grafana successfulWenn es über einen längeren Zeitraum keine Ereignisse in Ihrem Pod oder einer anderen Ressource gibt, erhalten Sie die folgende Ausgabe:
Events: <none>
Prüfen, ob der Logging-Stack für die Beobachtbarkeit ausgeführt wird
Führen Sie die folgenden Schritte aus, um zu prüfen, ob der Logging-Stack ausgeführt wird:
Prüfen Sie, ob in allen Loki-Instanzen oder -Pods der Istio-Sidecar eingefügt ist. Prüfen Sie, ob alle Fluent Bit-Pods mit den Namen
anthos-audit-logs-forwarder-SUFFIXundanthos-log-forwarder-SUFFIXden Istio-Sidecar eingefügt haben.Prüfen Sie, ob alle Loki-Instanzen im Infrastrukturcluster der Organisation fehlerfrei ausgeführt werden.
Prüfen Sie den Status der
anthos-audit-logs-forwarder- undanthos-log-forwarder-DaemonSet-Objekte, um festzustellen, ob alle Instanzen auf allen Knoten fehlerfrei ausgeführt werden.Prüfen Sie, ob Sie die Betriebsprotokolle von
kube-apiserver-SUFFIX-Containern und die Audit-Logs vom Kubernetes API-Server für die letzten fünf Minuten in allen Clustern erhalten. Führen Sie dazu die folgenden Abfragen in der Grafana-Instanz aus:- Betriebslogs:
sum (count_over_time({service_name="apiserver"} [5m])) by (cluster, fluentbit_pod) - Audit-Logs:
sum (count_over_time({cluster=~".+"} [5m])) by (cluster, node)
Sie müssen für alle Knoten der Steuerungsebene im Cluster der Organisationsinfrastruktur Werte ungleich null erhalten.
- Betriebslogs:
Prüfen, ob der Observability-Monitoring-Stack ausgeführt wird
Führen Sie die folgenden Schritte aus, um zu prüfen, ob der Monitoring-Stack ausgeführt wird:
Prüfen Sie, ob die Grafana-Instanzen im Infrastrukturcluster der Organisation ausgeführt werden. Die
grafana-0-Pods müssen in den folgenden Namespaces fehlerfrei ausgeführt werden:obs-systeminfra-obs-obs-systemplatform-obs-obs-system
Achten Sie darauf, dass sich alle Monitoring-Komponenten im Istio Service Mesh befinden. Führen Sie die Schritte im Abschnitt Bereitstellungsfehler identifizieren aus. In der Spalte
READYmuss für jeden der folgenden Pods angezeigt werden, dass alle Container bereit sind. Der Wert3/3bedeutet beispielsweise, dass drei von drei Containern bereit sind. Außerdem müssen die Pods einenistio-proxy-Container haben. Wenn die Pods diese Bedingungen nicht erfüllen, starten Sie den Pod neu:Pod-Name Anzahl der einsatzbereiten Container cortex-2/2cortex-etcd-02/2cortex-proxy-server-2/2cortex-tenant-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-2/2meta-prometheus-04/4cortex-alertmanager-2/2cortex-compactor-2/2cortex-distributor-2/2cortex-etcd-02/2cortex-ingester-2/2cortex-querier-2/2cortex-query-frontend-2/2cortex-query-scheduler-2/2cortex-ruler-2/2cortex-store-gateway-2/2cortex-tenant-2/2grafana-proxy-server-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-*2/2meta-prometheus-04/4Prüfen Sie, ob Cortex ohne Fehler ausgeführt wird.
Beobachtbarkeitslogs abrufen
Die folgende Tabelle enthält die Befehle, die Sie ausführen müssen, um die Logs für jede der Komponenten abzurufen, die die Observability-Plattform bereitstellt.
| Komponente | Befehl zum Abrufen von Logs |
|---|---|
grafana |
kubectl logs -n obs-system statefulset/grafana |
anthos-prometheus-k8s |
kubectl logs -n obs-system statefulset/anthos-prometheus-k8s |
alertmanager |
kubectl logs -n obs-system statefulset/alertmanager |
ops-logs-loki-io |
kubectl logs -n obs-system statefulset/ops-logs-loki-io |
ops-logs-loki-io-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-io-read |
ops-logs-loki-all |
kubectl logs -n obs-system statefulset/ops-logs-loki-all |
ops-logs-loki-all-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-all-read |
audit-logs-loki-io |
kubectl logs -n obs-system statefulset/audit-logs-loki-io |
audit-logs-loki-io-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-io-read |
audit-logs-loki-pa |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa |
audit-logs-loki-pa-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa-read |
audit-logs-loki-all |
kubectl logs -n obs-system statefulset/audit-logs-loki-all |
audit-logs-loki-all-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-all-read |
anthos-log-forwarder |
kubectl logs -n obs-system daemonset/anthos-log-forwarder |
anthos-audit-logs-forwarder |
kubectl logs -n obs-system daemonset/anthos-audit-logs-forwarder |
oplogs-forwarder |
kubectl logs -n obs-system daemonset/oplogs-forwarder |
logmon-operator |
kubectl logs -n obs-system deployment/logmon-operator |
Wenn Sie die Logs einer vorherigen Instanz einer Komponente aufrufen möchten, fügen Sie am Ende jedes Befehls das Flag -p hinzu. Wenn Sie das Flag -p hinzufügen, können Sie Logs einer vorherigen fehlgeschlagenen Instanz anstelle der aktuellen laufenden Instanz prüfen.
Konfiguration ansehen
Der Observability-Stack verwendet benutzerdefinierte Kubernetes API-Ressourcen, um Monitoring- und Logging-Pipelines zu konfigurieren.
Die benutzerdefinierte Ressource LoggingPipeline wird im Infrastrukturcluster der Organisation bereitgestellt und konfiguriert Loki-Instanzen.
Die folgenden Befehle zeigen die verfügbaren Aktionen, die Sie für die Logging-Pipeline ausführen können:
Sehen Sie sich die aktuelle Konfiguration Ihrer Logging-Pipeline-Bereitstellung an:
kubectl get loggingpipeline -n obs-system default -o yamlÄndern Sie die Konfiguration der Bereitstellung Ihrer Logging-Pipeline:
kubectl edit loggingpipeline -n obs-system default
GDC verwendet einen Logging- und Monitoring-Operator namens logmon-operator, um die Bereitstellung von Observability-Komponenten wie Prometheus und Fluent Bit zu verwalten. Die API für die logmon-operator-Komponente ist die benutzerdefinierte Ressourcendefinition logmon. Die benutzerdefinierte Ressourcendefinition logmon weist logmon-operator an, wie die Beobachtbarkeit für Ihre Bereitstellung konfiguriert werden soll. Diese benutzerdefinierte Ressourcendefinition enthält die Attribute von Volumes zum Speichern Ihrer Messwerte, Benachrichtigungsregeln für Alertmanager, Prometheus-Konfigurationen zum Erfassen von Messwerten und Grafana-Konfigurationen für Dashboards.
Die folgenden Befehle zeigen die verfügbaren Aktionen, die Sie für die benutzerdefinierte Ressourcendefinition logmon ausführen können:
Sehen Sie sich die aktuelle Konfiguration für Ihre Observability-Bereitstellung an:
kubectl get logmon -n obs-system logmon-default -o yamlÄndern Sie die Konfiguration Ihrer Observability-Bereitstellung:
kubectl edit logmon -n obs-system logmon-default
Die Ausgabe der beiden Befehle kann auf mehrere Kubernetes-ConfigMap-Objekte für die weitere Konfiguration verweisen. Sie können beispielsweise Alertmanager-Regeln in einem separaten ConfigMap-Objekt konfigurieren, auf das in der benutzerdefinierten Ressourcendefinition logmon namentlich verwiesen wird. Sie können die Alertmanager-Konfiguration über die benutzerdefinierte logmon-Ressourcendefinition mit dem Namen gpc-alertmanager-config ändern und aufrufen.
Führen Sie folgenden Befehl aus, um die Alertmanager-Konfiguration aufzurufen:
kubectl get configmap -n obs-system gpc-alertmanager-config -o yaml
Allgemeine Probleme
In diesem Abschnitt werden häufige Probleme beschrieben, die bei der Bereitstellung der Observability-Plattform auftreten können.
Sie können nicht auf Grafana zugreifen
Standardmäßig ist Grafana für Maschinen außerhalb Ihres Kubernetes-Clusters nicht zugänglich. Wenn Sie vorübergehend von außerhalb des Clusters der Organisationsinfrastruktur auf die Grafana-Oberfläche zugreifen möchten, können Sie den Service an den Localhost weiterleiten. Führen Sie Folgendes aus, um die Portweiterleitung für Service einzurichten:
kubectl port-forward -n gpc-system service/grafana 33000\:3000
Rufen Sie in Ihrem Webbrowser http://localhost:33000 auf, um das Grafana-Dashboard für Ihre Bereitstellung aufzurufen. Drücken Sie Strg + C, um den Vorgang zu beenden.
Grafana läuft langsam
Wenn Grafana langsam ausgeführt wird, deutet das auf Folgendes hin:
- Abfragen an Prometheus oder Loki geben zu viele Daten zurück.
- Abfragen geben mehr Daten zurück, als in einem einzelnen Diagramm sinnvoll dargestellt werden können.
Wenn Sie langsame Geschwindigkeiten in Grafana beheben möchten, prüfen Sie die Abfragen in Ihren benutzerdefinierten Grafana-Dashboards. Wenn die Abfragen mehr Daten zurückgeben, als in einem einzelnen Diagramm sinnvoll dargestellt werden können, sollten Sie die Menge der angezeigten Daten reduzieren, um die Dashboard-Leistung zu verbessern.
Grafana-Dashboard zeigt keine Messwerte oder Logs an
Wenn in Grafana keine Messwerte oder Logs angezeigt werden, kann das folgende Gründe haben:
- Grafana-Datenquellen sind nicht richtig festgelegt.
- Das System hat Verbindungsprobleme mit Monitoring- oder Logging-Datenquellen.
- Das System erfasst keine Messwerte oder Protokolle.
So rufen Sie die Logs und Messwerte auf:
- Klicken Sie in der Grafana-Benutzeroberfläche auf Dashboard-Einstellungen.
- Wählen Sie Datenquellen aus.
- Auf der Seite Datenquellen sollten die folgenden Quellen angezeigt werden:
| Name | Organisation | URL |
|---|---|---|
Audit Logs |
All |
http://audit-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Root |
http://ops-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Org |
http://ops-logs-loki-all-read.obs-system.svc:3100 |
prometheus |
http://anthos-prometheus-k8s.obs-system.svc:9090 |
Wenn diese Datenquellen fehlen, bedeutet das, dass der Observability-Stack Grafana nicht richtig konfiguriert hat.
Wenn Sie die Datenquellen richtig konfiguriert haben, aber keine Daten angezeigt werden, kann dies auf ein Problem mit Service-Objekten hinweisen, die Messwerte oder Logs erfassen, um sie in Prometheus oder Loki einzuspeisen.
Prometheus erfasst Messwerte nach einem Pull-Modell, um Ihre Service-Objekte regelmäßig nach Messwerten abzufragen und die gefundenen Werte zu speichern. Damit Prometheus Ihre Service-Objekte für die Messwerterfassung erkennen kann, muss Folgendes zutreffen:
Alle Pods für
Service-Objekte sind mit'monitoring.gke.io/scrape: "true"'annotiert.Das Prometheus-Messwertformat stellt die Pod-Messwerte über HTTP bereit. Standardmäßig sucht Prometheus am Endpunkt
http://POD_NAME:80/metricsnach diesen Messwerten. Bei Bedarf können Sie den Port, den Endpunkt und das Schema über Annotationen überschreiben.
Fluent Bit erfasst Logs und ist für die Ausführung auf jedem Knoten Ihrer Kubernetes-Cluster vorgesehen. Fluent Bit sendet die Logs zur langfristigen Speicherung an Loki.
Wenn in Grafana keine Logs vorhanden sind, versuchen Sie es mit den folgenden Problemumgehungen:
Prüfen Sie die Logs der Loki-Instanzen, um sicherzustellen, dass sie fehlerfrei ausgeführt werden.
Wenn die Loki-Instanzen ordnungsgemäß ausgeführt werden, die Logs aber nicht angezeigt werden, prüfen Sie die Logs in Fluent Bit, um sicherzustellen, dass der Dienst wie erwartet funktioniert. Informationen zum Abrufen von Logs finden Sie unter Beobachtbarkeitslogs abrufen.
Alertmanager öffnet keine Benachrichtigungen
Wenn Alertmanager keine Benachrichtigungen öffnen kann, führen Sie die folgenden Schritte aus:
- Achten Sie darauf, dass das Label
logmon: system_metricsin IhremconfigMap-Objekt im Namespacegpc-systemvorhanden ist. - Prüfen Sie, ob der Datenabschnitt
configMapeinen Schlüssel mit dem Namenalertmanager.ymlenthält. Der Wert für den Schlüsselalertmanager.ymlmuss die Benachrichtigungsregeln sein, die in Ihrer gültigen Alertmanager-Konfigurationsdatei enthalten sind. Achten Sie darauf, dass die benutzerdefinierte Ressourcendefinition
logmonmit dem Namenlogmon-defaultim Namespacegpc-systemeinen Verweis auf das ObjektconfigMapenthält. Die benutzerdefinierte Ressourcendefinitionlogmon-defaultmuss den Namen desconfigMap-Objekts enthalten, wie im folgenden Beispiel gezeigt:apiVersion: addons.gke.io/v1 kind: Logmon spec: system_metrics: outputs: default_prometheus: deployment: components: alertmanager: alertmanagerConfigurationConfigmaps: - alerts-configDer Wert
alerts-configim Beispiel ist der Name IhresconfigMap-Objekts.
Alertmanager sendet keine Benachrichtigungen an die konfigurierten Benachrichtigungskanäle
Ein Konfigurationsfehler kann dazu führen, dass Sie keine Benachrichtigungen in der externen Software erhalten, die Sie als Benachrichtigungskanal konfiguriert haben, z. B. Slack, selbst wenn Alertmanager Benachrichtigungen in der Grafana-Instanz generiert.
So erhalten Sie Benachrichtigungen in Ihrer externen Software:
Prüfen Sie, ob die Werte in Ihrer Alertmanager-Konfigurationsdatei richtig formatiert sind. Wenn Alertmanager eine Benachrichtigung auslöst, wird ein Webhook in der externen Software abgefragt.
Prüfen Sie, ob die Webhook-URLs, die eine Verbindung zur externen Software herstellen, korrekt sind. Wenn die URLs korrekt sind, prüfen Sie, ob die Software so konfiguriert ist, dass sie Webhooks akzeptiert. Möglicherweise müssen Sie einen API-Schlüssel generieren, um auf die API des externen Dienstes zuzugreifen, oder Ihr aktueller API-Schlüssel ist abgelaufen und Sie müssen ihn aktualisieren.
Wenn sich der externe Dienst außerhalb Ihrer GDC-Appliance-Bereitstellung mit Air Gap befindet, müssen Sie dafür sorgen, dass die Regeln für ausgehenden Traffic für Ihren Organisationsinfrastrukturcluster konfiguriert sind. Mit dieser Konfiguration kann Alertmanager Anfragen an einen Dienst außerhalb des internen Kubernetes-Netzwerks senden. Wenn Sie die Regeln für ausgehenden Traffic nicht prüfen, kann Alertmanager die externe Software möglicherweise nicht finden.
Sie können keine Messwerte aus Ihrer projektbezogenen Arbeitslast sehen.
Führen Sie die folgenden Schritte aus, um einen Workaround anzuwenden und Messwerte aus Ihrer Arbeitslast abzurufen:
- Prüfen Sie, ob die benutzerdefinierte Ressource
MonitoringTargetden StatusReadyhat. - Wenn Sie Ihre Arbeitslast scrapen möchten, müssen Sie alle Zielinformationen, die für
MonitoringTargetangegeben sind, in der Pod-Spezifikation der Arbeitslast deklarieren. Wenn Sie beispielsweise angeben, dass Messwerte auf Port8080verfügbar sind, muss der Arbeitslast-Pod Kubernetes mitteilen, dass Port8080geöffnet ist. Andernfalls wird die Arbeitslast von Prometheus ignoriert. - Prometheus führt mehrere Shards aus. Das bedeutet, dass nicht alle Prometheus-Pods Ihren Pod per Scraping erfassen. Sie können die Shard-Nummer im Namen jedes Prometheus-Pods identifizieren. Beispiel:
primary-prometheus-shard0-replica0-0ist Teil von Shard0. Suchen Sie nach dem Pod, den Sie aus jedem Prometheus-Shard extrahieren möchten:- Leiten Sie den Port des
primary-prometheus-shardSHARD_NUMBER-replica0-0-Pods von Prometheus im Namespaceobs-systemweiter, um Zugriff auf die Prometheus-Benutzeroberfläche zu erhalten. Ersetzen SieSHARD_NUMBERim Pod-Namen jedes Mal durch eine höhere Zahl, wenn Sie ein neues Shard prüfen. - Rufen Sie die Prometheus-Benutzeroberfläche in Ihrem Webbrowser auf und führen Sie die folgenden Schritte aus:
- Klicken Sie auf Status > Ziele.
- Prüfen Sie, ob der Pod, den Sie scrapen möchten, in der Liste enthalten ist. Falls nicht, prüfen Sie den nächsten Shard. Wenn keine weiteren Shards zu prüfen sind, prüfen Sie noch einmal, ob Prometheus genügend Informationen hat, um sie zu erkennen.
- Prüfen Sie, ob der
primary-prometheus-shardSHARD_NUMBER-replica0-0-Pod von Prometheus Fehler im Namespaceobs-systemprotokolliert.
- Leiten Sie den Port des
- Prüfen Sie die Fehler in den Logs des
cortex-tenant-Pods im Namespaceobs-system.
Es wurde kein Dashboard erstellt
Führen Sie die folgenden Schritte aus, um eine Problemumgehung anzuwenden und herauszufinden, warum ein Dashboard nicht erstellt wird:
- Prüfen Sie den Status der benutzerdefinierten
Dashboard-Ressource auf Fehler. Die benutzerdefinierte Ressource muss den StatusReadyhaben. - Prüfen Sie, ob Sie die richtige Grafana-Instanz verwenden. Wenn Sie das Dashboard beispielsweise in Ihrem Projekt-Namespace mit dem Namen
my-namespacebereitgestellt haben, muss sich das Dashboard in der Grafana-Instanz am Endpunkthttps://GDCH_URL/my-namespace/grafanabefinden. - Prüfen Sie die Logs von
fleet-admin-controllerim Namespacegpc-system. Suchen Sie in den Logs nach dem Namen des Dashboards, um nach Fehlern im Zusammenhang mit dem Dashboard zu suchen. Wenn Sie Fehler finden, hat die JSON-Datei in IhremconfigMap-Objekt ein falsches Format und Sie müssen es korrigieren. - Prüfen Sie die Grafana-Logs im Namespace
PROJECT_NAME-obs-systemauf Fehler. Dashboards fragen die Grafana REST API ab. Grafana muss also funktionieren, damit ein Dashboard erstellt werden kann.
Die Benachrichtigung wird nicht geöffnet
Führen Sie die folgenden Schritte aus, um eine Problemumgehung anzuwenden und herauszufinden, warum eine Benachrichtigung nicht geöffnet wird:
- Achten Sie darauf, dass sich Cortex und Loki im Bucket-Speichermodus befinden. Regeln funktionieren nur, wenn das Backend durch Bucket-Speicher unterstützt wird.
- Prüfen Sie, ob der Status der benutzerdefinierten Ressourcen
MonitoringRuleundLoggingRuleReadylautet. - Prüfen Sie die folgenden Benachrichtigungsbedingungen:
- PromQL- und LogQL-Ausdrücke: Vergleichen Sie alle verwendeten Funktionen mit der Dokumentation unter Benachrichtigungsregeln erstellen, um sicherzustellen, dass Ihre Regeln wie gewünscht konfiguriert sind. Die Ausdrücke müssen einen
true- oderfalse-Wert zurückgeben. - Dauer: Im Feld
forder benutzerdefinierten Ressource wird definiert, wie lange eine Bedingung erfüllt sein muss. Im Feldintervalwird festgelegt, wie oft die Bedingung ausgewertet werden soll. Vergleichen Sie die Werte dieser Felder miteinander und achten Sie darauf, dass Ihre Bedingungen logisch sind.
- PromQL- und LogQL-Ausdrücke: Vergleichen Sie alle verwendeten Funktionen mit der Dokumentation unter Benachrichtigungsregeln erstellen, um sicherzustellen, dass Ihre Regeln wie gewünscht konfiguriert sind. Die Ausdrücke müssen einen
- Prüfen Sie auf der Seite Benachrichtigungen in der Grafana-Benutzeroberfläche, ob die Benachrichtigung offen ist.
- Wenn Grafana anzeigt, dass die Benachrichtigung offen ist, prüfen Sie Ihre Benachrichtigungskanäle und stellen Sie sicher, dass Alertmanager sie kontaktieren kann, um die Benachrichtigung zu erstellen.
Erwartete Logs sind nicht verfügbar
Führen Sie die folgenden Schritte aus, wenn Sie keine Betriebsprotokolle von Ihrer Komponente sehen:
- Prüfen Sie, ob Ihre Komponente ausgeführt wird und Logs erstellt.
- Prüfen Sie, ob Ihre Komponentenlogs als integrierte Funktion erfasst werden sollen. Wenn nicht, prüfen Sie, ob die benutzerdefinierte Ressource
LoggingTargetmit einer gültigen Spezifikation und dem StatusReadybereitgestellt wurde.
Führen Sie die folgenden Schritte aus, wenn Sie keine Audit-Logs von Ihrer Komponente sehen:
- Wenn Ihre Komponente Logs in eine Datei schreibt, prüfen Sie, ob die Datei im Dateisystem des Knotens im Pfad
/var/log/audit/SERVICE_NAME/NAMESPACE/ACCESS_LEVEL/audit.logtatsächlich vorhanden ist. - Prüfen Sie, ob der
anthos-audit-logs-forwarder-SUFFIX-Pod auf demselben Knoten keine Fehler enthält. - Wenn Ihre Komponente einen Syslog-Endpunkt zum Empfangen von Logs verwendet, muss die benutzerdefinierte Ressource
AuditLoggingTargetmit einer gültigen Spezifikation und dem StatusReadybereitgestellt sein.
Vordefinierte Benachrichtigungsregeln identifizieren
Dieser Abschnitt enthält Informationen zu den vordefinierten Benachrichtigungsregeln, die in Observability-Komponenten vorhanden sind, um Sie über Systemfehler zu informieren.
Vordefinierte Benachrichtigungsregeln in Loki
In der folgenden Tabelle sind die vorinstallierten Benachrichtigungsregeln in Loki für Audit-Logging-Fehler aufgeführt:
| Name | Typ | Beschreibung |
|---|---|---|
FluentBitAuditLoggingWriteFailure |
Kritisch | Fluent Bit konnte in den letzten fünf Minuten keine Audit-Logs weiterleiten. |
LokiAuditLoggingWriteFailure |
Kritisch | Loki konnte keine Audit-Logs in den Back-End-Speicher schreiben. |
Wenn eine oder mehrere dieser Warnungen angezeigt werden, hat das System mindestens einen Audit-Datensatz verloren.
Vordefinierte Benachrichtigungsregeln in Prometheus
In der folgenden Tabelle sind die vorinstallierten Benachrichtigungsregeln in Prometheus für Kubernetes-Komponenten aufgeführt:
| Name | Typ | Beschreibung |
|---|---|---|
KubeAPIDown |
Kritisch | Die Kube API ist 15 Minuten lang nicht in der Prometheus-Zielerkennung aufgetaucht. |
KubeClientErrors |
Warnung | Das Fehlerverhältnis des Kubernetes API-Server-Clients war 15 Minuten lang größer als 0,01. |
KubeClientErrors |
Kritisch | Das Fehlerverhältnis des Kubernetes API-Server-Clients war 15 Minuten lang größer als 0,1. |
KubePodCrashLooping |
Warnung | Der Pod befindet sich seit mehr als 15 Minuten in einer Absturzschleife. |
KubePodNotReady |
Warnung | Der Pod ist seit mehr als 15 Minuten nicht einsatzbereit. |
KubePersistentVolumeFillingUp |
Kritisch | Die verfügbaren Byte eines beanspruchten PersistentVolume-Objekts sind kleiner als 0,03. |
KubePersistentVolumeFillingUp |
Warnung | Die verfügbaren Byte eines beanspruchten PersistentVolume-Objekts sind kleiner als 0,15. |
KubePersistentVolumeErrors |
Kritisch | Das nichtflüchtige Volume befindet sich seit fünf Minuten in der Phase Failed oder Pending. |
KubeNodeNotReady |
Warnung | Der Knoten ist seit mehr als 15 Minuten nicht bereit. |
KubeNodeCPUUsageHigh |
Kritisch | Die CPU-Auslastung des Knotens beträgt mehr als 80 %. |
KubeNodeMemoryUsageHigh |
Kritisch | Die Speichernutzung des Knotens beträgt mehr als 80 %. |
NodeFilesystemSpaceFillingUp |
Warnung | Die Dateisystemnutzung des Knotens ist größer als 60 %. |
NodeFilesystemSpaceFillingUp |
Kritisch | Die Dateisystemnutzung des Knotens ist größer als 85 %. |
CertManagerCertExpirySoon |
Warnung | Ein Zertifikat läuft in 21 Tagen ab. |
CertManagerCertNotReady |
Kritisch | Ein Zertifikat ist nach 10 Minuten nicht bereit, Traffic zu verarbeiten. |
CertManagerHittingRateLimits |
Kritisch | Sie haben beim Erstellen oder Verlängern von Zertifikaten für fünf Minuten eine Ratenbegrenzung erreicht. |
DeploymentNotReady |
Kritisch | Ein Deployment im Infrastrukturcluster der Organisation ist seit mehr als 15 Minuten nicht einsatzbereit. |
StatefulSetNotReady |
Kritisch | Ein StatefulSet-Objekt im Cluster der Organisationsinfrastruktur ist seit mehr als 15 Minuten nicht bereit. |
AuditLogsForwarderDown |
Kritisch | Das anthos-audit-logs-forwarder-DaemonSet ist seit mehr als 15 Minuten ausgefallen. |
AuditLogsLokiDown |
Kritisch | Das StatefulSet audit-logs-loki ist seit mehr als 15 Minuten nicht einsatzbereit. |