Grafana-Dashboards zum Überwachen von Spanner Omni verwenden

Mit Grafana-Dashboards können Sie den Zustand und die Leistung Ihrer Spanner Omni-Bereitstellungen überwachen. Auf diesen Dashboards werden Spanner Omni-Messwerte visualisiert, die in Prometheus aufgenommen wurden. So erhalten Sie umfassende Einblicke in den Betriebsstatus Ihrer Bereitstellung. Sie erhalten Einblick in den allgemeinen Systemzustand, den Ressourcenverbrauch und kritische interne Prozesse.

Dashboard-Inventar

Die folgende Tabelle enthält eine allgemeine Zusammenfassung der verfügbaren Dashboards:

Dashboard	Wichtige Messwerte	Hauptzweck
Übersicht	QPS, Latenz, Durchsatz	Überwachen Sie die allgemeine Bereitstellungsleistung, einschließlich Abfragen pro Sekunde (QPS), Anfragelatenz und Datendurchsatz.
Systemstatistiken	CPU, Erinnerung, Wartezeit für Sperre	Konzentrieren Sie sich auf den Ressourcenverbrauch und den Zustand auf Datenbankebene (z. B. CPU, Arbeitsspeicher und Wartezeit bei Sperren) für ausgewählte Datenbanken.
Informationen zur Bereitstellung	CPU, Arbeitsspeicher und Netzwerkauslastung	Detaillierte Einblicke in den gesamten Ressourcenverbrauch bei der Bereitstellung und in Netzwerkstatistiken.
Spanner Omni-Dateisystem	Dateivorgänge, Latenz und Durchsatz	Überwachen Sie die zugrunde liegenden Dateisystemvorgänge, Leistung, Latenz und den Durchsatz.
gRPC	RPC-Anzahl, ‑Status und ‑Latenz	Detaillierte RPC-Statistiken für die serverseitige und clientseitige Kommunikation erfassen.
Verdichtungen	Erfolgs- und Fehlerrate bei der Komprimierung, Komprimierungsverzögerung	Leistung der Hintergrunddatenpflege visualisieren, wobei der Schwerpunkt auf Erfolgs- und Fehlerraten bei der Verdichtung sowie auf der Verdichtungsverzögerung liegt.
Aufteilen, Zusammenführen und Verschieben	Anzahl der Aufteilungen, Zusammenführungen und Verschiebungen; Gruppengröße	Überwachen Sie die dynamische Verteilung von Daten, einschließlich Verzeichnisvorgängen (Aufteilungen, Zusammenführungen und Verschiebungen), der Größe von Datengruppen und potenziellen Hotspots.
Tablets	Anzahl der Tabletten, Lastverteilung	Detaillierte Einblicke in Tablet-Statistiken, ‑Vorgänge und die Lastverteilung bieten und potenzielle Hotspots identifizieren.
TrueTime	Abweichungen, Unsicherheit, SLA-Verstöße	Zustand und Zuverlässigkeit des Spanner Omni TrueTime-Dienstes überwachen, einschließlich Drift, Unsicherheit und SLA-Verstöße.
Geteiltes Protokoll	Schreib- und Sortierfehlerrate	Leistung von freigegebenen Logs überwachen, insbesondere Schreib- und Sortierfehlerraten.

Im Folgenden finden Sie einige der Diagramme, die in den Dashboards verfügbar sind:

• Rechenkapazität (vCPU): Die Gesamtzahl der vCPUs, die für die Bereitstellung bereitgestellt werden.

• Speicherkapazität: Der gesamte physische Arbeitsspeicher, der für die Bereitstellung bereitgestellt wird.

• Speicherkapazität: Die gesamte und verfügbare Speicherkapazität des Dateisystems.

• Knotenstatus: Hier wird die Anzahl der Server im Deployment insgesamt und die Anzahl der fehlerhaften Server erfasst.

• Compute-Auslastung: Der Prozentsatz der gesamten vCPU-Kapazität, die verwendet wird.

• Arbeitsspeichernutzung: Gesamte Arbeitsspeichernutzung in der Bereitstellung. Die Nutzung ist hoch, da Spanner Omni den Leerlaufarbeitsspeicher für Cachezwecke verwendet.

• Speicherauslastung: Der Prozentsatz der verwendeten Gesamtspeicherkapazität.

• Verwendeter Speicher pro vCPU: Das Verhältnis des insgesamt verwendeten Speichers zur Gesamtzahl der vCPU.

• Server: Eine detaillierte Tabelle mit Messwerten pro Server und Zone für die CPU-Auslastung, die Arbeitsspeicherauslastung, die Betriebszeit, die Gesamt-vCPU, den Gesamtarbeitsspeicher, den verwendeten Speicher und die Speicherkapazität.

Dashboard mit Systemstatistiken

Das Systemstatistik-Dashboard konzentriert sich auf den Zustand und die Leistung der Datenbanken in der Bereitstellung. Dieses Dashboard enthält die folgenden Diagramme:

• Übersicht zur CPU-Auslastung: Die gesamte CPU-Auslastung der Datenbank, aggregiert über die ausgewählten Server.

• CPU-Auslastung nach Nutzer und System: Die Auslastung von CPU in der ausgewählten Datenbank, gruppiert nach Nutzer- und Systemaufgaben und Priorität.

• CPU-Auslastung nach Vorgangstyp: Auslastung von CPU, gruppiert nach Vorgangstyp für die ausgewählte Datenbank, aggregiert über die ausgewählten Server hinweg.

• CPU-Auslastung nach Vorgangstyp – hohe Priorität: Auslastung von CPU, gruppiert nach Vorgangstyp und gefiltert nach hoher Priorität für die ausgewählte Datenbank, aggregiert über die ausgewählten Server hinweg.

• CPU-Auslastung nach Vorgangstyp – mittlere Priorität: Auslastung von CPU, gruppiert nach Vorgangstyp und gefiltert nach mittlerer Priorität für die ausgewählte Datenbank, aggregiert über die ausgewählten Server hinweg.

• CPU-Auslastung nach Vorgangstyp – niedrige Priorität: Auslastung von CPU, gruppiert nach Vorgangstyp und gefiltert nach niedriger Priorität für die ausgewählte Datenbank, aggregiert über die ausgewählten Server hinweg.

• Anfragelatenz (P50, P90, P99): Latenz in einer ausgewählten Datenbank, gruppiert nach Lese- und Schreibmethoden auf den ausgewählten Servern.

• Anfragelatenz nach Methode (P50, P90, P99): Latenz innerhalb einer ausgewählten Datenbank, gruppiert nach API-Methoden auf den ausgewählten Servern.

• Transaktionslatenz (P50, P90, P99): Anfragelatenz in einer ausgewählten Datenbank, gruppiert nach Transaktionstyp und Leader-Beteiligung auf den ausgewählten Servern.

• Durchsatz: Lese- und Schreibdurchsatz in einer ausgewählten Datenbank auf ausgewählten Servern.

• Durchsatz nach Methode: Der Durchsatz in einer ausgewählten Datenbank, gruppiert nach Methode auf ausgewählten Servern.

• Vorgänge pro Sekunde: Vorgänge pro Sekunde in einer ausgewählten Datenbank, gruppiert nach Lese- und Schreibmethoden auf ausgewählten Servern.

• Vorgänge pro Sekunde nach Methode: Vorgänge pro Sekunde in einer ausgewählten Datenbank, gruppiert nach Methoden auf ausgewählten Servern.

• Speicherauslastung nach Datenbank: Nicht replizierte physische Byte, die von jeder Datenbank verwendet werden. Der führende Tabellenteil jeder Gruppe enthält diesen Messwert. Die tatsächliche Anzahl der replizierten physischen Bytes auf allen Tablets einer Gruppe kann je nach dem Status der Komprimierungen auf den einzelnen Tablets höher oder niedriger sein. Dieser Messwert gibt jedoch eine ungefähre Vorstellung davon, wie viel nicht replizierter physischer Speicherplatz von jeder Datenbank verwendet wird.

• Wartezeit bei Sperren: Die gesamte Wartezeit bei Sperren für Sperrenkonflikte für die ausgewählte Datenbank in einem 5‑Minuten-Intervall.

• Rate der abgebrochenen Transaktionen: Die Rate der abgebrochenen oder stornierten Transaktionen. Bei Konflikten zwischen Transaktionen kann es zu höheren Abbruchraten kommen.

• Anzahl der Schemaobjekte: Anzahl der Schemaobjekte für die ausgewählte Datenbank.

• Transaktionsbeteiligte: Verteilung der Anzahl der Transaktionsbeteiligten bei jedem Commit-Versuch für die Datenbank.

Dashboard mit Bereitstellungsstatistiken

Das Dashboard mit Deployment-Statistiken bietet weitere Einblicke in den Ressourcenverbrauch von Deployments. Dieses Dashboard enthält die folgenden Diagramme:

• CPU-Auslastung: Aggregierte CPU-Auslastung für die ausgewählten Server.

• Server-CPU-Auslastung: CPU-Auslastung für jeden ausgewählten Server.

• CPU-Auslastung nach Prozess: CPU-Auslastung für jeden Prozess, aggregiert über die ausgewählten Server hinweg.

• Arbeitsspeicherauslastung: Aggregierte Arbeitsspeicherauslastung für die ausgewählten Server. Da Spanner Omni Daten im Arbeitsspeicher zwischenspeichert, können Sie hohe Werte erwarten. Spanner Omni kann den Arbeitsspeicher bei Bedarf freigeben.

• Server-Arbeitsspeicherauslastung: Arbeitsspeicherauslastung für jeden der ausgewählten Server. Da Spanner Omni Daten im Arbeitsspeicher zwischenspeichert, können Sie hohe Werte erwarten. Spanner Omni kann den Arbeitsspeicher bei Bedarf freigeben.

• Größe des residenten Arbeitsspeichers für Prozesse: Größe des residenten Arbeitsspeichers für jeden Prozess für ausgewählte Server.

• Größe des virtuellen Arbeitsspeichers für Prozesse: Größe des virtuellen Arbeitsspeichers für jeden Prozess für ausgewählte Server.

• Server Memory Breakdown (Aufschlüsselung des Serverspeichers): Arbeitsspeicherauslastung nach Kategorie (Cache, fragmentiert, memtable_pinned, System, Updates, Sonstiges), aggregiert über die ausgewählten Server hinweg. Diese Erinnerung bezieht sich speziell auf den span_server-Prozess.

• Vom Netzwerk gesendete Byte: Gesendete Byte pro Schnittstelle, aggregiert über alle Server hinweg.

• Vom Netzwerk empfangene Byte: Empfangene Byte pro Schnittstelle, aggregiert über alle Server hinweg.

• Top 10 Servers By Network Sent Bytes (Top 10 Server nach gesendeten Netzwerkbytes): Die 10 Server mit den meisten gesendeten Netzwerkbytes (Tabellenansicht).

• Top 10 Servers By Network Received Bytes (Top 10 der Server nach vom Netzwerk empfangenen Bytes): Die 10 Server mit den meisten vom Netzwerk empfangenen Bytes (Tabellenansicht).

Spanner Omni-Dateisystem-Dashboard

Im Spanner Omni-Dateisystem-Dashboard werden die zugrunde liegenden Dateisystemvorgänge überwacht, die für die Leistung entscheidend sind, einschließlich Vorgangsraten, Latenz und Durchsatz. Dieses Dashboard enthält die folgenden Diagramme:

• Diagramme für Dateivorgänge:

  • Vorgänge pro Sekunde: Erfasst die Gesamtrate der Dateivorgänge, gruppiert nach Vorgang.

  • Lokale und Remote-Vorgänge pro Sekunde: Hier wird die Rate der Dateivorgänge nach lokalem und Remote-Zugriff aufgeschlüsselt.

  • Fehler bei Vorgängen pro Sekunde: Zeigt die Rate fehlgeschlagener Dateisystemvorgänge an, gruppiert nach Vorgang und Status.

• Latenzdiagramme: Enthält Diagramme für die P50-, P90- und P99-Latenz für lokale und Remote-Dateivorgänge, gruppiert nach Vorgang.

• Durchsatzdiagramme:

  • Lokaler und Remote-Durchsatz für Lese- und Schreibvorgänge: Hier wird die Rate des Durchsatzes für Lese- und Schreibvorgänge nach lokalem und Remote-Zugriff aufgeschlüsselt.

  • Bytes pro Vorgang: Enthält P50 und P90 Bytes, die pro Vorgang für den lokalen und Remotezugriff übertragen werden.

• Dateisystemstatistiken:

  • Gesamtgröße des Dateisystems nach Zone: Zeigt die insgesamt bereitgestellte Dateisystemgröße an, gruppiert nach Spanner Omni-Zone.

  • Dateisystemnutzung nach Zone: Zeigt die aktuelle Größe des verwendeten Dateisystems an, gruppiert nach Spanner Omni-Zone.

gRPC-Dashboard

Im gRPC-Dashboard werden detaillierte RPC-Statistiken für alle Server in der Bereitstellung erfasst. Dieses Dashboard enthält die folgenden Diagramme:

• Serverseitige Messwerte: Hier wird die Leistung von RPC aus der Perspektive des Servers überwacht.

  • RPC-Latenz pro Methode (P50, P90, P99): Latenz pro RPC-Methode auf der Serverseite.

  • Servergesendeter Durchsatz pro Methode: Gesendete Byte pro Sekunde und Methode für ausgewählte Server.

  • Durchsatz pro Prozess für gesendete Server: Gesendete Byte pro Sekunde und Prozess für ausgewählte Server.

  • Server Received Throughput Per Method (Empfangener Serverdurchsatz pro Methode): Empfangene Byte pro Sekunde und Methode für ausgewählte Server.

  • Server Received Throughput Per Process (Empfangener Durchsatz pro Prozess auf dem Server): Empfangene Byte pro Sekunde pro Prozess für ausgewählte Server.

  • Anzahl der kanonischen Serverstatuscodes pro Methode: Häufigkeit des kanonischen Statuscodes pro Methode für ausgewählte Server.

  • Server Completed RPCs Per Method (Vom Server abgeschlossene RPCs pro Methode): Rate der abgeschlossenen RPCs pro Methode für ausgewählte Server.

  • Server Active Channels (Aktive Serverkanäle): Die Gesamtzahl der serverseitigen gRPC-Channels, die seit dem Start der Anwendung erstellt wurden und aktiv sind.

• Clientseitige Messwerte: Hier wird die Leistung von RPC aus der Perspektive des Kunden überwacht.

  • Client-Roundtrip-Latenz pro Methode (P50, P90, P99): Roundtrip-RPC-Latenz pro Methode, einschließlich Serverlatenz, Netzwerk- und Warteschlangenzeit.

  • Vom Client gesendeter Durchsatz pro Methode: Gesendete Byte pro Sekunde und Methode für ausgewählte Server.

  • Client Sent Throughput Per Process (Vom Client gesendeter Durchsatz pro Prozess): Gesendete Byte pro Sekunde und Prozess für ausgewählte Server.

  • Client Received Throughput Per Method (Vom Client empfangener Durchsatz pro Methode): Empfangene Byte pro Sekunde und Methode für ausgewählte Server.

  • Client Received Throughput Per Process (Vom Client empfangener Durchsatz pro Prozess): Empfangene Byte pro Sekunde pro Prozess für ausgewählte Server.

  • Client Canonical Status Count Per Method (Anzahl der kanonischen Statuscodes pro Methode): Häufigkeit des kanonischen Statuscodes pro Methode als gRPC-Client für ausgewählte Server.

  • Abgeschlossene Client-RPCs pro Methode: Rate der abgeschlossenen Client-RPCs pro Methode für ausgewählte Server.

Dashboard für Verdichtungen

Das Dashboard für Komprimierungen enthält eine Visualisierung der Leistung von Hintergrundkomprimierungsaufgaben. Dieses Dashboard enthält die folgenden Diagramme:

• Erfolgreiche und fehlgeschlagene Verdichtungen (letzte Stunde): Hier werden die Anzahl der erfolgreichen und fehlgeschlagenen Verdichtungen nach Verdichtungstyp und Server aufgeschlüsselt.

• Rate der Ausgabebyte bei Verdichtungen: Die Rate der Ausgabebyte bei Verdichtungen über ein 2‑Minuten-Intervall, gruppiert nach Verdichtungstyp und Server.

• Verteilung der Komprimierungseingabegröße: Eine Heatmap zeigt die Verteilung der Komprimierungseingabegrößen.

• Compactions Input Size (Mean) (Durchschnittliche Größe der Eingabe für die Verdichtung): Hier wird die durchschnittliche Größe der Eingabe für die Verdichtung nach Verdichtungstyp und Server aufgeschlüsselt angezeigt.

• Compactions Input Size (Percentile Estimates) (Größe der Verdichtungseingabe (Perzentilschätzungen)): Enthält Perzentilschätzungen (P50, P95, P99) der Größe der Verdichtungseingabe, gruppiert nach Verdichtungstyp und Server.

• Verteilung der Verzögerung bei der Hauptverdichtung: Eine Heatmap zeigt die Verteilung der Verzögerung bei der Hauptverdichtung, aggregiert über alle Server hinweg.

• Major Compaction Lag (Mean) Per Server (Durchschnittliche Verzögerung bei der Hauptverdichtung pro Server): Zeigt den Durchschnitt der Verzögerung bei der Hauptverdichtung pro Server an.

• Verzögerung bei der Hauptverdichtung (geschätzte Perzentile) pro Server: Bietet geschätzte Perzentile (P50, P90, P99) der Verzögerung bei der Hauptverdichtung pro Server.

Dashboard für Aufteilungen, Zusammenführungen und Verschiebungen

Im Dashboard für Aufteilungen, Zusammenführungen und Verschiebungen wird die dynamische Verteilung von Daten im Cluster verfolgt, einschließlich Verzeichnisvorgängen und Gruppengrößen. Dieses Dashboard enthält die folgenden Diagramme:

• Verteilung der Aufteilungsgröße: Die Größe der Verzeichnisaufteilung, einschließlich der P50-, P90-, P99- und P100-Perzentile, aggregiert über die ausgewählten Server.

• Verteilung der Gruppengröße: Alle für die Gruppe zugewiesenen Byte (persistent und im Arbeitsspeicher) mit den Perzentilen P50, P90, P99 und P100, aggregiert über die ausgewählten Server.

• Verteilung der Gruppengröße im Arbeitsspeicher: Alle Byte, die für die In-Memory-Datenstrukturen der Gruppe zugewiesen wurden, mit den Perzentilen P50, P90, P99 und P100, aggregiert über die ausgewählten Server.

• Gruppengröße nach Zone: Die Größen P50, P90, P99 und P100 für alle zugewiesenen Byte (persistent und im Arbeitsspeicher) für die Gruppe, gruppiert nach Spanner Omni-Zone.

• Anzahl der erfolgreichen internen Datenübertragungen: Anzahl der Übertragungen, Aufteilungen und Zusammenführungen von Verzeichnissen und Gruppen in einem Zeitraum von einer Stunde, gruppiert nach Initiator, Aktion und Übertragungstyp.

• Anzahl der fehlgeschlagenen internen Datenübertragungen: Anzahl der Fehler bei versuchten Verzeichnis- und Gruppenübertragungen, ‑aufteilungen und ‑zusammenführungen innerhalb eines Zeitraums von einer Stunde.

• Nicht aufteilbare Fehler nach Grund und Typ: Rate nicht aufteilbarer Fehler, wobei überlastete Splits ignoriert werden, da der Bereich nicht aufteilbar war.

• CPU-Nutzungswert des Spitzen-Splits: Die maximale CPU-Nutzungslast für alle Splits der einzelnen Datenbanken.

Tablet-Dashboard

Das Tablet-Dashboard bietet detaillierte Informationen zu Tablet-Statistiken, ‑Vorgängen und potenziellen Hotspots. Dieses Dashboard enthält die folgenden Diagramme:

• Gesamtzahl der Tablets: Die Gesamtzahl der Paxos-Tablets in der Bereitstellung.

• Tablet Count By Zone (Anzahl der Tablets nach Zone): Die Anzahl der Tablets, gruppiert nach Spanner Omni-Zone.

• Tablet Count By Server (Anzahl der Tablets nach Server): Die Anzahl der Tablets auf ausgewählten Servern.

• Anzahl der Leader nach Zone: Die Anzahl der Leader-Tablets, gruppiert nach Spanner Omni-Zone.

• Leader Count By Server (Anzahl der Leader nach Server): Die Anzahl der Leader-Tablets auf ausgewählten Servern.

• Nicht zugewiesene Tablets pro Zone: Die Anzahl der nicht zugewiesenen Tablets pro Zone.

• Tablet Loads By Zone (Tablet-Ladevorgänge nach Zone): Die Anzahl der Tablet-Ladevorgänge, gruppiert nach Zone.

• Tablet-Entladungen nach Zone nach Grund: Die Rate der Tablet-Entladungen pro Zone, kategorisiert nach dem Grund für die Entladung.

• Maximale Tablet-Last für jeden Server: In einer Tabellenansicht wird die maximale Rechenlast für ein Tablet auf jedem Server angezeigt.

• Anzahl der Hot-Tabellenreihen: Die Gesamtzahl der Hot-Tabellenreihen (Tabellenreihen, die einen Schwellenwert für die Rechenlast überschreiten).

• Verteilung der Tablet-Auslastung: Die Verteilung der Rechenlast pro Tablet mit geschätzten P50- und P90-Perzentilen und dem genauen MAX-Wert.

TrueTime-Dashboard

Das TrueTime-Dashboard bietet Einblick in den Zustand und die Zuverlässigkeit des Spanner Omni TrueTime-Dienstes. Dieses Dashboard enthält die folgenden Diagramme:

• TrueTime-Verfügbarkeit: Überwacht die allgemeine Verfügbarkeit des TrueTime-Dienstes.

• P99-TrueTime-Abweichung: Erfasst das 99. Perzentil der TrueTime-Abweichung.

• P99-TrueTime-Unsicherheit: Erfasst das 99. Perzentil der TrueTime-Unsicherheit.

• Verstöße gegen das Clock-SLA: Hier wird die Anzahl der Verstöße gegen das Service Level Agreement (SLA) für die Clock-Funktion angezeigt.

• Anzahl der VM-Migrationen: Hier wird die Anzahl der VM-Migrationen erfasst.

• TrueTime-Drift auf Leader: Überwacht den TrueTime-Drift speziell auf den Leader-Knoten.

• TrueTime-Soll- und ‑Ist-Steuerungs-ppm: Vergleicht die Soll- und Ist-Steuerungswerte in Parts per Million (ppm).

• TrueTime-Steuerungsfehler: Hier wird der Fehler im TrueTime-Steuerungsmechanismus erfasst.

Dashboard für freigegebene Protokolle

Das Dashboard für freigegebene Logs ist ein spezielles Dashboard, mit dem Sie die Leistung und den Wiederherstellungsstatus von freigegebenen Logs im Blick behalten können. Dieses Dashboard enthält die folgenden Diagramme:

• Shared Log Write Rate (Schreibvorgänge im freigegebenen Log): Anzahl der freigegebenen Logeinträge pro Sekunde, aggregiert und aufgeschlüsselt nach Datenbank.

• Geschriebene gemeinsame Logbyte: Geschriebene gemeinsame Logbyte pro Sekunde (Durchsatz), aggregiert und aufgeschlüsselt nach Datenbank.

• Schreibgeschwindigkeit für freigegebene Log-Batches: Die Anzahl der freigegebenen Log-Batches, die pro Sekunde geschrieben werden, aggregiert über die ausgewählten Server.

• Verteilung der Latenz für Batch-Schreibvorgänge in freigegebenen Logs: Die Latenzverteilung für Batch-Schreibvorgänge in freigegebenen Logs für P50, P90 und P99.

• Verteilung der Anzahl der Einträge in freigegebenen Log-Batches: Die P50-, P90- und P99-Verteilung der Anzahl der Einträge in freigegebenen Log-Batches.

• LogSort Request Rate (LogSort-Anfragerate): Die Rate von LogSort-Anfragen, aggregiert über die ausgewählten Server.

• LogSort Sorting Error Rate (LogSort-Fehlerrate): Die Rate der LogSort-Sortierfehler, aggregiert über die ausgewählten Server.

• Freigegebene Log-Leser in Bearbeitung: Die Gesamtzahl der freigegebenen Log-Leser, die an der Wiederherstellung des Tablets beteiligt sind.

Nächste Schritte

• Prometheus-Benachrichtigungen zum Überwachen von Spanner Omni verwenden

• Verschlüsselung zu einer Spanner Omni-Kubernetes-Bereitstellung hinzufügen

• Verschlüsselung zu einer Spanner Omni-VM-Bereitstellung hinzufügen