Data Health Monitoring-Dashboard verwenden“

Unterstützt in:

In diesem Dokument wird das Dashboard Data Health Monitoring (Datenintegritätsüberwachung) beschrieben. Es ist der zentrale Ort in Google Security Operations, an dem Sie den Status und die Integrität aller konfigurierten Datenquellen überwachen können. Das Dashboard enthält wichtige Informationen zu anomalen Quellen und Logtypen und bietet den Kontext, der zum Diagnostizieren und Beheben von Problemen mit Datenpipelines erforderlich ist.

Das Dashboard Data Health Monitoring enthält Informationen zu den folgenden Aspekten:

  • Aufnahmevolumen und Aufnahmezustand.
  • Parsing-Volumen von Rohlogs zu UDM-Ereignissen (Unified Data Model).
  • Kontext und Links zu Oberflächen mit zusätzlichen relevanten Informationen und Funktionen.

  • Unregelmäßige und fehlgeschlagene Quellen und Logtypen. Im Dashboard Data Health Monitoring (Datenintegritätsüberwachung) werden Unregelmäßigkeiten pro Kunde erkannt. Dabei werden statistische Methoden mit einem Rückblickzeitraum von 30 Tagen verwendet, um die Aufnahmedaten zu analysieren. Elemente, die als unregelmäßig gekennzeichnet sind, weisen auf Spitzen oder Rückgänge bei den Daten hin, die von Google SecOps aufgenommen und verarbeitet werden.

Hauptvorteile

Mit dem Dashboard Datenintegrität überwachen können Sie Folgendes tun:

  • Gesamtzustand der Daten auf einen Blick überwachen Hier sehen Sie den wichtigsten Gesundheitsstatus und die zugehörigen Messwerte für jeden Feed, jede Datenquelle, jeden Logtyp und jede Quelle (d. h. die Feed-ID).

  • Aggregierte Messwerte zum Datenzustand für Folgendes überwachen:

    • Erfassung und Parsing im Zeitverlauf mit hervorgehobenen Ereignissen (nicht unbedingt Unregelmäßigkeiten), die mit gefilterten Dashboards verknüpft sind.
    • Unregelmäßigkeiten – aktuell und im Zeitverlauf.

  • Sie können auf zugehörige Dashboards zugreifen, die nach Zeiträumen, Protokolltyp oder Feed gefiltert sind.

  • Rufen Sie die Feedkonfiguration auf, um ein Problem zu beheben.

  • Greifen Sie auf die Parserkonfiguration zu, um ein Problem zu beheben.

  • Klicken Sie auf den Link Benachrichtigungen einrichten, um die Cloud Monitoring-Oberfläche zu öffnen. Dort können Sie benutzerdefinierte API-basierte Benachrichtigungen mit den Messwerten Status und Logvolumen konfigurieren.

Wichtige Fragen

In diesem Abschnitt werden die Dashboardkomponenten und Parameter von Data Health Monitoring beschrieben, die im Abschnitt Benutzeroberfläche beschrieben werden.

Mit dem Dashboard Data Health Monitoring (Datenintegritätsüberwachung) können Sie die folgenden typischen, wichtigen Fragen zu Ihrer Datenpipeline beantworten:

  • Werden meine Logs an Google SecOps gesendet?

    Mit den Messwerten Last Ingested (Zuletzt aufgenommen) und Last Normalized (Zuletzt normalisiert) können Sie prüfen, ob Logs bei Google SecOps eingehen. Diese Messwerte geben an, wann Daten zuletzt erfolgreich bereitgestellt wurden. Außerdem sehen Sie in den Messwerten zum Aufnahmevolumen (pro Quelle und pro Logtyp) die Menge der aufgenommenen Daten.

  • Werden meine Logs richtig geparst?

    Um zu prüfen, ob die Daten richtig geparst wurden, sehen Sie sich den Messwert Zuletzt normalisiert an. Dieser Messwert gibt an, wann die letzte erfolgreiche Transformation von einem Rohlog in ein UDM-Ereignis stattgefunden hat.

  • Warum erfolgt die Aufnahme oder das Parsen nicht?

    Der Text in der Spalte Problemdetails gibt bestimmte Probleme an. So können Sie feststellen, ob die Maßnahme erforderlich ist (Sie müssen das Problem beheben) oder nicht erforderlich ist (Support ist erforderlich). Der Text Forbidden 403: Permission denied ist ein Beispiel für einen umsetzbaren Fehler, bei dem dem in der Feedkonfiguration angegebenen Auth-Konto die erforderlichen Berechtigungen fehlen. Der Text Internal_error ist ein Beispiel für einen nicht umsetzbaren Fehler, bei dem die empfohlene Maßnahme darin besteht, eine Supportanfrage bei Google SecOps zu stellen.

  • Gibt es signifikante Änderungen bei der Anzahl der aufgenommenen und geparsten Logs?

    Im Feld Status wird der Zustand Ihrer Daten (von Gut bis Fehlerhaft) basierend auf dem Datenvolumen angezeigt. Anhand des Diagramms Insgesamt aufgenommene und geparste Logs können Sie auch plötzliche oder anhaltende Spitzen oder Rückgänge erkennen.

  • Wie kann ich benachrichtigt werden, wenn meine Quellen ausfallen?

    Das Dashboard Data Health Monitoring (Datenintegritätsüberwachung) speist die Messwerte für Status und Logvolumen in Cloud Monitoring ein. Klicken Sie in einer der Tabellen des Dashboards Data Health Monitoring auf den entsprechenden Link Benachrichtigungen, um die Cloud Monitoring-Oberfläche zu öffnen. Dort können Sie benutzerdefinierte API-basierte Benachrichtigungen mit Status- und Logvolumenmesswerten konfigurieren.

  • Wie kann ich eine Verzögerung bei der Aufnahme von Logdaten ableiten?

    Eine Verzögerung wird angezeigt, wenn der Zeitstempel Last Event Time (Zeitpunkt des letzten Ereignisses) deutlich hinter dem Zeitstempel Last Ingested (Zuletzt erfasst) liegt. th Ein hoher Wert deutet auf ein Latenzproblem in der Google SecOps-Pipeline hin, während ein normaler Wert darauf hindeuten kann, dass die Quelle alte Daten überträgt.

  • Haben kürzlich vorgenommene Änderungen an meiner Konfiguration zu Feedfehlern geführt?

    Wenn der Zeitstempel Konfiguration zuletzt aktualisiert in der Nähe des Zeitstempels Zuletzt aufgenommen liegt, deutet dies darauf hin, dass ein kürzlich erfolgtes Konfigurationsupdate die Ursache für einen Fehler sein könnte. Diese Korrelation hilft bei der Ursachenanalyse.

  • Wie hat sich die Qualität der Aufnahme und des Parsings im Laufe der Zeit entwickelt?

    Im Diagramm Insgesamt aufgenommene und geparste Logs sehen Sie den historischen Trend des Datenzustands. So können Sie langfristige Muster und Unregelmäßigkeiten beobachten.

Schnittstelle

Das Dashboard Data Health Monitoring enthält die folgenden Widgets:

  • Widgets mit großen Zahlen:

    • Ohne Beanstandung: Die Anzahl der Datenquellen und Parser, die ohne Unregelmäßigkeiten funktionieren.
    • Fehlgeschlagen: Die Anzahl der Datenquellen, die sofortige Aufmerksamkeit erfordern.
    • Unregelmäßig: Die Anzahl der unregelmäßigen Datenquellen und Parser.

  • Insgesamt aufgenommene und geparste Logs: Ein Liniendiagramm mit den Kurven für Geparste Logs und Aufgenommene Logs pro Tag im Zeitverlauf.

  • Tabelle Gesundheitsstatus nach Datenquelle: Enthält die folgenden Spalten:

    • Status: Der kumulative Status des Feeds (Healthy, Failed oder Irregular), der aus Datenvolumen, Konfigurationsfehlern und API-Fehlern abgeleitet wird.
    • Quelltyp: Der Quelltyp (Aufnahmemechanismus), z. B. Ingestion API, Feeds, Native Workspace Ingestion oder Azure Event Hub Feeds.
    • Name: Der Feedname.
    • Protokolltyp: Der Protokolltyp, z. B. CS_EDR, UDM, GCP_CLOUDAUDIT oder WINEVTLOG.
    • Problemdetails: Wenn ein Problem vorliegt, werden in dieser Spalte Details angezeigt, z. B. Fehler beim Parsen von Logs, Problem mit Konfigurationsanmeldedaten oder Problem mit der Normalisierung. Das angegebene Problem kann umsetzbar sein (z. B. Falsche Autorisierung) oder nicht (z. B. Internal_error). Wenn das Problem nicht behoben werden kann, wird empfohlen, eine Supportanfrage bei Google SecOps zu stellen. Wenn der Status Healthy ist, ist der Wert leer.
    • Dauer des Problems: Die Anzahl der Tage, die sich die Datenquelle in einem irregulären oder fehlerhaften Status befunden hat. Wenn der Status Healthy ist, ist der Wert leer.
    • Zuletzt erhoben: Der Zeitstempel der letzten Datenerhebung.
    • Letzte Aufnahme: Der Zeitstempel der letzten erfolgreichen Aufnahme. Mit diesem Messwert können Sie feststellen, ob Ihre Logs Google SecOps erreichen.
    • Config Last Updated (Konfiguration zuletzt aktualisiert): Der Zeitstempel der letzten Änderung des Messwerts. Mit diesem Wert können Sie Konfigurationsaktualisierungen mit beobachteten Unregelmäßigkeiten in Beziehung setzen, um die Ursache von Erfassungs- oder Parsing-Problemen zu ermitteln.
    • Details zur Aufnahme ansehen: Ein Link, über den ein neuer Tab mit einem weiteren Dashboard geöffnet wird, das zusätzliche historische Informationen für eine detailliertere Analyse enthält.
    • Datenquelle bearbeiten: Ein Link, über den ein neuer Tab mit der entsprechenden Feedkonfiguration geöffnet wird. Dort können Sie Konfigurationsfehler beheben.
    • Benachrichtigungen einrichten: Ein Link, der einen neuen Tab mit der entsprechenden Cloud Monitoring-Oberfläche öffnet.

  • Tabelle Health Status by Parser (Gesundheitsstatus nach Parser): Enthält die folgenden Spalten:

    • Status: Der kumulative Status des Logtyps (Fehlerfrei, Fehlerhaft oder Unregelmäßig), der aus dem Normalisierungsverhältnis abgeleitet wird.
    • Name: Der Logtyp, z. B. DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT oder WEBPROXY.
    • Problemdetails: Wenn ein Problem vorliegt, werden in dieser Spalte Details zum Parsing-Problem oder zu den Parsing-Problemen angezeigt, z. B. Parsing von Logs fehlgeschlagen, Problem mit Konfigurationsanmeldedaten oder Problem mit der Normalisierung. Das angegebene Problem kann behoben werden (z. B. Falsche Autorisierung) oder nicht (z. B. Interner Fehler). Wenn das Problem nicht behoben werden kann, wird empfohlen, eine Supportanfrage bei Google SecOps zu stellen. Wenn der Status Healthy ist, ist der Wert leer.
    • Dauer des Problems: Die Anzahl der Tage, die sich die Datenquelle in einem irregulären oder fehlerhaften Status befunden hat. Wenn der Status Healthy ist, ist der Wert leer.
    • Letzte Aufnahme: Der Zeitstempel der letzten erfolgreichen Aufnahme. Mit diesem Messwert können Sie feststellen, ob Protokolle Google SecOps erreichen.

    • Zeit des letzten Ereignisses: Der Ereigniszeitstempel des letzten normalisierten Logs.

    • Zuletzt normalisiert: Der Zeitstempel der letzten Parsing- und Normalisierungsaktion für den Log-Typ. Mit diesem Messwert können Sie feststellen, ob Rohlogs erfolgreich in UDM-Ereignisse umgewandelt werden.

    • Config Last Updated (Konfiguration zuletzt aktualisiert): Der Zeitstempel der letzten Änderung des Messwerts. Mit diesem Wert können Sie Konfigurationsaktualisierungen mit beobachteten Unregelmäßigkeiten in Beziehung setzen, um die Ursache von Erfassungs- oder Parsing-Problemen zu ermitteln.

    • Parsing-Details ansehen: Ein Link, der einen neuen Tab mit einem weiteren Dashboard öffnet, das zusätzliche historische Informationen für eine detailliertere Analyse enthält.

    • Parser bearbeiten: Ein Link, der einen neuen Tab mit der entsprechenden Parserkonfiguration öffnet. Dort können Sie konfigurationsbezogene Unregelmäßigkeiten beheben.

    • Warnung einrichten: Ein Link, der einen neuen Tab mit der entsprechenden Cloud Monitoring-Oberfläche öffnet.

Engine zur Erkennung von Unregelmäßigkeiten

Im Dashboard Data Health Monitoring (Datenintegritätsüberwachung) werden mithilfe der Google SecOps-Engine zur Erkennung von Unregelmäßigkeiten automatisch erhebliche Änderungen an Ihren Daten erkannt. So können Sie potenzielle Probleme schnell erkennen und beheben.

Erkennung von Unregelmäßigkeiten bei der Datenaufnahme

Google SecOps analysiert tägliche Volumenänderungen unter Berücksichtigung normaler Wochenmuster.

Die Engine zur Erkennung von Unregelmäßigkeiten verwendet die folgenden Berechnungen, um ungewöhnliche Spitzen oder Rückgänge bei der Datenerfassung zu erkennen:

  • Tages- und Wochenvergleiche: Google SecOps berechnet die Differenz des Aufnahmevolumens zwischen dem aktuellen und dem vorherigen Tag sowie die Differenz zwischen dem aktuellen Tag und dem durchschnittlichen Volumen der letzten Woche.

  • Standardisierung: Um die Signifikanz dieser Änderungen zu verstehen, standardisiert Google SecOps sie mit der folgenden Z-Score-Formel:

    z = (xi − x_bar) / stdev

    Dabei gilt:

    • z ist der standardisierte Wert (oder Z-Wert) für eine einzelne Differenz.
    • xi ist ein individueller Differenzwert.
    • x_bar ist der Mittelwert der Differenzen.
    • stdev ist die Standardabweichung der Differenzen.

  • Kennzeichnung von Unregelmäßigkeiten: Google SecOps kennzeichnet eine Unregelmäßigkeit, wenn sowohl die täglichen als auch die wöchentlichen standardisierten Änderungen statistisch signifikant sind. Google SecOps sucht nach:

    • Rückgänge: Sowohl die täglichen als auch die wöchentlichen standardisierten Differenzen sind kleiner als -1,645.
    • Anstiege: Sowohl die täglichen als auch die wöchentlichen standardisierten Differenzen sind größer als 1,645.

Normalisierungsverhältnis

Bei der Berechnung des Verhältnisses von erfassten zu normalisierten Ereignissen verwendet die Engine zur Erkennung von Unregelmäßigkeiten einen kombinierten Ansatz, um sicherzustellen, dass nur erhebliche Rückgänge der Normalisierungsraten gekennzeichnet werden. Die Engine zur Erkennung von Unregelmäßigkeiten generiert nur dann eine Benachrichtigung, wenn die folgenden beiden Bedingungen erfüllt sind:

  • Das Normalisierungsverhältnis ist im Vergleich zum Vortag statistisch signifikant gesunken.
  • Der Rückgang ist auch in absoluten Zahlen mit einem Wert von mindestens 0, 05 signifikant.

Erkennung von Unregelmäßigkeiten bei Parsing-Fehlern

Bei Fehlern, die beim Parsen von Daten auftreten, verwendet die Engine zur Erkennung von Unregelmäßigkeiten eine auf Verhältnissen basierende Methode. Die Engine zur Erkennung von Unregelmäßigkeiten löst eine Benachrichtigung aus, wenn der Anteil der Parserfehler im Verhältnis zur Gesamtzahl der aufgenommenen Ereignisse im Vergleich zum Vortag um mindestens 5 Prozentpunkte steigt.

Nächste Schritte

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten