Status der Datenaufnahme prüfen

Unterstützt in:

Dieser Leitfaden richtet sich an Sicherheitsexperten, die den Status der Datenaufnahme in Google Security Operations überwachen und Probleme beheben möchten. Darin wird erläutert, wie Sie den Health Hub verwenden, Cloud Monitoring-Benachrichtigungen konfigurieren, um den Status von Datenquellen und Parsern zu verfolgen, und SHM (Silent Host Monitoring) verwenden, um potenzielle Collector-Stopps zu erkennen.

Mithilfe dieser Monitoring-Workflows können Sie Probleme mit Datenpipelines identifizieren, diagnostizieren und beheben. Dabei wird zwischen Problemen unterschieden, die vom Nutzer behoben werden können (umsetzbar), und Problemen, für die Support erforderlich ist (nicht umsetzbar). Eine erfolgreiche Konfiguration sorgt für einen zuverlässigen Datenfluss, der für effektive Sicherheitsvorgänge und ‑analysen unerlässlich ist.

Gängige Anwendungsfälle

In diesem Abschnitt werden häufige Anwendungsfälle für die Überwachung der Aufnahme beschrieben.

Proaktive Systemdiagnose

  • Ziel: Überprüfen Sie den Status und Zustand aller konfigurierten Datenquellen.
  • Wert: Potenzielle Probleme bei der Aufnahme erkennen, bevor sie sich auf die Sicherheitsübersicht auswirken.

Reaktion auf Benachrichtigungen

  • Zielvorhaben: Ein Problem mit einer Datenquelle oder einem Parser untersuchen und beheben, das durch eine automatische Benachrichtigung gemeldet wurde.
  • Wert: Minimieren Sie Datenverlust oder ‑verzögerungen, damit Daten für die rechtzeitige Erkennung und Reaktion auf Bedrohungen verfügbar sind.

Schlüsselterminologie

  • Health Hub:Das zentrale Dashboard in Google SecOps zum Überwachen des Status und der Integrität aller konfigurierten Datenquellen und Parser.
  • Cloud Monitoring Google Cloud Dienst zum Erstellen von Benachrichtigungsrichtlinien basierend auf Messwerten, einschließlich derer aus der Google SecOps-Erfassung.
  • Silent-Host-Monitoring:Überwachungsmethode zur Identifizierung von Hosts in Ihrer Umgebung, die nicht mehr reagieren.
  • Behebbares Problem:Ein Aufnahmeproblem, das Sie in der Regel selbst durch Konfigurationsänderungen beheben können, z. B. durch Aktualisieren von Anmeldedaten.
  • Nicht behebbares Problem:Ein Aufnahmeproblem, das nur mit Unterstützung des Google-Supports behoben werden kann (z. B. ein interner Systemfehler).
  • Parser:Eine Komponente, die Rohdaten in die Struktur des Unified Data Model (UDM) normalisiert.

Hinweis

Sie benötigen die erforderlichen IAM-Rollen und -Berechtigungen (Identity and Access Management), um auf die Google SecOps-Instanz zuzugreifen, den Health Hub aufzurufen und Benachrichtigungen in Cloud Monitoring zu konfigurieren.

Datenaufnahme überwachen

In diesem Abschnitt werden verschiedene Methoden zur Überwachung der Datenaufnahme beschrieben.

Über den Health Hub überwachen

Im Health Hub können Sie den allgemeinen Datenzustand auf einen Blick sehen und den wichtigsten Gesundheitsstatus für jeden Feed, jede Datenquelle und jeden Logtyp aufrufen. So können Sie unregelmäßige und fehlgeschlagene Quellen und Parser erkennen, ohne benutzerdefinierte externe Benachrichtigungen zu konfigurieren.

  1. Klicken Sie im Navigationsmenü von Google SecOps auf Health Hub.
  2. Sehen Sie sich die Big Number-Widgets für Fehlerhafte Quellen und Fehlerhafte Parser an, um Komponenten zu identifizieren, die sofortige Aufmerksamkeit erfordern.
  3. Sehen Sie sich die Tabelle Systemstatus nach Datenquelle an. In der Spalte Details zum letzten Problem finden Sie Fehlerbeschreibungen wie Config credential issue oder Normalization issue.
  4. Klicken Sie in der Tabelle auf die Links Datenquelle bearbeiten oder Parser bearbeiten, um direkt zu den entsprechenden Konfigurationsseiten zu gelangen.
  5. Prüfen Sie Zeitstempel wie Last Event Time (Zeitpunkt des letzten Ereignisses) und Last Ingested (Zuletzt erfasst), um zu prüfen, ob die Daten wie erwartet erfasst wurden.
  6. Nachdem Sie eine Korrektur vorgenommen haben, sollten Sie den Health Hub für die jeweilige Datenquelle oder den Parser im Blick behalten, um zu prüfen, ob die Abhilfemaßnahme erfolgreich war.

Automatisierte Benachrichtigungen für die Aufnahme einrichten

Monitoring konfigurieren, um Benachrichtigungen auszulösen, wenn die Erfassungswerte bestimmte vordefinierte Werte erreichen. So können Sie E‑Mail-Benachrichtigungen in bestehende Workflows einbinden, um defekte Feeds proaktiv zu beheben oder stille Logquellen zu erkennen.

  1. Klicken Sie im Health Hub auf den Link Benachrichtigungen einrichten. Sie werden dann zur Monitoring-Oberfläche weitergeleitet.
  2. Benachrichtigungsrichtlinie erstellen:
    • Messwerte auswählen: Wählen Sie unter Chronicle Collector > Aufnahme Messwerte wie Gesamtzahl der aufgenommenen Logs oder Gesamtgröße der aufgenommenen Logs aus.
    • Fügen Sie Filter für collector_id oder log_type hinzu, um den Umfang der Benachrichtigung auf bestimmte Quellen zu beschränken.
  3. Wenn Sie stille Weiterleitungen erkennen möchten, wählen Sie Fehlende Messwerte als Bedingungstyp aus. Konfigurieren Sie die Benachrichtigung so, dass sie ausgelöst wird, wenn für einen bestimmten Zeitraum (z. B. 60 Minuten) keine Logs mehr eingehen.

Fehlerbehebung

In diesem Abschnitt werden verschiedene Methoden zur Fehlerbehebung bei Problemen mit der Datenaufnahme beschrieben.

Allgemeine Probleme

  • Pipeline-Latenz:Eine erhebliche Verzögerung zwischen dem Zeitstempel Letzte Ereigniszeit und Zuletzt erfasst deutet auf eine potenzielle Latenz hin. Im Health Hub wird das 95th-Perzentil dieses Deltas angezeigt. Hohe Werte deuten auf eine Pipeline-Latenz hin, während normale Werte bedeuten könnten, dass die Quelle Verlaufsdaten sendet.
  • Plötzliche Anstiege oder Rückgänge bei der Aufnahme: Das System verwendet die Z-Score-Standardisierung, um Anomalien zu erkennen. Ein Rückgang wird gekennzeichnet, wenn sowohl die standardisierten Tages- als auch die standardisierten Wochenunterschiede unter -1.645 liegen.
  • Parsing-Fehler:Eine Benachrichtigung wird ausgelöst, wenn der Anteil der Parserfehler im Verhältnis zur Gesamtzahl der aufgenommenen Ereignisse im Vergleich zum Vortag um mindestens 5 Prozentpunkte steigt. Untersuchen Sie die Parserkonfiguration über den Link im Health Hub.

Weitere Informationen zum Erkennen von Problemen bei der Datenaufnahme und beim Parsen finden Sie unter Probleme bei der Datenaufnahme und beim Parsen erkennen und untersuchen.

Latenz, Dienstkontingent und Limits

  • Datenaktualisierung:Die Informationen im Health Hub- und Data Ingestion-Dashboard werden etwa alle 15 Minuten aktualisiert.

Fehlerbehebung

Eine vollständige Liste der Fehlermeldungen und Lösungen finden Sie unter Fehlerbehebung bei der Aufnahme.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten