Status der Datenaufnahme prüfen

Unterstützt in:

Dieser Leitfaden richtet sich an Sicherheitsexperten, die den Status der Datenaufnahme überwachen und Probleme in Google Security Operations beheben möchten. Darin wird erläutert, wie Sie den Health Hub verwenden, Cloud Monitoring-Benachrichtigungen konfigurieren, um den Status von Datenquellen und Parsern zu verfolgen, und SHM (Silent Host Monitoring) verwenden, um potenzielle Collector-Stopps zu erkennen.

Mithilfe dieser Monitoring-Workflows können Sie Probleme mit Datenpipelines erkennen, diagnostizieren und beheben. Dabei wird zwischen Problemen unterschieden, die vom Nutzer behoben werden können (umsetzbar), und Problemen, für die Support erforderlich ist (nicht umsetzbar). Eine erfolgreiche Konfiguration sorgt für einen zuverlässigen Datenfluss, der für effektive Sicherheitsvorgänge und ‑analysen unerlässlich ist.

Gängige Anwendungsfälle

In diesem Abschnitt werden gängige Anwendungsfälle für das Ingestion Monitoring behandelt.

Proaktive Systemdiagnose

  • Ziel: Überprüfen Sie den Status und die Integrität aller konfigurierten Datenquellen.
  • Wert: Potenzielle Probleme bei der Aufnahme erkennen, bevor sie sich auf die Sicherheitsübersicht auswirken.

Reaktion auf Benachrichtigungen

  • Zielvorhaben: Untersuchen und beheben Sie ein Problem mit einer Datenquelle oder einem Parser, das durch eine automatische Benachrichtigung gemeldet wurde.
  • Wert: Datenverlust oder ‑verzögerungen minimieren, damit Daten für die rechtzeitige Erkennung und Reaktion auf Bedrohungen verfügbar sind.

Schlüsselterminologie

  • Health Hub:Das zentrale Dashboard in Google SecOps zum Überwachen des Status und der Integrität aller konfigurierten Datenquellen und Parser.
  • Cloud Monitoring Google Cloud Dienst zum Erstellen von Benachrichtigungsrichtlinien basierend auf Messwerten, einschließlich der aus der Google SecOps-Erfassung.
  • Silent-Host-Monitoring:Monitoring-Methode zur Identifizierung von Hosts in Ihrer Umgebung, die nicht mehr reagieren.
  • Umsetzbares Problem:Ein Aufnahmeproblem, das Sie in der Regel selbst durch Konfigurationsänderungen beheben können, z. B. durch Aktualisieren von Anmeldedaten.
  • Nicht behebbares Problem:Ein Aufnahmeproblem, das nur mit Unterstützung des Google-Supports behoben werden kann (z. B. ein interner Systemfehler).
  • Parser:Eine Komponente, die Rohdaten in die Struktur des einheitlichen Datenmodells (Unified Data Model, UDM) normalisiert.

Hinweis

Sie benötigen die erforderlichen IAM-Rollen und -Berechtigungen (Identity and Access Management), um auf die Google SecOps-Instanz zuzugreifen, den Health Hub aufzurufen und Benachrichtigungen in Cloud Monitoring zu konfigurieren.

Datenaufnahme überwachen

In diesem Abschnitt werden verschiedene Methoden zur Überwachung der Datenaufnahme beschrieben.

Über den Health Hub überwachen

Im Health Hub können Sie den allgemeinen Datenzustand auf einen Blick sehen und den wichtigsten Gesundheitsstatus für jeden Feed, jede Datenquelle und jeden Logtyp aufrufen. So können Sie unregelmäßige und fehlgeschlagene Quellen und Parser erkennen, ohne benutzerdefinierte externe Benachrichtigungen konfigurieren zu müssen.

  1. Klicken Sie im Navigationsmenü von Google SecOps auf Health Hub.
  2. Sehen Sie sich die Big Number-Widgets für Fehlerhafte Quellen und Fehlerhafte Parser an, um Komponenten zu identifizieren, die sofortige Aufmerksamkeit erfordern.
  3. Sehen Sie sich die Tabelle Systemstatus nach Datenquelle an. In der Spalte Details zum letzten Problem finden Sie Fehlerbeschreibungen wie Config credential issue oder Normalization issue.
  4. Klicken Sie in der Tabelle auf die Links Datenquelle bearbeiten oder Parser bearbeiten, um direkt zu den entsprechenden Konfigurationsseiten zu gelangen.
  5. Prüfen Sie Zeitstempel wie Last Event Time (Zeitpunkt des letzten Ereignisses) und Last Ingested (Zuletzt erfasst), um zu prüfen, ob die Daten wie erwartet erfasst wurden.
  6. Nachdem Sie eine Korrektur angewendet haben, sollten Sie den Health Hub für die jeweilige Datenquelle oder den Parser im Blick behalten, um sicherzugehen, dass die Korrektur erfolgreich war.

Automatisierte Benachrichtigungen für die Aufnahme einrichten

Monitoring konfigurieren, um Benachrichtigungen auszulösen, wenn die Erfassungswerte bestimmte vordefinierte Werte erreichen. So können Sie E‑Mail-Benachrichtigungen in bestehende Workflows einbinden, um defekte Feeds proaktiv zu beheben oder inaktive Log-Quellen zu erkennen.

  1. Klicken Sie im Health Hub auf den Link Benachrichtigungen einrichten. Sie werden dann zur Monitoring-Oberfläche weitergeleitet.
  2. So erstellen Sie eine Benachrichtigungsrichtlinie:
    • Messwerte auswählen: Wählen Sie Messwerte unter Chronicle Collector > Aufnahme aus, z. B. Gesamtzahl der aufgenommenen Logs oder Gesamtgröße der aufgenommenen Logs.
    • Fügen Sie Filter für collector_id oder log_type hinzu, um den Umfang der Benachrichtigung auf bestimmte Quellen einzugrenzen.
  3. Wenn Sie stille Weiterleitungen erkennen möchten, wählen Sie Fehlende Messwerte als Bedingungstyp aus. Konfigurieren Sie die Richtlinie so, dass eine Benachrichtigung ausgelöst wird, wenn für einen bestimmten Zeitraum (z. B. 60 Minuten) keine Logs mehr eingehen.

Fehlerbehebung

In diesem Abschnitt werden verschiedene Methoden zur Fehlerbehebung bei Problemen mit der Datenaufnahme beschrieben.

Allgemeine Probleme

  • Pipeline-Latenz:Eine erhebliche Verzögerung zwischen dem Zeitstempel Letzte Ereigniszeit und Zuletzt erfasst deutet auf eine potenzielle Latenz hin. Im Health Hub wird das 95th-Perzentil dieses Deltas angezeigt. Hohe Werte deuten auf eine Pipeline-Latenz hin, während normale Werte bedeuten könnten, dass die Quelle Verlaufsdaten sendet.
  • Plötzliche Anstiege oder Rückgänge bei der Aufnahme:Das System verwendet die Z-Score-Standardisierung, um Anomalien zu kennzeichnen. Ein Rückgang wird gekennzeichnet, wenn sowohl die standardisierten Tages- als auch Wochenunterschiede unter -1.645 liegen.
  • Parsing-Fehler:Eine Benachrichtigung wird ausgelöst, wenn der Anteil der Parserfehler im Vergleich zum Vortag um mindestens 5 Prozentpunkte steigt. Untersuchen Sie die Parserkonfiguration über den Link im Health Hub.

Weitere Informationen dazu, wie Sie Probleme bei der Datenaufnahme und beim Parsen erkennen können, finden Sie unter Probleme bei der Datenaufnahme und beim Parsen erkennen und untersuchen.

Latenz, Dienstkontingent und Limits

  • Datenaktualisierung:Die Informationen im Health Hub und im Dashboard Data Ingestion werden etwa alle 15 Minuten aktualisiert.

Fehlerbehebung

Eine vollständige Liste mit Fehlermeldungen und Lösungen finden Sie unter Fehlerbehebung bei der Aufnahme.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten