Übersicht über Aufnahme-Messwerte

Unterstützt in:

Google SecOps bietet detaillierte Aufnahme-Messwerte, mit denen Sie den Status, das Volumen und den Verarbeitungsstatus Ihrer Sicherheitsdatenpipeline einsehen können. Die Überwachung dieser Messwerte ist entscheidend, um sicherzustellen, dass Daten korrekt übertragen werden, potenzielle Probleme zu erkennen und Ihre Google SecOps-Bereitstellung zu optimieren.

Warum sind Aufnahme-Messwerte wichtig?

  • Statusüberwachung:Verfolgen Sie den Status Ihrer Datenfeeds und Erfassungs-Agents.
  • Fehlerbehebung:Diagnostizieren Sie schnell Probleme wie Datenverluste, Parsing-Fehler oder Verbindungsprobleme.
  • Volumenverfolgung:Ermitteln Sie, wie viele Daten aus verschiedenen Quellen aufgenommen werden. Das ist nützlich für die Kapazitätsplanung und Kostenverwaltung.
  • Normalisierungsstatistiken:Überwachen Sie die Erfolgsrate beim Parsen von Logs in das einheitliche Datenmodell (Unified Data Model, UDM).
  • Benachrichtigungen:Konfigurieren Sie Benachrichtigungen für Anomalien im Datenfluss, Fehler oder Volumenänderungen.

Wo finde ich Aufnahme-Messwerte?

  • Google Cloud Monitoring:

    • Google SecOps-Messwerte werden in Cloud Monitoring integriert. So können Sie Dashboards erstellen und Benachrichtigungsrichtlinien basierend auf Grenzwerten für Messwerte wie die Anzahl der aufgenommenen Logs, Größen und Normalisierungsereignisse einrichten.
    • Messwerte sind unter Präfixen wie Chronicle Collector und Chronicle Log Type verfügbar.
    • Referenz: Cloud Monitoring für Statistiken zur Aufnahme verwenden

  • Google SecOps Health Hub:

    • Der Health Hub bietet eine zentrale Ansicht in der Google SecOps-Plattform, mit der Sie den Status der Datenquelle, das Aufnahmevolumen und den Parsing-Status überwachen können. Fehler werden hervorgehoben und es gibt Links, mit denen Sie weitere Informationen erhalten.
    • Referenz: Health Hub verwenden

  • BigQuery Export:

Wichtige Messwertkategorien und -felder

Aufnahme-Messwerte werden nach verschiedenen Komponenten der Aufnahmepipeline aufgeschlüsselt (z. B. Forwarder, Ingestion API, Normalizer, Feeds). Hier sind einige wichtige Felder, die Ihnen begegnen werden:

  • Volumenmesswerte:

    • log_count: Anzahl der empfangenen oder verarbeiteten Rohlogeinträge.
    • log_volume: Gesamtgröße der empfangenen oder verarbeiteten Logs (in Byte).
    • event_count: Anzahl der nach dem Parsen generierten UDM-Ereignisse.

  • Normalisierungsmesswerte:

    • state: Ergebnis des Normalisierungsprozesses für Logs (z. B. parsed, failed_parsing, failed_validation).
    • total_events: Anzahl der erfolgreich validierten UDM-Ereignisse.
    • total_error_events: Anzahl der Ereignisse, bei denen das Parsen oder die Validierung fehlgeschlagen ist.
    • drop_reason_code: Grund, warum ein Log oder Ereignis verworfen wurde.

  • Health &Leistung:

    • last_heartbeat_time: Gibt an, wann ein Collector oder Feed zuletzt aktiv war.
    • drop_count: Anzahl der von einer Komponente verworfenen Logs.
    • cpu_used, memory_used, disk_used: Ressourcennutzung für lokale Komponenten wie den Bindplane-Agent oder den Legacy-Forwarder.
    • latency_count: Messwerte für die Zeit zwischen Aufnahme und Normalisierung.

  • Kontingentmesswerte (Ingestion API):

    • quota_rejected_long_term_log_volume: Volumen der Logs, die aufgrund der Überschreitung von Kontingentlimits abgelehnt wurden.

Dimensionen

Messwerte werden in der Regel nach Dimensionen aufgeschlüsselt, sodass Sie Daten filtern und gruppieren können:

  • component: Der Teil der Aufnahmepipeline, auf den sich der Messwert bezieht (z. B. Forwarder, Ingestion API, Normalizer, Out-of-Band Processor).
  • log_type: Der Typ der Logquelle (z. B. WINDOWS_DNS, CS_EDR).
  • collector_id / feed_id: Eindeutige Kennung für die jeweilige Collector-Instanz oder den Datenfeed.
  • namespace: Wird zum Organisieren von Logs verwendet, häufig bei der API-Aufnahme.

Hinweis: Wie im Schema für Aufnahme-Messwerte angegeben, sollten aggregierte Aufnahme-Messwerte als Indikatoren für das ungefähre Volumen und nicht als genaue Anzahl für einen bestimmten Zeitraum betrachtet werden.

Abweichungen zwischen dem Volumen der Rohlogs und dem Volumen der Logs im Dashboard

Das in Google SecOps-Dashboards gemeldete Gesamtvolumen von ingestion.log_volume (z. B. bei der Abfrage von ingestion.component = "Ingestion API") kann erheblich vom Gesamtvolumen der in Ihrer Instanz gespeicherten Rohlogs abweichen. In der Google SecOps-Benutzeroberfläche wird kein kumulativer Zähler für die Aufnahme seit der Bereitstellung Ihrer Instanz angezeigt. Da für jedes Berichtstool ein maximales Lookback-Window gilt, können Sie keine kumulative Gesamtsumme für den gesamten Zeitraum berechnen, wenn Ihre Instanz älter als das Aufbewahrungslimit des Tools ist.

Diese Unterschiede haben folgende Gründe:

  • Unterschiedliche Zeiträume und Lookback-Limits:

    • Speicher für Rohlogs: Daten werden gemäß der konfigurierten Aufbewahrungsrichtlinie für die Instanz aufbewahrt. In Ihrer Instanz wurden seit der Bereitstellung möglicherweise Logs über mehrere Jahre hinweg aufgenommen.
    • Google SecOps-Dashboards: Berechnen Sie ingestion.log_volume nur für den ausgewählten Zeitraum, bis zu einem maximalen Lookback-Limit von 365 Tagen (oder bis zu 24 Monaten in Cloud Monitoring für Bring Your Own Project-Instanzen (BYOP)). Wenn in Ihrer Instanz seit mehr als 365 Tagen Daten aufgenommen wurden, wird bei Dashboard-Abfragen eine niedrigere Gesamtsumme als Ihr kumulatives historisches Aufnahmevolumen gemeldet.

  • Unterschiedliche Datenquellen und Erfassungspipelines:

    • Speicher für Rohlogs: Erfasst die direkte Byte-Größe der in Google SecOps gespeicherten Rohlog-Batches.
    • Google SecOps-Dashboards: Fragen Sie ingestion.log_volume aus der Tabelle ingestion_metrics ab, in der Telemetriedaten asynchron in Intervallen von etwa 5 Minuten erfasst werden. Da es bei dieser Telemetriepipeline zu Erfassungsverzögerungen, Stichproben oder vorübergehenden Messwertverlusten kommen kann, liefern Dashboard-Abfragen ein ungefähres Volumen und keine genaue Byte-Anzahl.

Wo wird das Aufnahmevolumen berechnet und wie unterscheiden sich die Werte?

Da in der Google SecOps-Benutzeroberfläche kein kumulativer Zähler für die Aufnahme seit dem Startzeitpunkt der Instanz angezeigt wird, können Sie das Aufnahmevolumen je nach benötigtem Zeitraum an den folgenden Stellen berechnen:

  • Google SecOps-Dashboards (bis zu 365 Tage):

    • Wo wird berechnet?: Öffnen Sie Dashboards & Berichte > Dashboards und rufen Sie dann das Widget Durchsatz im Dashboard Haupt oder Datenaufnahme und Status auf (einschließlich des Diagramms Aufnahme – Durchsatz (Gesamtzeitraum)). Sie können auch eine benutzerdefinierte Dashboard-Abfrage für sum($event.ingestion.log_volume) ausführen, gefiltert nach $event.ingestion.component = "Ingestion API".
    • Maximaler Zeitraum: Abfragen sind auf maximal 365 Tage begrenzt, auch im kuratierten Diagramm Aufnahme – Durchsatz (Gesamtzeitraum).
    • Wie unterscheiden sich die Werte?: Dashboards fragen die asynchrone Tabelle ingestion_metrics ab, in der Telemetriedaten in Intervallen von etwa 5 Minuten erfasst werden. Es kann zu Erfassungsverzögerungen oder vorübergehenden Messwertverlusten kommen. Die Werte sind ungefähre Angaben und beziehen sich nur auf Logs, die während des ausgewählten Zeitraums über die Ingestion API aufgenommen wurden, und nicht auf alle Rohlog-Bytes oder das endgültige abgerechnete Volumen.

  • Messwert-Explorer von Cloud Monitoring (bis zu 24 Monate für BYOP-Instanzen):

    • Wo wird berechnet?: Öffnen Sie in der Google Cloud Console Monitoring > Messwert-Explorer und führen Sie dann eine Abfrage für chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"} aus. Eine detaillierte Anleitung finden Sie unter Abgerechnetes Aufnahmevolumen ansehen.
    • Maximaler Zeitraum: Abfragen sind basierend auf der Aufbewahrung von Cloud Monitoring-Messwerten auf maximal 24 Monate begrenzt.
    • Wie unterscheiden sich die Werte?: Cloud Monitoring fragt die Byte-Anzahl der Aufnahme auf Collector-Ebene für den ausgewählten Zeitraum ab. Die Werte decken ein längeres Lookback-Window ab als Google SecOps-Dashboards (bis zu 2back-Window Monate statt 365 Tage), spiegeln aber keine Gesamtsumme für den gesamten Zeitraum wider, wenn Ihre Instanz älter als 24 Monate ist.

  • BigQuery Export (länger als 365 Tage, basierend auf der Aufbewahrung Ihres Datasets):

    • Wo wird berechnet?: Öffnen Sie Ihr BigQuery-Projekt, nachdem Sie die Tabelle ingestion_metrics exportiert haben, und führen Sie dann eine Abfrage für SUM(log_volume) (oder total_size_bytes in Looker und BigQuery) aus, gefiltert nach component = "Ingestion API".
    • Maximaler Zeitraum: Abfragen sind auf den Aufbewahrungszeitraum begrenzt, der für Ihre BigQuery-Tabelle konfiguriert ist, seit Sie den Export aktiviert haben, und nicht auf das 365-Tage-Limit für Dashboards.
    • Wie unterscheiden sich die Werte?: BigQuery fragt dieselbe asynchrone Tabelle ingestion_metrics ab wie Google SecOps-Dashboards. Die Werte stimmen mit den Dashboard-Abfragen für denselben Zeitraum überein, bleiben aber ungefähre Telemetrieindikatoren und sind nicht die Rohlog-Bytes für den gesamten Zeitraum oder das endgültige abgerechnete Volumen.

Aufnahme-Messwerte verwenden

  • Fehlerbehebung:Filtern Sie in den Normalizer-Messwerten nach log_type und state (z. B. failed_parsing), um Parsing-Probleme zu finden. Prüfen Sie drop_count und drop_reason_code auf Datenverluste.

  • Benachrichtigungen: Richten Sie in Cloud Monitoring Benachrichtigungen ein, um plötzliche Rückgänge bei log_count für kritische Logquellen oder hohe Raten von total_error_events zu überwachen. Wenn Sie Ihr tägliches Aufnahmevolumen anhand der vertraglichen Limits überwachen möchten, verwenden Sie den Messwert Gesamtgröße der aufgenommenen Logs (chronicle.googleapis.com/ingestion/log/bytes_count). Verwenden Sie den Messwert chronicle.googleapis.com/ingestion/quota_limit aus folgenden Gründen nicht für tägliche Volumenbenachrichtigungen:

    • Der Messwert quota_limit misst die Nähe zu dynamischen Backend-Limits und nicht das tatsächliche Volumen der aufgenommenen Daten.
    • Wenn Sie quota_limit für tägliche Volumenbenachrichtigungen verwenden, kann es zu Fehlalarmen kommen, wenn die Backend-Grenzwerte angepasst werden.

    Eine Anleitung zum Einrichten einer Benachrichtigungsrichtlinie für tägliche Volumenbenachrichtigungen finden Sie unter Beispielrichtlinie zum Überwachen des täglichen Aufnahmevolumens einrichten.

  • Kapazitätsplanung:Analysieren Sie log_volume-Trends in BigQuery, um zukünftige Anforderungen zu prognostizieren.

  • Konfiguration validieren:Nachdem Sie eine neue Datenquelle eingerichtet haben, prüfen Sie die Messwerte, um zu bestätigen, dass Daten übertragen und wie erwartet geparst werden.

Wenn Sie diese Aufnahme-Messwerte regelmäßig überwachen und verstehen, können Sie eine zuverlässige und effiziente Datenpipeline für Ihre Google SecOps-Instanz sicherstellen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten