Übersicht über die Datenaufnahme

Unterstützt in:

Google SecOps SIEM

In Google Security Operations werden Kundenprotokolle aufgenommen, die Daten normalisiert und Sicherheitswarnungen erkannt. Es bietet Self-Service-Funktionen für die Datenaufnahme, Bedrohungserkennung, Benachrichtigungen und Fallverwaltung. Google SecOps kann auch Warnungen von anderen SIEM-Systemen empfangen und analysieren.

Übersicht über die Architektur für die Datenaufnahme

Das folgende Diagramm veranschaulicht, wie Ihre Sicherheitsdaten in Google SecOps einfließen und wie das System diese Daten für die Analyse in der Benutzeroberfläche verarbeitet.

Hinweis :Weitere Informationen zum Datenaufnahmelaufzyklus, einschließlich des End-to-End-Datenflusses und der Latenz, sowie dazu, wie sich diese Faktoren auf die Verfügbarkeit von kürzlich aufgenommenen Daten für Abfragen und Analysen auswirken,

Wichtige Schritte bei der Datenaufnahme

Google SecOps verarbeitet Ihre Sicherheitsdaten so:

1. Ruft Sicherheitsdaten aus Cloud-Diensten wie Amazon S3 oder demGoogle Cloudab. Google SecOps verschlüsselt diese Daten bei der Übertragung.
2. Ihre verschlüsselten Sicherheitsdaten werden in Ihrem Konto getrennt gespeichert. Der Zugriff ist auf Sie und eine kleine Anzahl von Google-Mitarbeitern für Produktsupport, Entwicklung und Wartung beschränkt.
3. Rohe Sicherheitsdaten werden geparst und validiert, sodass sie leichter zu verarbeiten und anzusehen sind.
4. Indexiert die Daten für schnelle Suchvorgänge.
5. Die geparsten und indexierten Daten werden in Ihrem Konto gespeichert.
6. Bietet Nutzern sicheren Zugriff, um ihre Sicherheitsdaten zu durchsuchen und zu überprüfen.
7. Vergleicht Ihre Sicherheitsdaten mit der VirusTotal-Malware-Datenbank, um Übereinstimmungen zu finden. Klicken Sie in einer Google SecOps-Ereignisansicht, z. B. der Asset-Ansicht, auf VT-Kontext, um VirusTotal-Informationen aufzurufen. Google SecOps gibt Ihre Sicherheitsdaten nicht an VirusTotal weiter.

Übersicht über Methoden zur Datenaufnahme

Der Google SecOps-Aufnahmedienst fungiert als Gateway für alle Daten.

Google SecOps erfasst Daten über die folgenden Systeme:

• Google Cloud: Google SecOps ruft Daten direkt aus Ihrer Google Cloud -Organisation ab. Dies ist die primäre Methode für alle Standard- Google Cloud -Logs (z. B. Audit-, VPC-Fluss-, DNS- und Firewall-Logs). Dies ist die kostengünstigste und leistungsstärkste Möglichkeit, Google Cloud Telemetriedaten in Google SecOps zu importieren. Weitere Informationen finden Sie unter Daten in Google SecOps Google Cloud aufnehmen.

• Bindplane-Agent: Dies ist ein verwalteter Agent zum Erfassen von Logs aus lokalen Umgebungen und von Servern (Windows oder Linux). Bindplane ist eine Telemetrie-Pipeline, mit der Logs aus beliebigen Quellen in Google SecOps erfasst, verfeinert und exportiert werden können. So können Sie flexibel verschiedene Arten von Logs erfassen, die mit anderen Methoden nicht funktionieren. Sie können es für lokale Daten wie Firewall-Logs, Windows- und Linux-Logs oder für Cloud-Daten verwenden, die Sie vor der Aufnahme in Google SecOps vorverarbeiten möchten, z. B. verfeinern oder filtern. Sie können diesen Agent auch über die Bindplane OP Management Console verwalten. Weitere Informationen finden Sie unter BindPlane-Agent verwenden.

• Datenfeeds: Datenfeeds werden hauptsächlich für cloudbasierte Protokolle verwendet, bei denen die Drittanbieterprotokolle bereits in einem Objektspeicher wie Cloud Storage oder Amazon S3 zusammengefasst sind oder wenn der Drittanbieter Push-basierte Methoden wie Webhook unterstützt. Datenfeeds bieten auch sofort einsatzbereite Unterstützung für eine vordefinierte Reihe von API-basierten Integrationen. Verwenden Sie Datenfeeds für cloudbasierte Logs wie EDRs oder SaaS-Anwendungen und für die spezifischen Integrationen, die als Direct API vordefiniert sind. Über die Datenfeeds werden Logs direkt an den Google SecOps-Aufnahmedienst gesendet. Weitere Informationen finden Sie in der Dokumentation zur Feedverwaltung. Datenfeeds unterstützen Protokollzeilen mit einer Größe von bis zu 4 MB. Mit Cloud Logging können Sie Feedaktivitäten und Fehler überwachen. Weitere Informationen finden Sie unter Feedaktivität mit Cloud Logging analysieren.

• Chronicle API-Aufnahmemethoden: Verwenden Sie die modernen Chronicle API-Aufnahmemethoden für benutzerdefinierte, volumenstarke oder selbst entwickelte Anwendungen, die nicht in andere Methoden passen. Diese Methode ist etwas komplexer als andere Erfassungsmethoden.

Hinweis :Die Legacy-Ingestion API ist eingestellt. Wenn Sie sie verwenden, führen Sie die erforderlichen Migrationsschritte aus, die unter Von der Legacy-SIEM API zur Chronicle API migrieren beschrieben sind.

• Forwarder: Der Forwarder wird nicht mehr unterstützt. Google empfiehlt stattdessen die Verwendung des Bindplane-Agents.

Parser konvertieren Logs aus Kundensystemen in ein einheitliches Datenmodell (Unified Data Model, UDM). Downstream-Systeme in Google SecOps verwenden das UDM, um zusätzliche Funktionen bereitzustellen, darunter Regeln und die UDM-Suche.

Hier finden Sie ausführliche Informationen zum Lebenszyklus der Datenaufnahme für die Suche, einschließlich des End-to-End-Datenflusses und der Latenz sowie der Auswirkungen dieser Faktoren auf die Verfügbarkeit kürzlich aufgenommener Daten für Abfragen und Analysen.

Hinweis :Wenn Sie den Betriebsstatus und den Zustand aller Ihrer Datenquellen und Parser überwachen möchten, rufen Sie den Health Hub auf. Sie enthält Informationen zu fehlgeschlagenen und irregulären Quellen und Log-Typen und bietet Kontext für die Diagnose und Behebung von Problemen.

Spezifikationen:

• Beim Erfassen von Dateien muss das Inhaltsformat der Datei mit dem erwarteten Format der Dateiendung übereinstimmen, damit die Logs erfolgreich erfasst werden können.

• Bei großen Dateien (5–10 GB oder größer) kann sich die Datenaufnahme erheblich verzögern.

• Für die Aufnahme wird nur die UTF-8-Codierung unterstützt.

Zeiten für die Aufnahme und Datenverfügbarkeit

Die Datenverfügbarkeit für die Analyse in Google SecOps hängt von mehreren Phasen ab. Um Verzögerungen zu beheben, müssen Sie zwischen Verzögerungen im Quellsystem und der Verarbeitungszeit von Google SecOps unterscheiden.

• Verzögerungen im Quellsystem (vor der Aufnahme): Viele Datenquellen haben inhärente Latenzen. Daten sind möglicherweise nicht sofort nach einem Ereignis verfügbar. Das kann folgende Gründe haben:

  • Zeitpläne für die Quellverarbeitung und das Batching.
  • Zeit, die zum Schreiben von Ereignissen in Logdateien oder API-Endpunkte erforderlich ist.
  • API-Ratenbegrenzungen.
  • Die Differenz zwischen dem Zeitstempel des Ereignisses und dem Zeitpunkt, zu dem das Log für die Aufnahme verfügbar ist (z. B. createTime).

• Verzögerungen bei der Aufnahme und Verarbeitung von Google SecOps-Daten: Nachdem Daten einen Aufnahmepunkt erreicht haben, können die folgenden Schritte zu Verzögerungen führen:

  • Erfassungsintervall: Bei zusammengefassten Quellen (z. B. APIs oder Speicher-Buckets) bestimmt die konfigurierte Feed-Häufigkeit (z. B. alle 5 Minuten oder jede Stunde) die maximale Verzögerung.
  • Interne Pipeline: Parsing, Normalisierung, Indexierung und Anreicherung. Weitere Informationen finden Sie unter Datenverfügbarkeit für die Suche.

Wenn es zu Verzögerungen kommt, müssen Sie feststellen, ob die Quelle oder Google SecOps die Ursache ist. Logs aus Blob-Speicherdiensten sind beispielsweise nicht in Echtzeit verfügbar und hängen von der Polling-Häufigkeit ab.

Eine Liste der Logtypen mit bekannten Verzögerungen auf der Quellseite finden Sie in der Feed Management API-Referenz.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten