Übersicht über die Datenaufnahme

Unterstützt in:

Google Security Operations nimmt Kundenlogs auf, normalisiert die Daten und erkennt Sicherheitswarnungen. Es bietet Self-Service-Funktionen für die Datenaufnahme, Bedrohungserkennung, Warnungen und Fallverwaltung. Google SecOps kann auch Warnungen von anderen SIEM-Systemen empfangen und analysieren.

Übersicht über die Architektur der Datenaufnahme

Das folgende Diagramm veranschaulicht, wie Ihre Sicherheitsdaten in Google SecOps fließen und wie das System diese Daten zur Analyse in der Benutzeroberfläche verarbeitet.

Datenfluss und ‑verarbeitung für Google SecOps

Wichtige Schritte bei der Datenaufnahme

Google SecOps verarbeitet Ihre Sicherheitsdaten so:

  1. Ruft Sicherheitsdaten aus Cloud-Diensten wie Amazon S3 oder dem Google Cloudab. Google SecOps verschlüsselt diese Daten bei der Übertragung.
  2. Trennt und speichert Ihre verschlüsselten Sicherheitsdaten in Ihrem Konto. Der Zugriff ist auf Sie und eine kleine Anzahl von Google-Mitarbeitern für Produktsupport, Entwicklung und Wartung beschränkt.
  3. Parst und validiert Rohdaten, wodurch sie einfacher zu verarbeiten und anzusehen sind.
  4. Indexiert die Daten für schnelle Suchvorgänge.
  5. Speichert die geparsten und indexierten Daten in Ihrem Konto.
  6. Bietet Nutzern sicheren Zugriff, um ihre Sicherheitsdaten zu suchen und zu überprüfen.
  7. Vergleicht Ihre Sicherheitsdaten mit der VirusTotal-Malware-Datenbank, um Übereinstimmungen zu finden. Klicken Sie in einer Google SecOps-Ereignisansicht, z. B. in der Asset-Ansicht, auf VT-Kontext , um VirusTotal-Informationen zu sehen. Google SecOps gibt Ihre Sicherheitsdaten nicht an VirusTotal weiter.

Übersicht über Methoden zur Datenaufnahme

Der Google SecOps-Aufnahmedienst fungiert als Gateway für alle Daten.

Google SecOps nimmt Daten mit den folgenden Systemen auf:

  • Google Cloud: Google SecOps ruft Daten direkt von Ihrer Google Cloud Organisation ab. Dies ist die primäre Methode für alle Standard Google Cloud logs (z. B. Audit, VPC Flow, DNS und Firewall). Es ist die kostengünstigste und leistungsstärkste Methode, um Google Cloud Telemetriedaten in Google SecOps zu übertragen. Weitere Informationen finden Sie unter Daten in Google SecOps aufnehmen. Google Cloud

  • Bindplane-Agent: Dies ist ein verwalteter Agent zum Erfassen von Logs aus lokalen Umgebungen und von Servern (Windows oder Linux). Bindplane ist eine Telemetrie-Pipeline, mit der Logs aus beliebigen Quellen erfasst, verfeinert und in Google SecOps exportiert werden können. So können Sie verschiedene Arten von Logs erfassen, die mit anderen Methoden nicht funktionieren. Sie können ihn für lokale Daten wie Firewall-Logs, Windows- und Linux-Logs oder für Cloud-Daten verwenden, die Sie vor der Aufnahme in Google SecOps vorverarbeiten möchten (z. B. verfeinern oder filtern). Sie können diesen Agenten auch über die Bindplane OP Management Console verwalten. Weitere Informationen finden Sie unter Bindplane-Agenten verwenden.

  • Datenfeeds: Datenfeeds werden hauptsächlich für cloudbasierte Logs verwendet, bei denen die Logs von Drittanbietern bereits in einem Objektspeicher wie Cloud Storage oder Amazon S3 aggregiert wurden oder wenn der Drittanbieter pushbasierte Methoden wie Webhooks unterstützt. Datenfeeds bieten auch sofort einsatzbereite Unterstützung für eine vordefinierte Reihe von API-basierten Integrationen. Verwenden Sie Datenfeeds für cloudbasierte Logs wie EDRs oder SaaS-Anwendungen und für die spezifischen Integrationen, die als Direct API vordefiniert sind. Die Datenfeeds senden Logs direkt an den Google SecOps-Aufnahmedienst. Weitere Informationen finden Sie in der Dokumentation zur Feedverwaltung. Datenfeeds unterstützen Logzeilen mit einer Größe von bis zu 4 MB. Sie können die Feedaktivität und Fehler mit Cloud Logging überwachen. Weitere Informationen finden Sie unter Feedaktivität mit Cloud Logging analysieren.

  • Aufnahme-APIs: Verwenden Sie die Aufnahme-API für benutzerdefinierte, umfangreiche oder selbst entwickelte Anwendungen, die nicht zu anderen Methoden passen. Diese Methode ist etwas komplexer als andere Methoden zur Datenaufnahme. Weitere Informationen finden Sie unter Aufnahme-API.

  • Forwarder: Der Forwarder wird nicht mehr unterstützt. Google empfiehlt, stattdessen den Bindplane-Agenten zu verwenden.

Parser konvertieren Logs aus Kundensystemen in ein einheitliches Datenmodell (Unified Data Model, UDM). Nachgeschaltete Systeme in Google SecOps verwenden das UDM, um zusätzliche Funktionen bereitzustellen, darunter Regeln und die UDM-Suche.

Unter Datenverfügbarkeit für die Suche finden Sie ausführliche Informationen zum Lebenszyklus der Datenaufnahme, einschließlich End-to-End-Datenfluss und Latenz, und wie sich diese Faktoren auf die Verfügbarkeit von kürzlich aufgenommenen Daten für Abfragen und Analysen auswirken.

Spezifikationen:

  • Beim Aufnehmen von Dateien muss das Inhaltsformat der Datei mit dem erwarteten Format der Dateierweiterung übereinstimmen, damit die Logs erfolgreich aufgenommen werden können.

  • Große Dateien (5–10 GB oder größer) können die Datenaufnahme erheblich verzögern.

  • Die Aufnahme unterstützt nur die UTF-8-Codierung.

Aufnahme- und Datenverfügbarkeitszeiten

Die Datenverfügbarkeit für die Analyse in Google SecOps hängt von mehreren Phasen ab. Zur Fehlerbehebung bei Verzögerungen müssen Sie zwischen Verzögerungen des Quellsystems und der Google SecOps-Verarbeitungszeit unterscheiden.

  • Verzögerungen des Quellsystems (vor der Aufnahme): Viele Datenquellen haben inhärente Latenzen. Daten sind möglicherweise nicht sofort nach einem Ereignis zur Erfassung verfügbar. Das kann folgende Gründe haben:

    • Verarbeitungs- und Batching-Zeitpläne der Quelle.
    • Zeit, die zum Schreiben von Ereignissen in Logdateien oder API-Endpunkte erforderlich ist.
    • API-Ratenbegrenzungen.
    • Der Unterschied zwischen dem Zeitstempel des Ereignisses und dem Zeitpunkt, zu dem das Log für die Aufnahme verfügbar ist (z. B. createTime).

  • Verzögerungen bei der Aufnahme und Verarbeitung in Google SecOps: Nachdem Daten einen Aufnahmepunkt erreicht haben, können die folgenden Schritte zu Verzögerungen führen:

    • Erfassungsintervall: Bei gepoolten Quellen (z. B. APIs oder Storage Buckets) bestimmt die konfigurierte Feedfrequenz (z. B. alle 5 Minuten oder jede Stunde) die maximale Verzögerung.
    • Interne Pipeline: Parsing, Normalisierung, Indexierung und Anreicherung. Weitere Informationen finden Sie unter Datenverfügbarkeit für die Suche.

Wenn es zu Verzögerungen kommt, müssen Sie feststellen, ob die Quelle oder Google SecOps die Ursache ist. Logs aus Blob-Speicherdiensten sind beispielsweise nicht in Echtzeit verfügbar und hängen von der Abruffrequenz ab.

Eine Liste der Logtypen mit bekannten Verzögerungen auf Quellseite finden Sie in der API-Referenz zur Feedverwaltung.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten