In ein von Google verwaltetes BigQuery-Projekt exportieren

Unterstützt in:

Google SecOps bietet einen verwalteten Data Lake mit normalisierten und mit Threat Intelligence angereicherten Telemetriedaten, indem Daten nach BigQuery exportiert werden. Damit haben Sie folgende Möglichkeiten:

  • Ad-hoc-Abfragen direkt in BigQuery ausführen
  • Sie können Ihre eigenen Business-Intelligence-Tools wie Looker oder Microsoft Power BI verwenden, um Dashboards, Berichte und Analysen zu erstellen.
  • Google SecOps-Daten mit Drittanbieter-Datasets zusammenführen
  • Analysen mit Data Science- oder Machine Learning-Tools durchführen
  • Berichte mit vordefinierten Standard- und benutzerdefinierten Dashboards erstellen

Google SecOps exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereignisdatensätze:UDM-Datensätze, die aus Logdaten erstellt wurden, die von Kunden aufgenommen wurden. Diese Datensätze werden mit Aliasinformationen angereichert.
  • Regelabgleich (Erkennungen): Instanzen, in denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains, IP-Adressen) aus Ereignissen, die mit IoC-Feeds (Indicator of Compromise) übereinstimmen. Dazu gehören Übereinstimmungen mit globalen Feeds und kundenspezifischen Feeds.
  • Aufnahmemesswerte:Dazu gehören Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Logs erstellten Ereignisse, die Anzahl der Logfehler, die darauf hinweisen, dass Logs nicht geparst werden konnten, und der Status von Google SecOps-Forwardern. Weitere Informationen finden Sie unter BigQuery-Schema für Aufnahmemesswerte.
  • Entitätsdiagramm und Entitätsbeziehungen: Hier wird die Beschreibung von Entitäten und ihren Beziehungen zu anderen Entitäten gespeichert.

Übersicht über die Tabellen

Google SecOps erstellt das Dataset datalake in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: Für aufgezählte Typen in der Tabelle entity_graph werden die numerischen Werte den Stringwerten zugeordnet.
  • entity_graph: Speichert Daten zu UDM-Entitäten.
  • events: Speichert Daten zu UDM-Ereignissen.
  • ingestion_metrics: Hier werden Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen wie Google SecOps-Forwardern, Feeds und der Ingestion API gespeichert.
  • ioc_matches: Speichert IOC-Übereinstimmungen, die für UDM-Ereignisse gefunden wurden.
  • job_metadata: Eine interne Tabelle, mit der der Export von Daten nach BigQuery nachverfolgt wird.
  • rule_detections: Speichert Erkennungen, die von Regeln zurückgegeben werden, die in Google SecOps ausgeführt werden.
  • rulesets: Speichert Informationen zu den von Google SecOps kuratierten Erkennungen, einschließlich der Kategorie, zu der jeder Regelsatz gehört, ob er aktiviert ist und des aktuellen Warnstatus.
  • udm_enum_value_to_name_mapping: Ordnet für aufgezählte Typen in der Tabelle „events“ die numerischen Werte den Stringwerten zu.
  • udm_events_aggregates: Hier werden aggregierte Daten gespeichert, die nach Stunde normalisierter Ereignisse zusammengefasst sind.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business-Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Verwenden Sie die Google SecOps BigQuery Access API, um den Zugriff auf die BigQuery-Instanz zu aktivieren. Sie können eine E‑Mail-Adresse für einen Nutzer oder eine Gruppe angeben, deren Inhaber Sie sind. Wenn Sie den Zugriff auf eine Gruppe konfigurieren, verwenden Sie die Gruppe, um zu verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen können.

Wenn Sie Looker oder ein anderes Business Intelligence-Tool mit BigQuery verbinden möchten, wenden Sie sich an Ihren Google SecOps-Ansprechpartner, um Dienstkontoanmeldedaten zu erhalten, mit denen Sie eine Anwendung mit dem Google SecOps-BigQuery-Dataset verbinden können. Dem Dienstkonto wird die IAM-Rolle „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) und „BigQuery-Jobbetrachter“ (roles/bigquery.jobUser) zugewiesen.

Datenaufbewahrung

Für Google SecOps Enterprise Plus-Kunden, die von Google verwaltetes BigQuery verwenden, gelten die folgenden Aufbewahrungseinstellungen:

  • Kunden mit der alten Version von Google SecOps Enterprise Plus (auf dem Weg zur Einstellung):

    • ioc_matches- und rule_detections-Tabellen: Aufgrund des geringen Volumens ist kein Aufbewahrungslimit festgelegt.
    • entity_graph, udm_events_aggregates und andere partitionierte Tabellen mit Ausnahme der Tabelle events: 180 Tage.
    • events-Tabelle (UDM-Ereignisse): Daten werden gemäß Ihrem Google SecOps-Vertrag oder standardmäßig 366 Tage lang aufbewahrt, sofern im Vertrag nichts anderes angegeben ist.

  • Neue Kunden: Die Aufbewahrungsdauer richtet sich nach dem Google SecOps-Vertrag (entsprechend der erweiterten BigQuery Export-Funktion).

Wenn Sie Self-Service-Zugriff auf Google SecOps-Daten in BigQuery erhalten möchten, verwenden Sie die API-Methoden, die unter BigQuery Access API verwenden beschrieben werden.

Nächste Schritte

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten