In ein von Google verwaltetes BigQuery-Projekt exportieren

Unterstützt in:

Google SecOps bietet einen verwalteten Data Lake mit normalisierten und mit Threat Intelligence angereicherten Telemetriedaten, indem Daten nach BigQuery exportiert werden. Damit haben Sie folgende Möglichkeiten:

  • Ad-hoc-Abfragen direkt in BigQuery ausführen
  • Sie können Ihre eigenen Business Intelligence-Tools wie Looker oder Microsoft Power BI verwenden, um Dashboards, Berichte und Analysen zu erstellen.
  • Google SecOps-Daten mit Drittanbieter-Datensätzen zusammenführen
  • Analysen mit Data Science- oder Machine Learning-Tools durchführen
  • Berichte mit vordefinierten Standard- und benutzerdefinierten Dashboards erstellen

Google SecOps exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereignisdatensätze:UDM-Datensätze, die aus Logdaten erstellt wurden, die von Kunden aufgenommen wurden. Diese Datensätze werden mit Aliasinformationen angereichert.
  • Regelabgleich (Erkennungen): Instanzen, in denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains, IP-Adressen) aus Ereignissen, die mit IoC-Feeds (Indicator of Compromise, Kompromittierungsindikator) übereinstimmen. Dazu gehören Übereinstimmungen mit globalen Feeds und kundenspezifischen Feeds.
  • Messwerte für die Aufnahme:Dazu gehören Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Logs generierten Ereignisse, die Anzahl der Logfehler, die darauf hinweisen, dass Logs nicht geparst werden konnten, und der Status der Google SecOps-Weiterleitungen. Weitere Informationen finden Sie unter BigQuery-Schema für Messwerte für die Aufnahme.
  • Entitätsdiagramm und Entitätsbeziehungen: Hier wird die Beschreibung von Entitäten und ihren Beziehungen zu anderen Entitäten gespeichert.

Übersicht über die Tabellen

Google SecOps erstellt das Dataset datalake in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: Für aufgezählte Typen in der Tabelle entity_graph werden die numerischen Werte den Stringwerten zugeordnet.
  • entity_graph: Speichert Daten zu UDM-Entitäten.
  • events: Speichert Daten zu UDM-Ereignissen.
  • ingestion_metrics: Hier werden Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen wie Google SecOps-Forwardern, Feeds und der Ingestion API gespeichert.
  • ioc_matches: Speichert IOC-Übereinstimmungen, die für UDM-Ereignisse gefunden wurden.
  • job_metadata: Eine interne Tabelle, die zum Nachverfolgen des Exports von Daten nach BigQuery verwendet wird.
  • rule_detections: Speichert Erkennungen, die von Regeln zurückgegeben werden, die in Google SecOps ausgeführt werden. Diese Tabelle enthält nur Erkennungen aus Regeln, die zum Zeitpunkt des Exports aktiv waren (z. B. aktiviert und nicht gelöscht). Erkennungen aus Regeln, die vor der Ausführung des Exportjobs deaktiviert oder gelöscht wurden, sind in dieser Tabelle nicht enthalten, auch wenn der Erkennungszeitpunkt im Abfragebereich liegt.
  • rulesets: Speichert Informationen zu von Google SecOps kuratierten Erkennungen, einschließlich der Kategorie, zu der jeder Regelsatz gehört, ob er aktiviert ist und des aktuellen Warnstatus.
  • udm_enum_value_to_name_mapping: Ordnet für aufgezählte Typen in der Tabelle „events“ die numerischen Werte den Stringwerten zu.
  • udm_events_aggregates: Hier werden aggregierte Daten gespeichert, die nach Stunde normalisierter Ereignisse zusammengefasst sind. Diese Tabelle wird nach dem Best-Effort-Prinzip ausgefüllt. Daten für jede Stunde sind möglicherweise nicht sofort verfügbar und es kann zu Verzögerungen bei der Erstellung der Bevölkerung kommen.

Datenaktualität und Exportschema

Die Daten in den BigQuery-Tabellen werden in unterschiedlichen Intervallen aktualisiert. Wenn Sie diese Faktoren kennen, können Sie die Erwartungen hinsichtlich der Datenverfügbarkeit besser einschätzen:

  • UDM-Ereignisse (events-Tabelle): Werden in der Regel häufig aktualisiert. Daten sind normalerweise innerhalb von etwa zwei Stunden nach der Aufnahme verfügbar.
  • Best-Effort-Exporte:Viele andere Datasets werden auf Best-Effort-Basis exportiert. Dazu zählt unter anderem Folgendes:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Bei Tabellen, die nach dem Best-Effort-Prinzip exportiert werden, erfolgen zwar regelmäßige Aktualisierungen, es gibt jedoch keine verbindliche Latenz oder Zeitangabe. Es kann zu Verzögerungen kommen. Bei stündlichen Aggregationen wie udm_events_aggregates sind Daten für jede Stunde möglicherweise nicht sofort am Ende der Stunde verfügbar. Daten werden in der Regel innerhalb eines Tages aktualisiert.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business-Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Verwenden Sie die Google SecOps BigQuery Access API, um den Zugriff auf die BigQuery-Instanz zu ermöglichen. Sie können eine E-Mail-Adresse für einen Nutzer oder eine Gruppe angeben, die Ihnen gehört. Wenn Sie den Zugriff auf eine Gruppe konfigurieren, können Sie damit verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen können.

Wenn Sie Looker oder ein anderes Business Intelligence-Tool mit BigQuery verbinden möchten, wenden Sie sich an Ihren Google SecOps-Ansprechpartner, um Dienstkontoanmeldedaten zu erhalten, mit denen Sie eine Anwendung mit dem Google SecOps-BigQuery-Dataset verbinden können. Das Dienstkonto hat die IAM-Rolle „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) und die Rolle „BigQuery Job Viewer“ (roles/bigquery.jobUser).

Datenaufbewahrung

Für Google SecOps Enterprise Plus-Kunden, die von Google verwaltetes BigQuery verwenden, gelten die folgenden Aufbewahrungseinstellungen:

  • Kunden mit der alten Version von Google SecOps Enterprise Plus (auf dem Weg zur Einstellung):

    • ioc_matches- und rule_detections-Tabellen: Aufgrund des geringen Volumens ist kein Aufbewahrungslimit festgelegt.
    • entity_graph, udm_events_aggregates und andere partitionierte Tabellen mit Ausnahme der Tabelle events: 180 Tage.
    • events-Tabelle (UDM-Ereignisse): Daten werden gemäß Ihrem Google SecOps-Vertrag oder standardmäßig 366 Tage lang aufbewahrt, sofern im Vertrag nichts anderes angegeben ist.

  • Neue Kunden: Die Aufbewahrungsdauer unterliegt dem Google SecOps-Vertrag (entspricht der Funktion „Erweiterter BigQuery Export“).

Nächste Schritte

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten