In ein von Google verwaltetes BigQuery-Projekt exportieren

Unterstützt in:

Google SecOps bietet einen verwalteten Data Lake mit normalisierten und mit Threat Intelligence angereicherten Telemetriedaten, indem Daten nach BigQuery exportiert werden. So können Sie Folgendes tun:

  • Ad-hoc-Abfragen direkt in BigQuery ausführen
  • Eigene Business Intelligence-Tools wie Looker oder Microsoft Power BI verwenden, um Dashboards, Berichte und Analysen zu erstellen
  • Google SecOps-Daten mit Datensätzen von Drittanbietern verknüpfen
  • Analysen mit Data Science- oder Machine Learning-Tools ausführen
  • Berichte mit vordefinierten Standard- und benutzerdefinierten Dashboards ausführen

Google SecOps exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereignisdatensätze:UDM-Datensätze, die aus von Kunden aufgenommenen Logdaten erstellt wurden. Diese Datensätze werden mit Aliasinformationen angereichert.
  • Regelübereinstimmungen (Erkennungen): Instanzen, in denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains, IP-Adressen) aus Ereignissen, die mit Feeds für Kompromittierungsindikatoren (IoC) übereinstimmen. Dazu gehören Übereinstimmungen mit aus globalen und kundenspezifischen Feeds.
  • Aufnahmemesswerte:Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Logs erstellten Ereignisse, die Anzahl der Logfehler, die darauf hinweisen, dass Logs nicht geparst werden konnten, und der Status der Google SecOps-Weiterleitungen. Weitere Informationen finden Sie im BigQuery-Schema für Aufnahmemesswerte.
  • Entitätsdiagramm und Entitätsbeziehungen: Speichert die Beschreibung von Entitäten und deren Beziehungen zu anderen Entitäten.

Übersicht über die Tabellen

Google SecOps erstellt das Dataset datalake in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: Für aufgezählte Typen in der Tabelle entity_graph werden die numerischen Werte den Stringwerten zugeordnet.
  • entity_graph: Speichert Daten zu UDM-Entitäten.
  • events: Speichert Daten zu UDM-Ereignissen.
  • ingestion_metrics: Speichert Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen wie Google SecOps-Weiterleitungen, Feeds und der Ingestion API.
  • ioc_matches: Speichert IoC-Übereinstimmungen, die für UDM-Ereignisse gefunden wurden.
  • job_metadata: Eine interne Tabelle, mit der der Export von Daten nach BigQuery verfolgt wird.
  • rule_detections: Speichert Erkennungen, die von in Google SecOps ausgeführten Regeln zurückgegeben werden. Diese Tabelle enthält nur Erkennungen aus Regeln, die zum Zeitpunkt der Ausführung des Exportvorgangs aktiv waren (z. B. aktiviert und nicht gelöscht). Erkennungen aus Regeln, die vor der Ausführung des Exportjobs deaktiviert oder gelöscht wurden, sind in dieser Tabelle nicht enthalten, auch wenn der Erkennungszeitpunkt im Abfragebereich liegt.
  • rulesets: Speichert Informationen zu kuratierten Erkennungen von Google SecOps, einschließlich der Kategorie, zu der jedes Regelset gehört, ob es aktiviert ist und des aktuellen Benachrichtigungsstatus.
  • udm_enum_value_to_name_mapping: Für aufgezählte Typen in der Tabelle „events“ werden die numerischen Werte den Stringwerten zugeordnet.
  • udm_events_aggregates: Speichert aggregierte Daten, die nach Stunde normalisierter Ereignisse zusammengefasst sind. Diese Tabelle wird nach dem Best-Effort-Prinzip gefüllt. Daten für jede Stunde sind möglicherweise nicht sofort verfügbar und es kann zu Verzögerungen bei der Befüllung kommen.

Datenaktualität und Exportzeitplan

Die Daten in den BigQuery-Tabellen werden in unterschiedlichen Abständen aktualisiert. Wenn Sie diese Intervalle kennen, können Sie besser einschätzen, wann Daten verfügbar sind:

  • UDM-Ereignisse (events-Tabelle) : Werden in der Regel häufig aktualisiert. Daten sind normalerweise innerhalb von etwa zwei Stunden nach der Aufnahme verfügbar.
  • Best-Effort-Exporte:Viele andere Datensätze werden nach dem Best-Effort-Prinzip exportiert. Dazu gehören unter anderem:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Bei Tabellen, die nach dem Best-Effort-Prinzip exportiert werden, gibt es zwar regelmäßige Aktualisierungen, aber keine fest zugesagte Latenz oder Zeitplanung. Es kann zu Verzögerungen kommen und bei stündlichen Aggregationen wie udm_events_aggregates sind die Daten für jede Stunde möglicherweise nicht sofort am Ende der Stunde verfügbar. Die Daten werden in der Regel innerhalb eines Tages aktualisiert.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Verwenden Sie die Google SecOps BigQuery Access API, um den Zugriff auf die BigQuery-Instanz zu aktivieren. Sie können eine E‑Mail-Adresse für einen Nutzer oder eine Gruppe angeben, deren Inhaber Sie sind. Wenn Sie den Zugriff auf eine Gruppe konfigurieren, können Sie damit verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen können.

Wenn Sie Looker oder ein anderes Business Intelligence-Tool mit BigQuery verbinden möchten, wenden Sie sich an Ihren Google SecOps-Ansprechpartner, um Anmeldedaten für das Dienstkonto zu erhalten, mit denen Sie eine Anwendung mit dem Google SecOps-BigQuery-Dataset verbinden können. Das Dienstkonto hat die IAM-Rolle „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) und „BigQuery-Jobbetrachter“ (roles/bigquery.jobUser).

Datenaufbewahrung

Für Google SecOps Enterprise Plus-Kunden, die von Google verwaltetes BigQuery verwenden, gelten die folgenden Aufbewahrungseinstellungen:

  • Bestandskunden mit Google SecOps Enterprise Plus (auf dem Weg zur Einstellung):

    • ioc_matches - und rule_detections-Tabellen: Aufgrund des geringen Volumens ist kein Aufbewahrungslimit festgelegt.
    • entity_graph, udm_events_aggregates und andere partitionierte Tabellen außer der Tabelle events: 180 Tage.
    • events -Tabelle (UDM-Ereignisse): Daten werden gemäß Ihrem Google SecOps-Vertrag oder standardmäßig 366 Tage lang aufbewahrt, sofern im Vertrag nichts anderes angegeben ist.

  • Neukunden: Die Aufbewahrungsdauer unterliegt dem Google SecOps-Vertrag (entspricht der Funktion „Erweiterter BigQuery-Export“).

Nächste Schritte

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten