In ein von Google verwaltetes BigQuery-Projekt exportieren

Unterstützt in:

Google SecOps bietet einen verwalteten Data Lake mit normalisierten und mit Threat Intelligence angereicherten Telemetriedaten, indem Daten nach BigQuery exportiert werden. Dadurch haben Sie folgende Möglichkeiten:

  • Ad-hoc-Abfragen direkt in BigQuery ausführen
  • Sie können Ihre eigenen Business-Intelligence-Tools wie Looker oder Microsoft Power BI verwenden, um Dashboards, Berichte und Analysen zu erstellen.
  • Google SecOps-Daten mit Drittanbieter-Datensätzen zusammenführen
  • Analysen mit Data-Science- oder Machine-Learning-Tools durchführen
  • Berichte mit vordefinierten Standard- und benutzerdefinierten Dashboards erstellen

Google SecOps exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereignisdatensätze:UDM-Datensätze, die aus Logdaten erstellt wurden, die von Kunden aufgenommen wurden. Diese Datensätze werden mit Aliasinformationen angereichert.
  • Regelabgleich (Erkennungen): Instanzen, in denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains, IP-Adressen) aus Ereignissen, die mit IoC-Feeds (Indicator of Compromise, Kompromittierungsindikator) übereinstimmen. Dazu gehören Übereinstimmungen mit globalen Feeds und kundenspezifischen Feeds.
  • Aufnahmemesswerte:Dazu gehören Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Logs erstellten Ereignisse, die Anzahl der Logfehler, die darauf hinweisen, dass Logs nicht geparst werden konnten, und der Status von Google SecOps-Forwardern. Weitere Informationen finden Sie unter BigQuery-Schema für Aufnahmemesswerte.
  • Entitätsdiagramm und Entitätsbeziehungen: Hier wird die Beschreibung von Entitäten und ihren Beziehungen zu anderen Entitäten gespeichert.

Übersicht über die Tabellen

Google SecOps erstellt das Dataset datalake in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: Für aufgezählte Typen in der Tabelle entity_graph werden die numerischen Werte den Stringwerten zugeordnet.
  • entity_graph: Speichert Daten zu UDM-Entitäten.
  • events: Hier werden Daten zu UDM-Ereignissen gespeichert.
  • ingestion_metrics: Hier werden Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen wie Google SecOps-Forwardern, Feeds und der Ingestion API gespeichert.
  • ioc_matches: Speichert IOC-Übereinstimmungen, die für UDM-Ereignisse gefunden wurden.
  • job_metadata: Eine interne Tabelle, die zum Nachverfolgen des Exports von Daten nach BigQuery verwendet wird.
  • rule_detections: Speichert Erkennungen, die von Regeln zurückgegeben werden, die in Google SecOps ausgeführt werden. Diese Tabelle enthält nur Erkennungen aus Regeln, die zum Zeitpunkt des Exports aktiv waren (z. B. aktiviert und nicht gelöscht). Erkennungen aus Regeln, die vor der Ausführung des Exportjobs deaktiviert oder gelöscht wurden, sind in dieser Tabelle nicht enthalten, auch wenn der Erkennungszeitpunkt im Abfragebereich liegt.
  • rulesets: Speichert Informationen zu den von Google SecOps kuratierten Erkennungen, einschließlich der Kategorie, zu der jeder Regelsatz gehört, ob er aktiviert ist und des aktuellen Warnstatus.
  • udm_enum_value_to_name_mapping: Für aufgezählte Typen in der Tabelle „Ereignisse“ werden die numerischen Werte den Stringwerten zugeordnet.
  • udm_events_aggregates: Hier werden aggregierte Daten gespeichert, die nach Stunde normalisierter Ereignisse zusammengefasst sind. Diese Tabelle wird nach bestem Wissen und Gewissen erstellt. Daten für jede Stunde sind möglicherweise nicht sofort verfügbar und es kann zu Verzögerungen bei der Erfassung kommen.

Datenaktualität und Exportschema

Die Daten in den BigQuery-Tabellen werden in unterschiedlichen Intervallen aktualisiert. Wenn Sie diese Faktoren kennen, können Sie die Erwartungen hinsichtlich der Datenverfügbarkeit besser einschätzen:

  • UDM-Ereignisse (Tabelle events): Werden in der Regel häufig aktualisiert. Daten sind normalerweise innerhalb von etwa zwei Stunden nach der Aufnahme verfügbar.
  • Best-Effort-Exporte:Viele andere Datasets werden auf Best-Effort-Basis exportiert. Dazu zählen unter anderem:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Bei Tabellen, die bestmöglich exportiert werden, gibt es zwar regelmäßige Aktualisierungen, aber keine verbindliche Latenz oder Zeitangabe. Es kann zu Verzögerungen kommen. Bei stündlichen Aggregationen wie udm_events_aggregates sind Daten für jede Stunde möglicherweise nicht sofort am Ende der Stunde verfügbar. Die Daten werden in der Regel innerhalb eines Tages aktualisiert.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business-Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Verwenden Sie die Google SecOps BigQuery Access API, um den Zugriff auf die BigQuery-Instanz zu aktivieren. Sie können eine E‑Mail-Adresse für einen Nutzer oder eine Gruppe angeben, die Ihnen gehört. Wenn Sie den Zugriff auf eine Gruppe konfigurieren, verwenden Sie die Gruppe, um zu verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen können.

Wenn Sie Looker oder ein anderes Business Intelligence-Tool mit BigQuery verbinden möchten, wenden Sie sich an Ihren Google SecOps-Ansprechpartner, um Anmeldedaten für das Dienstkonto zu erhalten, mit denen Sie eine Anwendung mit dem Google SecOps-BigQuery-Dataset verbinden können. Das Dienstkonto hat die IAM-Rolle „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) und die Rolle „BigQuery-Jobbetrachter“ (roles/bigquery.jobUser).

Datenaufbewahrung

Für Google SecOps Enterprise Plus-Kunden, die von Google verwaltetes BigQuery verwenden, gelten die folgenden Aufbewahrungseinstellungen:

  • Kunden mit Legacy-Google SecOps Enterprise Plus (auf dem Weg zur Einstellung):

    • Tabellen ioc_matches und rule_detections: Aufgrund des geringen Volumens ist kein Aufbewahrungslimit festgelegt.
    • entity_graph, udm_events_aggregates und andere partitionierte Tabellen mit Ausnahme der Tabelle events: 180 Tage.
    • events-Tabelle (UDM-Ereignisse): Daten werden gemäß Ihrem Google SecOps-Vertrag oder standardmäßig 366 Tage lang aufbewahrt, sofern im Vertrag nichts anderes angegeben ist.

  • Neukunden: Die Aufbewahrungsdauer unterliegt dem Google SecOps-Vertrag (entsprechend der Funktion „Erweiterter BigQuery Export“).

Nächste Schritte

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten