In ein selbstverwaltetes BigQuery-Projekt exportieren

Unterstützt in:

Mit Google Security Operations können Sie Daten des Unified Data Model (UDM) in ein selbstverwaltetes Projekt exportieren, dessen Inhaber und Administrator Sie sind. Sie können Ihr eigenes Google Cloud Projekt mit Ihrer Google SecOps-Instanz verknüpfen und IAM- Berechtigungen unabhängig verwalten, ohne von von Google verwalteten Einstellungen abhängig zu sein. Sie können auch die Funktion Bring Your Own BigQuery (BYOBQ) aktivieren und konfigurieren. Wählen Sie dazu SIEM-Einstellungen > Datenexport aus.

Google SecOps exportiert die folgenden Datenkategorien in Ihr BigQuery-Projekt:

  • udm_events: Logdaten, die in das UDM-Schema normalisiert wurden.
  • udm_events_aggregates: Aggregierte Daten, die nach jeder Stunde normalisierter Ereignisse zusammengefasst werden.
  • entity_graph: Das Entitätsdiagramm hat drei Dimensionen: Kontextdaten, abgeleitete Daten und globaler Kontext. Alle Kontextdaten und abgeleiteten Daten, sowie ein Teil der Daten zum globalen Kontext werden als UDM geschrieben und gespeichert.
  • rule_detections: Erkennungen, die von Regeln zurückgegeben werden, die in Google SecOps ausgeführt werden.
  • ioc_matches: IOC-Übereinstimmungen, die mit UDM-Ereignissen gefunden werden.
  • ingestion_metrics: Messwerte im Zusammenhang mit der Pipeline für Aufnahme und Normalisierung (standardmäßig exportiert).
  • udm_enum_value_to_name_mapping: Ordnet Enum-Werte UDM-Feldnamen zu (standardmäßig exportiert).
  • entity_enum_value_to_name_mapping: Ordnet Enum-Werte Entitätsfeldnamen zu (standardmäßig exportiert).

Aufbewahrungsdauer

Wenn Sie ein Bestandskunde sind, wird mit der von Ihnen festgelegten Aufbewahrungsdauer definiert, wie lange die exportierten Daten für BigQuery in Ihrem von Google verwalteten Projekt verbleiben.

Die Aufbewahrungsdauer beginnt mit dem Datum des frühesten exportierten Datensatzes. Sie können für jede Datenquelle eine separate Aufbewahrungsdauer konfigurieren, bis zu einem Maximum, das der Standardaufbewahrungsdauer für Logs in Google SecOps entspricht.

Wenn keine Aufbewahrungsdauer angegeben ist, ist das Standardverhalten, Daten ohne Bereinigung oder dauerhaftes Löschen weiter zu exportieren, um die Aufbewahrungsdauer zu begrenzen.

In diesem Fall können Sie die Aufbewahrungsdauer auf Unbegrenzt festlegen:

  • Klicken Sie auf SIEM-Einstellungen > Datenexport.
  • Wählen Sie in der Spalte Aufbewahrungsdauer der Tabelle Datenexport für den entsprechenden Datentyp Unbegrenzt aus der Liste aus.

Anschließend können Sie in Ihrem Google Cloud Speicher-Bucket eine Regel für den Objektlebenszykluseinrichten, um Objekte nach Bedarf zu löschen.

Datenmigration für Bestandskunden

Wenn Sie Bestandskunde sind, werden Ihre Daten aus dem vorhandenen von Google verwalteten Projekt nicht in das selbstverwaltete Projekt migriert. Da die Daten nicht migriert werden, befinden sie sich in zwei separaten Projekten. Wenn Sie die Daten über einen Zeitraum abfragen möchten, der das Aktivierungsdatum des selbstverwalteten Projekts umfasst, müssen Sie eine der folgenden Aktionen ausführen:

  • Verwenden Sie eine einzelne Abfrage, die Daten aus beiden Projekten zusammenführt.
  • Führen Sie zwei separate Abfragen für die jeweiligen Projekte aus, eine für Daten vor dem Aktivierungsdatum des selbstverwalteten Projekts und eine für Daten danach. Wenn die Aufbewahrungsdauer für Ihr von Google verwaltetes Projekt abläuft, werden diese Daten gelöscht. Danach können Sie nur noch Daten abfragen, die sich in Ihrem Google Cloud Projekt befinden.

Berechtigungen, die zum Exportieren von Daten erforderlich sind

Wenn Sie auf Ihre BigQuery-Daten zugreifen möchten, führen Sie Ihre Abfragen in BigQuery selbst aus. Weisen Sie allen Nutzern, die Zugriff benötigen, die folgenden IAM-Rollen zu:

BigQuery-Datenexport in Ihr selbstverwaltetes Projekt starten

  1. Erstellen Sie ein Google Cloud Projekt, in das Ihre Daten exportiert werden sollen. Weitere Informationen finden Sie unter Projekt für Google SecOps Google Cloud konfigurieren.

  2. Verknüpfen Sie Ihr selbstverwaltetes Projekt mit Ihrer Google SecOps-Instanz, um eine Verbindung zwischen Google SecOps und Ihrem selbstverwalteten Projekt herzustellen. Weitere Informationen finden Sie unter Google Security Operations mit Google Cloud Diensten verknüpfen. Sie können auch die Funktion Bring Your Own BigQuery (BYOBQ) aktivieren und konfigurieren. Wählen Sie dazu SIEM-Einstellungen > Datenexport aus.

  3. Prüfen Sie die Tabellen im Dataset datalake in BigQuery, um zu bestätigen, dass die Daten in Ihr selbstverwaltetes Projekt exportiert wurden.

Sie können Ad-hoc-Abfragen für Google SecOps-Daten schreiben, die in BigQuery-Tabellen gespeichert sind. Sie können auch erweiterte Analysen mit anderen Drittanbietertools erstellen, die in BigQuery integriert sind.

Alle Ressourcen, die in Ihrem selbstverwalteten Google Cloud Projekt erstellt wurden, um Exporte zu ermöglichen, einschließlich Cloud Storage-Bucket und BigQuery-Tabellen, befinden sich in derselben Region wie Google SecOps.

Wenn Sie beim Abfragen von BigQuery einen Fehler wie Unrecognized name: <field_name> at [<some_number>:<some_number>] erhalten, ist das Feld, auf das Sie zugreifen möchten, nicht in Ihrem Dataset enthalten. Das liegt daran, dass Ihr Schema während des Exportvorgangs dynamisch generiert wird .

Weitere Informationen zu Google SecOps-Daten in BigQuery finden Sie unter Google SecOps-Daten in BigQuery.

Verwenden Sie die in den folgenden Themen beschriebenen API-Methoden, um auf Exportkonfigurationen zuzugreifen und zu verwalten, wie Ihre Daten an BigQuery gesendet werden:

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten