Ergebnisse per Bulk-Export nach BigQuery exportieren

Dienststufen „Standard-Legacy“, „Standard“, „Premium“ und „Enterprise“

Die Dienststufe „Security Command Center Enterprise“ wird am 21. Mai 2027 eingestellt. Wenn Ihre Organisation die Dienststufe „Enterprise“ verwendet, wird sie am oder nach dem 21. Mai 2027 automatisch auf die Dienststufe „Premium“ umgestellt. Bei Fragen wenden Sie sich an Ihren Kundenbetreuer oder einen Google Cloud Vertriebsspezialisten.

In diesem Dokument wird beschrieben, wie Sie On-Demand-Bulk-Exporte von Security Command Center-Ergebnissen nach BigQuery initiieren.

BigQuery ist das vollständig verwaltete, kostengünstige Data Warehouse für Analysen im Petabyte-Bereich von Google Cloud. Damit können Sie große Datenmengen nahezu in Echtzeit analysieren. Google CloudWeitere Informationen zu BigQuery finden Sie in der BigQuery-Dokumentation.

Übersicht

Mit dieser Funktion erhalten Sie eine Momentaufnahme der Ergebnisse bis zu einem bestimmten Zeitpunkt. Diese Funktion ergänzt den kontinuierlichen BigQuery-Export und ermöglicht umfassende Analysen und Berichte.

Mit Bulk-Exporten können Sie Folgendes tun:

• BigQuery-Bulk-Export erstellen
• Status eines BigQuery-Bulk-Exports ansehen

Hinweis: Sie können einen Bulk-Export und einen kontinuierlichen Export für dasselbe BigQuery-Dataset konfigurieren. Dies kann jedoch zu doppelten oder fehlenden Ergebnissen führen. Weitere Informationen finden Sie unter BigQuery-Bulk-Exporte und kontinuierliche Exporte. Weitere Informationen.

Dataset-Struktur

Ergebnisse werden als Zeilen in der findings Tabelle nach BigQuery exportiert. Die Tabelle ist nach source_id, finding_id, und event_time gruppiert.

Jedes Dataset enthält die Tabelle findings mit den folgenden Feldern:

Feld	Beschreibung
source_id	Eine eindeutige Kennung, die Security Command Center der Quelle eines Ergebnisses zuweist. Beispielsweise haben alle Ergebnisse der Quelle „Cloud-Anomalieerkennung“ denselben source_id-Wert. Beispiel: 1234567890
finding_id	Eindeutige Kennung für das Ergebnis. Sie ist innerhalb einer Quelle für eine Organisation eindeutig. Sie ist alphanumerisch und besteht aus höchstens 32 Zeichen.
event_time	Die Zeit, zu der das Ereignis aufgetreten ist, oder die Zeit, zu der eine Aktualisierung des Ergebnisses erfolgt ist. Wenn das Ergebnis beispielsweise eine offene Firewall darstellt, erfasst event_time den Zeitpunkt, zu dem der Detektor der Meinung ist, dass die Firewall geöffnet ist. Wenn das Ergebnis später behoben wird , gibt dieser Zeitpunkt an, wann das Ergebnis behoben wurde. Beispiel: 2019-09-26 12:48:00.985000 UTC
bulk_export_id	Bei Bulk-Exporten ist dies eine UUID. Bei kontinuierlichen Exporten ist dieses Feld leer.
finding	Ein Datensatz von Bewertungsdaten wie Sicherheit, Risiko, Zustand oder Datenschutz, die in Security Command Center für Darstellung, Benachrichtigung, Analyse, Richtlinientests und Durchsetzung aufgenommen werden. Eine XSS-Sicherheitslücke (Cross-Site-Scripting) in einer App Engine Anwendung ist beispielsweise ein Ergebnis. Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz für das Finding Objekt.
resource	Informationen zur Google Cloud Ressource, die diesem Ergebnis zugeordnet ist. Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz für das Resource Objekt.

Kosten

Für die Speicherung von Daten in BigQuery fallen BigQuery-Gebühren für diese Funktion an. Weitere Informationen finden Sie unter BigQuery-Speicherpreise.

Hinweis

Führen Sie die folgenden Schritte aus, bevor Sie diese Funktion aktivieren.

Berechtigungen einrichten

Zum Durcharbeiten dieser Anleitung benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):

• Für die Organisation, aus der Sie Ergebnisse exportieren möchten, eine der folgenden Rollen:

  • Bearbeiter von Sicherheitscenter-BigQuery-Exporten (roles/securitycenter.bigQueryExportsEditor)
  • Sicherheitscenter-Administrator (roles/securitycenter.admin)

  Weitere Informationen zu Security Command Center-Rollen finden Sie unter Zugriffssteuerung.

• Für das BigQuery-Dataset: BigQuery-Dateninhaber (roles/bigquery.dataOwner)

  Weitere Informationen zu BigQuery-Rollen finden Sie unter BigQuery-IAM-Rollen und ‑Berechtigungen.

• Für das Projekt, zu dem das BigQuery-Zieldataset gehört: ProjectIAMAdmin (roles/resourcemanager.projectIamAdmin)

BigQuery-Dataset erstellen

Erstellen Sie ein BigQuery-Dataset anhand der Schritte unter Datasets erstellen.

Hinweis: Sie müssen die Abrechnung für das Projekt aktivieren, zu dem das Dataset gehört und die BigQuery-Tabelle so einstellen, dass sie nie abläuft. Andernfalls wird die Standardablaufzeit für die Tabelle auf 60 Tage festgelegt. Das bedeutet, dass Sie in Ihrem BigQuery-Dataset nur Ergebnisse aus den letzten 60 Tagen sehen. Wenn Sie die Einstellung für den Ablauf der Tabelle ändern möchten, muss die Abrechnung für das Projekt aktiviert sein.

Security Command Center API aktivieren

Wenn Sie Ergebnisse exportieren möchten, müssen Sie die Security Command Center API aktivieren. Gehen Sie dazu so vor:

1. Wechseln Sie in der Google Cloud Console zur Seite „API-Bibliothek“.

   Zur API-Bibliothek

2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktivieren möchten.

3. Geben Sie im Feld Suchen Security Command Center ein und klicken Sie dann in den Suchergebnissen auf „Security Command Center“.

4. Klicken Sie auf der angezeigten API-Seite auf Aktivieren.

Die Security Command Center API ist für Ihr Projekt aktiviert.

Perimeterzugriff in VPC Service Controls gewähren

Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Perimeterzugriff in VPC Service Controls gewähren und führen Sie die dort beschriebenen Schritte aus, falls erforderlich.

Dieser Schritt muss für jeden Nutzer wiederholt werden, der einen Bulk-Export für einen bestimmten Dienstperimeter erstellt.

Eingangsregel für den neuen BigQuery-Bulk-Export erstellen

Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Eingangsregel für den neuen Export nach BigQuery erstellen und führen Sie die dort beschriebenen Schritte aus, falls erforderlich.

Einschränkungen für BigQuery-Bulk-Exporte

Beachten Sie beim Erstellen von BigQuery-Bulk-Exporten die folgenden Einschränkungen:

• Für eine einzelne Organisation sind jeweils nur drei gleichzeitige Bulk-Exporte zulässig.
• Wenn Sie mehrere nicht gleichzeitige Bulk-Exporte in dasselbe BigQuery-Dataset anfordern, werden neuere Ergebnisse innerhalb des Exports an die BigQuery-Tabelle findings angehängt. Ergebnisse werden nicht überschrieben.

BigQuery-Bulk-Export erstellen

Ein Bulk-Export von Ergebnissen kann für eine Organisation, ein Projekt oder einen Ordner durchgeführt werden.

Wenn Sie einen Bulk-Export von Ergebnissen in eine BigQuery-Instanz initiieren möchten, verwenden Sie die gcloud CLI und gehen Sie so vor:

1. Wechseln Sie in der Google Cloud Console zur Seite „API-Bibliothek“.

   Wechseln Sie in der Google Cloud Console zur Seite „API-Bibliothek“.

2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

3. Klicken Sie auf Cloud Shell aktivieren.

4. Führen Sie den folgenden Befehl aus, um eine neue Exportkonfiguration zu erstellen:

   gcloud scc findings export-to-bigquery PARENT \
       --dataset=DATASET_NAME \
       [--location=LOCATION; default="global"] \
   

   Ersetzen Sie Folgendes:

   • PARENT: Der relative Name des Exportbereichs: Organisation, Projekt oder Ordner. Beispielformate: organizations/ORGANIZATION_ID, projects/PROJECT_ID, folders/FOLDER_ID
   • DATASET_NAME: Der Name des BigQuery-Datasets. Beispielformat: projects/PROJECT_ID/datasets/DATASET_ID

   • LOCATION: Der Security Command Center Standort, an dem eine Exportkonfiguration erstellt werden soll. Wenn die Datenresidenz aktiviert ist, verwenden Sie eu, sa, oder us. Andernfalls verwenden Sie den Wert global. Diese Variable ist optional.

     Führen Sie beispielsweise den folgenden Befehl aus, um einen Bulk-Export aller Ergebnisse zu erstellen:

     gcloud scc findings export-to-bigquery organizations/123
       --dataset=projects/123/datasets/DATASET
     

     Im Hinblick auf die Datenresidenz, ruft das vorherige Beispiel den globalen Endpunkt auf.

     Führen Sie den folgenden Befehl aus, um denselben Bulk-Export für den Endpunkt eu zu erstellen:

     gcloud scc findings export-to-bigquery organizations/123
       --dataset=projects/123/datasets/DATASET
       --location=locations/eu
     

Dieser Befehl gibt ein Objekt für einen Vorgang mit langer Ausführungszeit zurück, das einen name-String enthält, der zum Verfolgen des Status des Exports erforderlich ist. Informationen zum Verfolgen des Status dieses BigQuery-Bulk-Exports finden Sie unter Status eines Bulk-Exports ansehen.

Informationen zum Ansehen der Ergebnisse finden Sie unter Ergebnisse prüfen.

Abfragen

Eine Vielzahl von Abfragen, mit denen Sie Ergebnisdaten analysieren können, finden Sie unter Nützliche Abfragen.

Hinweis: Doppelte Einträge können in Ihrem Dataset vorhanden sein. Zum Herausfiltern dieser Einträge können Sie die Klausel DISTINCT verwenden, wie in der ersten Beispielabfrage gezeigt.

Status eines Bulk-Exports ansehen

Wenn Sie den Status eines Bulk-Exports ansehen möchten, benötigen Sie den long running operation name String, der Ihnen beim Erstellen des Bulk-Exports zurückgegeben wurde.

1. Wechseln Sie in der Google Cloud Console zur Seite „API-Bibliothek“.

   Wechseln Sie in der Google Cloud Console zur Seite „API-Bibliothek“.

2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

3. Klicken Sie auf Cloud Shell aktivieren.

4. Führen Sie den folgenden Befehl aus, um die Details der Bulk-Exportkonfiguration zu prüfen:

   gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
       --organization=ORGANIZATION_ID
   

   Ersetzen Sie Folgendes:

   • LONG_RUNNING_OPERATION_NAME: Der String name, der beim Erstellen des Bulk-Exports zurückgegeben wurde.

   • ORGANIZATION_ID

     Führen Sie beispielsweise den folgenden Befehl aus, um den Status einer Bulk-Exportanfrage abzurufen, bei der das zurückgegebene name: "long-running-operation-name" aus einer Organisation mit einer Organisations-ID 123 zurückgegeben wurde:

     gcloud scc operations describe long-running-operation-name \
       --organization=123
     

• Wenn ein Export erfolgreich war, enthält die Antwort done: true.
• Wenn ein Export fehlgeschlagen ist, enthält die Antwort einen Fehlercode.
• Wenn ein Export noch läuft, enthält die Antwort weder done: true noch einen Fehlercode.

BigQuery-Bulk-Exporte und kontinuierliche Exporte

Wenn Sie Bulk- und kontinuierliche BigQuery-Exporte zusammen für dasselbe BigQuery-Dataset verwenden möchten, gibt es zwei mögliche Ansätze:

• Zuerst einen kontinuierlichen Export erstellen und dann mit einem Bulk-Export nachfüllen

  1. Richten Sie einen kontinuierlichen Export in ein BigQuery-Dataset ein. Sobald der Export erfolgreich erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.

  2. Erstellen Sie einen Bulk-Export mit demselben BigQuery-Zieldataset. Eine Momentaufnahme aller Security Command Center-Ergebnisse zum Zeitpunkt des Exports wird in das ausgewählte Dataset exportiert.

  Die Ausführung eines Bulk-Exports dauert einige Zeit. Wenn der kontinuierliche Export also um T1 erstellt wird, der Bulk-Export um T2 ausgelöst wird und die Momentaufnahme der Ergebnisse für den Bulk-Export um T3 abgeschlossen ist, können zwischen T1 und T3 doppelte Datensätze auftreten. Es gibt jedoch keine Lücken bei den Ergebnissen.

• Zuerst einen Bulk-Export und dann einen kontinuierlichen Export erstellen

  1. Erstellen Sie einen Bulk-Export. Eine Momentaufnahme aller Security Command Center-Ergebnisse zum Zeitpunkt des Exports wird in das ausgewählte BigQuery-Dataset exportiert.

  2. Richten Sie einen kontinuierlichen Export in dasselbe BigQuery-Zieldataset ein. Sobald der Export erfolgreich erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.

  Wenn der Bulk-Export um T1 erstellt wird, die Momentaufnahme der Ergebnisse für den Bulk-Export um T2 abgeschlossen ist und der kontinuierliche Export um T3 ausgelöst wird, können Ergebnisse zwischen T2 und T3 im BigQuery-Dataset fehlen.

Nächste Schritte

• Informationen zum Ausführen einmaliger Exporte in Security Command Center
• Informationen zum kontinuierlichen Streamen von Ergebnissen nach BigQuery zur Analyse.