Ergebnisse per Bulk-Export nach BigQuery exportieren

Mit On-Demand-Bulk-Exporten können Sie Snapshots von Security Command Center-Ergebnissen nach BigQuery exportieren. Diese Exporte unterstützen benutzerdefinierte Sicherheitsanalysen, Compliance-Audits und Berichte. Bulk-Exporte ergänzen kontinuierliche Exporte, indem sie den Status von Ergebnissen zu einem bestimmten Zeitpunkt erfassen.

Um mehr über BigQuery zu erfahren, lesen Sie die BigQuery-Dokumentation.

Unterstützte Funktionen für Bulk-Exporte

Mit Bulk-Exporten können Sie Folgendes tun:

Dataset-Struktur

Ergebnisse werden als Zeilen in die Tabelle findings nach BigQuery exportiert, die nach source_id, finding_id und event_time geclustert ist.

Jedes Dataset enthält die Tabelle findings mit den folgenden Feldern:

Feld Beschreibung
source_id

Eine eindeutige Kennung, die Security Command Center der Quelle eines Ergebnisses zuweist. Beispielsweise haben alle Ergebnisse aus der Cloud-Anomalieerkennungsquelle denselben source_id-Wert.

Beispiel: 1234567890

finding_id Eindeutige Kennung für das Ergebnis. Sie ist innerhalb der Quelle für die Organisation eindeutig. Sie ist alphanumerisch und besteht aus höchstens 32 Zeichen.
event_time

Die Zeit, zu der das Ereignis aufgetreten ist, oder die Zeit, zu der eine Aktualisierung des Ergebnisses erfolgt ist. Wenn das Ergebnis beispielsweise eine offene Firewall darstellt, erfasst event_time den Zeitpunkt, zu dem der Detektor der Meinung ist, dass die Firewall geöffnet ist. Wenn das Ergebnis danach behoben wird, gibt diese Zeit an, wann das Ergebnis behoben wurde.

Beispiel: 2019-09-26 12:48:00.985000 UTC

Weitere Informationen zu Änderungen, die die Ereigniszeit aktualisieren, finden Sie unter Übersicht über den Lebenszyklus von Ergebnissen.

bulk_export_id

Bei Bulk-Exporten ist dies eine UUID.

Bei kontinuierlichen Exporten ist dieses Feld leer.

finding

Ein Datensatz mit Bewertungsdaten wie Sicherheit, Risiko, Zustand oder Datenschutz, der zur Präsentation, Benachrichtigung, Analyse, Richtlinienprüfung und Durchsetzung in das Security Command Center aufgenommen wird. Beispiel: Eine Cross-Site-Scripting-Sicherheitslücke (XSS) in einer App Engine-Anwendung ist ein Ergebnis.

Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt Finding.

resource

Informationen zur Ressource von Google Cloud , die mit diesem Ergebnis verknüpft ist.

Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt Resource.

Kosten

Für diese Funktion fallen BigQuery-Gebühren für das Speichern von Daten in BigQuery an. Weitere Informationen finden Sie unter BigQuery-Speicherpreise.

Hinweis

Führen Sie die folgenden Schritte aus, bevor Sie diese Funktion aktivieren.

Berechtigungen einrichten

Zum Durcharbeiten dieser Anleitung benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):

BigQuery-Dataset erstellen

Erstellen Sie ein BigQuery-Dataset. Folgen Sie dazu der Anleitung unter Datasets erstellen.

Security Command Center API aktivieren

Wenn Sie Ergebnisse exportieren möchten, müssen Sie die Security Command Center API aktivieren. Gehen Sie dazu so vor:

  1. Rufen Sie in der Google Cloud Console die Seite „API-Bibliothek“ auf.

    Zur API-Bibliothek

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktivieren möchten.

  3. Geben Sie im Feld Suchen Security Command Center ein und klicken Sie dann in den Suchergebnissen auf Security Command Center.

  4. Klicken Sie auf der angezeigten API-Seite auf Aktivieren.

Die Security Command Center API ist für Ihr Projekt aktiviert.

Perimeterzugriff in VPC Service Controls gewähren

Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Perimeterzugriff in VPC Service Controls gewähren und führen Sie diese Schritte bei Bedarf aus.

Dieser Schritt muss für jeden Nutzer wiederholt werden, der einen Bulk-Export für einen bestimmten Dienstperimeter erstellt.

Regel für eingehenden Traffic für den neuen BigQuery-Bulk-Export erstellen

Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Regel für eingehenden Traffic für den neuen Export nach BigQuery erstellen und führen Sie die entsprechenden Schritte aus, falls erforderlich.

Einschränkungen für BigQuery-Bulk-Exporte

Beachten Sie beim Erstellen von BigQuery-Bulk-Exporten die folgenden Einschränkungen:

  • Für eine einzelne Organisation sind jeweils nur drei gleichzeitige Bulk-Exporte zulässig.
  • Wenn Sie mehrere nicht gleichzeitige Bulk-Exporte in dasselbe BigQuery-Dataset anfordern, werden neuere Ergebnisse innerhalb des Exports an die BigQuery-Tabelle findings angehängt. Ergebnisse werden nicht überschrieben.

BigQuery-Bulk-Export erstellen

Ein Bulk-Export von Ergebnissen kann für eine Organisation, ein Projekt oder einen Ordner durchgeführt werden.

So initiieren Sie einen Bulk-Export von Ergebnissen in eine BigQuery-Instanz mit der gcloud CLI:

  1. Zur Google Cloud Console.

    Rufen Sie die Google Cloud Console auf.

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren.

  4. Führen Sie den folgenden Befehl aus, um eine neue Exportkonfiguration zu erstellen:

    gcloud scc findings export-to-bigquery PARENT \
        --dataset=DATASET_NAME \
        [--location=LOCATION; default="global"] \
    

    Ersetzen Sie Folgendes:

    • PARENT: Der relative Name des Exportbereichs: Organisation, Projekt oder Ordner. Beispielformate: organizations/ORGANIZATION_ID, projects/PROJECT_ID, folders/FOLDER_ID
    • DATASET_NAME: Der Name des BigQuery-Datasets. Beispielformat: projects/PROJECT_ID/datasets/DATASET_ID
    • LOCATION: Der Security Command Center-Standort, an dem eine Exportkonfiguration erstellt werden soll. Wenn der Datenstandort aktiviert ist, verwenden Sie eu, sa oder us. Verwenden Sie andernfalls den Wert global. Diese Variable ist optional.

      Führen Sie beispielsweise den folgenden Befehl aus, um einen Bulk-Export aller Ergebnisse zu erstellen:

      gcloud scc findings export-to-bigquery organizations/123
        --dataset=projects/123/datasets/DATASET
      

      In Bezug auf den Datenstandort wird im vorherigen Beispiel der globale Endpunkt aufgerufen.

      Führen Sie den folgenden Befehl aus, um denselben Bulk-Export für den Endpunkt eu zu erstellen:

      gcloud scc findings export-to-bigquery organizations/123
        --dataset=projects/123/datasets/DATASET
        --location=locations/eu
      

Dieser Befehl gibt ein Objekt für einen Vorgang mit langer Ausführungszeit zurück, das einen name-String enthält, der zum Verfolgen des Exportstatus erforderlich ist. Informationen zum Verfolgen des Status dieses BigQuery-Bulk-Exports finden Sie unter Status eines Bulk-Exports ansehen.

Informationen zum Ansehen der Ergebnisse finden Sie unter Ergebnisse prüfen.

Abfragen

Eine Vielzahl von Abfragen, mit denen Sie Ergebnisdaten analysieren können, finden Sie unter Nützliche Abfragen.

Status eines Bulk-Exports ansehen

Wenn Sie den Status eines Bulk-Exports aufrufen möchten, benötigen Sie den String long running operation name, der beim Erstellen des Bulk-Exports zurückgegeben wurde.

  1. Zur Google Cloud Console.

    Rufen Sie die Google Cloud Console auf.

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren.

  4. Führen Sie den folgenden Befehl aus, um die Details der Bulk-Exportkonfiguration zu prüfen:

    gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
        --organization=ORGANIZATION_ID
    

    Ersetzen Sie Folgendes:

    • LONG_RUNNING_OPERATION_NAME: Der String name, der beim Erstellen des Bulk-Exports zurückgegeben wurde.
    • ORGANIZATION_ID

      Führen Sie beispielsweise den folgenden Befehl aus, um den Status einer Bulk-Exportanfrage mit der zurückgegebenen name: "long-running-operation-name" aus einer Organisation mit einer Organisations-ID zu sehen, die auf 123 festgelegt ist:

      gcloud scc operations describe long-running-operation-name \
        --organization=123
      
  • Wenn ein Export erfolgreich war, enthält die Antwort done: true.
  • Wenn ein Export fehlgeschlagen ist, enthält die Antwort einen Fehlercode.
  • Wenn ein Export noch läuft, enthält die Antwort weder done: true noch einen Fehlercode.

BigQuery-Bulk-Exporte und kontinuierliche Exporte

Wenn Sie Bulk- und kontinuierliche BigQuery-Exporte zusammen für dasselbe BigQuery-Dataset verwenden möchten, gibt es zwei Möglichkeiten:

  • Erstellen Sie zuerst einen kontinuierlichen Export und füllen Sie dann die Daten mit einem Bulk-Export auf.

    1. Richten Sie einen kontinuierlichen Export in ein BigQuery-Dataset ein. Sobald der Export erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.

    2. Erstellen Sie einen Bulk-Export mit demselben BigQuery-Ziel-Dataset. Ein Snapshot aller Security Command Center-Ergebnisse zum Zeitpunkt des Exports wird in das ausgewählte Dataset exportiert.

    Die Ausführung eines Bulk-Exports nimmt Zeit in Anspruch. Wenn der kontinuierliche Export also bei T1 erstellt wird, der Bulk-Export bei T2 ausgelöst wird und der Snapshot der Ergebnisse für den Bulk-Export bei T3 abgeschlossen wird, können zwischen T1 und T3 doppelte Einträge auftreten. Es gibt jedoch keine Lücken bei den Ergebnissen.

  • Erstellen Sie zuerst einen Bulk-Export und dann einen kontinuierlichen Export.

    1. Erstellen Sie einen Bulk-Export. Ein Snapshot aller Security Command Center-Ergebnisse zum Zeitpunkt der Ausführung des Exports wird in das ausgewählte BigQuery-Dataset exportiert.

    2. Richten Sie einen kontinuierlichen Export in dasselbe BigQuery-Ziel-Dataset ein. Sobald der Export erfolgreich erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.

    Wenn der Bulk-Export bei T1 erstellt wird, der Snapshot der Ergebnisse für den Bulk-Export bei T2 abgeschlossen wird und der kontinuierliche Export bei T3 ausgelöst wird, fehlen möglicherweise Ergebnisse zwischen T2 und T3 im BigQuery-Dataset.

Nächste Schritte