Mit On-Demand-Bulk-Exporten können Sie Snapshots von Security Command Center-Ergebnissen nach BigQuery exportieren. Diese Exporte unterstützen benutzerdefinierte Sicherheitsanalysen, Compliance-Audits und Berichte. Bulk-Exporte ergänzen kontinuierliche Exporte, indem sie den Status von Ergebnissen zu einem bestimmten Zeitpunkt erfassen.
Um mehr über BigQuery zu erfahren, lesen Sie die BigQuery-Dokumentation.
Unterstützte Funktionen für Bulk-Exporte
Mit Bulk-Exporten können Sie Folgendes tun:
Dataset-Struktur
Ergebnisse werden als Zeilen in die Tabelle findings nach BigQuery exportiert, die nach source_id, finding_id und event_time geclustert ist.
Jedes Dataset enthält die Tabelle findings mit den folgenden Feldern:
| Feld | Beschreibung |
|---|---|
source_id |
Eine eindeutige Kennung, die Security Command Center der
Quelle eines Ergebnisses zuweist.
Beispielsweise haben alle Ergebnisse aus der Cloud-Anomalieerkennungsquelle denselben Beispiel: |
finding_id |
Eindeutige Kennung für das Ergebnis. Sie ist innerhalb der Quelle für die Organisation eindeutig. Sie ist alphanumerisch und besteht aus höchstens 32 Zeichen. |
event_time |
Die Zeit, zu der das Ereignis aufgetreten ist, oder die Zeit, zu der eine Aktualisierung des Ergebnisses erfolgt ist. Wenn das Ergebnis beispielsweise eine offene Firewall darstellt, erfasst Beispiel: Weitere Informationen zu Änderungen, die die Ereigniszeit aktualisieren, finden Sie unter Übersicht über den Lebenszyklus von Ergebnissen. |
bulk_export_id |
Bei Bulk-Exporten ist dies eine UUID. Bei kontinuierlichen Exporten ist dieses Feld leer. |
finding |
Ein Datensatz mit Bewertungsdaten wie Sicherheit, Risiko, Zustand oder Datenschutz, der zur Präsentation, Benachrichtigung, Analyse, Richtlinienprüfung und Durchsetzung in das Security Command Center aufgenommen wird. Beispiel: Eine Cross-Site-Scripting-Sicherheitslücke (XSS) in einer App Engine-Anwendung ist ein Ergebnis.
Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt
|
resource |
Informationen zur Ressource von Google Cloud , die mit diesem Ergebnis verknüpft ist.
Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt
|
Kosten
Für diese Funktion fallen BigQuery-Gebühren für das Speichern von Daten in BigQuery an. Weitere Informationen finden Sie unter BigQuery-Speicherpreise.
Hinweis
Führen Sie die folgenden Schritte aus, bevor Sie diese Funktion aktivieren.
Berechtigungen einrichten
Zum Durcharbeiten dieser Anleitung benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):
Verwenden Sie für die Organisation, aus der Sie Ergebnisse exportieren möchten, eine der folgenden Optionen:
- Security Center BigQuery Exports Editor
(
roles/securitycenter.bigQueryExportsEditor) - Sicherheitscenter-Administrator
(
roles/securitycenter.admin)
Weitere Informationen zu Security Command Center-Rollen finden Sie unter Zugriffssteuerung.
- Security Center BigQuery Exports Editor
(
Für das BigQuery-Dataset: BigQuery-Dateninhaber (
roles/bigquery.dataOwner)Weitere Informationen zu BigQuery-Rollen finden Sie unter BigQuery-IAM-Rollen und -Berechtigungen.
ProjectIAMAdmin (
roles/resourcemanager.projectIamAdmin) für das Projekt, zu dem das BigQuery-Ziel-Dataset gehört
BigQuery-Dataset erstellen
Erstellen Sie ein BigQuery-Dataset. Folgen Sie dazu der Anleitung unter Datasets erstellen.
Security Command Center API aktivieren
Wenn Sie Ergebnisse exportieren möchten, müssen Sie die Security Command Center API aktivieren. Gehen Sie dazu so vor:
Rufen Sie in der Google Cloud Console die Seite „API-Bibliothek“ auf.
Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktivieren möchten.
Geben Sie im Feld Suchen
Security Command Centerein und klicken Sie dann in den Suchergebnissen auf Security Command Center.Klicken Sie auf der angezeigten API-Seite auf Aktivieren.
Die Security Command Center API ist für Ihr Projekt aktiviert.
Perimeterzugriff in VPC Service Controls gewähren
Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Perimeterzugriff in VPC Service Controls gewähren und führen Sie diese Schritte bei Bedarf aus.
Dieser Schritt muss für jeden Nutzer wiederholt werden, der einen Bulk-Export für einen bestimmten Dienstperimeter erstellt.
Regel für eingehenden Traffic für den neuen BigQuery-Bulk-Export erstellen
Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Regel für eingehenden Traffic für den neuen Export nach BigQuery erstellen und führen Sie die entsprechenden Schritte aus, falls erforderlich.
Einschränkungen für BigQuery-Bulk-Exporte
Beachten Sie beim Erstellen von BigQuery-Bulk-Exporten die folgenden Einschränkungen:
- Für eine einzelne Organisation sind jeweils nur drei gleichzeitige Bulk-Exporte zulässig.
- Wenn Sie mehrere nicht gleichzeitige Bulk-Exporte in dasselbe BigQuery-Dataset anfordern, werden neuere Ergebnisse innerhalb des Exports an die BigQuery-Tabelle
findingsangehängt. Ergebnisse werden nicht überschrieben.
BigQuery-Bulk-Export erstellen
Ein Bulk-Export von Ergebnissen kann für eine Organisation, ein Projekt oder einen Ordner durchgeführt werden.
So initiieren Sie einen Bulk-Export von Ergebnissen in eine BigQuery-Instanz mit der gcloud CLI:
Zur Google Cloud Console.
Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.
Klicken Sie auf Cloud Shell aktivieren.
Führen Sie den folgenden Befehl aus, um eine neue Exportkonfiguration zu erstellen:
gcloud scc findings export-to-bigquery PARENT \ --dataset=DATASET_NAME \ [--location=LOCATION; default="global"] \Ersetzen Sie Folgendes:
PARENT: Der relative Name des Exportbereichs: Organisation, Projekt oder Ordner. Beispielformate:organizations/ORGANIZATION_ID,projects/PROJECT_ID,folders/FOLDER_IDDATASET_NAME: Der Name des BigQuery-Datasets. Beispielformat:projects/PROJECT_ID/datasets/DATASET_IDLOCATION: Der Security Command Center-Standort, an dem eine Exportkonfiguration erstellt werden soll. Wenn der Datenstandort aktiviert ist, verwenden Sieeu,saoderus. Verwenden Sie andernfalls den Wertglobal. Diese Variable ist optional.Führen Sie beispielsweise den folgenden Befehl aus, um einen Bulk-Export aller Ergebnisse zu erstellen:
gcloud scc findings export-to-bigquery organizations/123 --dataset=projects/123/datasets/DATASETIn Bezug auf den Datenstandort wird im vorherigen Beispiel der globale Endpunkt aufgerufen.
Führen Sie den folgenden Befehl aus, um denselben Bulk-Export für den Endpunkt
euzu erstellen:gcloud scc findings export-to-bigquery organizations/123 --dataset=projects/123/datasets/DATASET --location=locations/eu
Dieser Befehl gibt ein Objekt für einen Vorgang mit langer Ausführungszeit zurück, das einen name-String enthält, der zum Verfolgen des Exportstatus erforderlich ist. Informationen zum Verfolgen des Status dieses BigQuery-Bulk-Exports finden Sie unter Status eines Bulk-Exports ansehen.
Informationen zum Ansehen der Ergebnisse finden Sie unter Ergebnisse prüfen.
Abfragen
Eine Vielzahl von Abfragen, mit denen Sie Ergebnisdaten analysieren können, finden Sie unter Nützliche Abfragen.
Status eines Bulk-Exports ansehen
Wenn Sie den Status eines Bulk-Exports aufrufen möchten, benötigen Sie den String long running operation name, der beim Erstellen des Bulk-Exports zurückgegeben wurde.
Zur Google Cloud Console.
Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.
Klicken Sie auf Cloud Shell aktivieren.
Führen Sie den folgenden Befehl aus, um die Details der Bulk-Exportkonfiguration zu prüfen:
gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \ --organization=ORGANIZATION_IDErsetzen Sie Folgendes:
LONG_RUNNING_OPERATION_NAME: Der Stringname, der beim Erstellen des Bulk-Exports zurückgegeben wurde.ORGANIZATION_IDFühren Sie beispielsweise den folgenden Befehl aus, um den Status einer Bulk-Exportanfrage mit der zurückgegebenen
name: "long-running-operation-name"aus einer Organisation mit einer Organisations-ID zu sehen, die auf123festgelegt ist:gcloud scc operations describe long-running-operation-name \ --organization=123
- Wenn ein Export erfolgreich war, enthält die Antwort
done: true. - Wenn ein Export fehlgeschlagen ist, enthält die Antwort einen Fehlercode.
- Wenn ein Export noch läuft, enthält die Antwort weder
done: truenoch einen Fehlercode.
BigQuery-Bulk-Exporte und kontinuierliche Exporte
Wenn Sie Bulk- und kontinuierliche BigQuery-Exporte zusammen für dasselbe BigQuery-Dataset verwenden möchten, gibt es zwei Möglichkeiten:
Erstellen Sie zuerst einen kontinuierlichen Export und füllen Sie dann die Daten mit einem Bulk-Export auf.
Richten Sie einen kontinuierlichen Export in ein BigQuery-Dataset ein. Sobald der Export erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.
Erstellen Sie einen Bulk-Export mit demselben BigQuery-Ziel-Dataset. Ein Snapshot aller Security Command Center-Ergebnisse zum Zeitpunkt des Exports wird in das ausgewählte Dataset exportiert.
Die Ausführung eines Bulk-Exports nimmt Zeit in Anspruch. Wenn der kontinuierliche Export also bei T1 erstellt wird, der Bulk-Export bei T2 ausgelöst wird und der Snapshot der Ergebnisse für den Bulk-Export bei T3 abgeschlossen wird, können zwischen T1 und T3 doppelte Einträge auftreten. Es gibt jedoch keine Lücken bei den Ergebnissen.
Erstellen Sie zuerst einen Bulk-Export und dann einen kontinuierlichen Export.
Erstellen Sie einen Bulk-Export. Ein Snapshot aller Security Command Center-Ergebnisse zum Zeitpunkt der Ausführung des Exports wird in das ausgewählte BigQuery-Dataset exportiert.
Richten Sie einen kontinuierlichen Export in dasselbe BigQuery-Ziel-Dataset ein. Sobald der Export erfolgreich erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.
Wenn der Bulk-Export bei T1 erstellt wird, der Snapshot der Ergebnisse für den Bulk-Export bei T2 abgeschlossen wird und der kontinuierliche Export bei T3 ausgelöst wird, fehlen möglicherweise Ergebnisse zwischen T2 und T3 im BigQuery-Dataset.
Nächste Schritte
- Einmalige Exporte in Security Command Center ausführen
- Ergebnisse kontinuierlich zur Analyse nach BigQuery streamen