Rohlogs in einen selbstverwalteten Google Cloud Storage-Bucket exportieren

Unterstützt in:

Die Data Export API ermöglicht den Bulk-Export Ihrer Sicherheitsdaten aus Google Security Operations in einen von Ihnen verwalteten Google Cloud Storage-Bucket. Diese Funktion unterstützt die kritische, langfristige Datenaufbewahrung, die Analyse von Verlaufsdaten und die Einhaltung strenger Compliance-Anforderungen (z. B. SOX, HIPAA, DSGVO).

Wichtig: Nachdem Sie die neue erweiterte API aktiviert haben, können Sie mit der API nicht mehr auf Ihre alten, vorhandenen Jobs zugreifen.

Weitere Informationen zur Data Export API finden Sie unter Data Export API (enhanced).

Die Data Export API bietet eine skalierbare und zuverlässige Lösung für den Export von Daten zu einem bestimmten Zeitpunkt und verarbeitet Anfragen von bis zu 100 TB.

Als verwaltete Pipeline bietet sie wichtige Funktionen für Unternehmen, darunter:

  • Automatische Wiederholungsversuche bei vorübergehenden Fehlern
  • Umfassendes Monitoring des Jobstatus
  • Ein vollständiger Prüfpfad für jeden Exportvorgang

Die API partitioniert die exportierten Daten logisch nach Datum und Uhrzeit in Ihrem Google Cloud Storage-Bucket.

Mit dieser Funktion können Sie Workflows zum Offload großer Datenmengen erstellen. Google SecOps verwaltet die Komplexität des Exportprozesses, um Stabilität und Leistung zu gewährleisten.

Hauptvorteile

Die Data Export API bietet eine robuste und prüffähige Lösung für die Verwaltung des Lebenszyklus Ihrer Sicherheitsdaten.

  • Zuverlässigkeit: Der Dienst übernimmt umfangreiche Datenübertragungen. Das System verwendet eine exponentielle Backoff-Strategie, um Exportjobs, bei denen vorübergehende Probleme auftreten (z. B. temporäre Netzwerkprobleme), automatisch zu wiederholen. Wenn Ihr Exportjob aufgrund eines vorübergehenden Fehlers fehlschlägt, wird er automatisch mehrmals wiederholt. Wenn ein Job nach allen Wiederholungsversuchen dauerhaft fehlschlägt, wird sein Status auf FINISHED_FAILURE aktualisiert. Die API-Antwort für diesen Job enthält eine detaillierte Fehlermeldung, in der die Ursache erläutert wird.

  • Umfassende Auditierbarkeit: Um strenge Compliance- und Sicherheitsstandards zu erfüllen, erfasst das System jede Aktion im Zusammenhang mit einem Exportjob in einem unveränderlichen Audit-Trail. Dieser Verlauf umfasst die Erstellung, den Start, den Erfolg oder den Fehler jedes Jobs sowie den Nutzer, der die Aktion initiiert hat, einen Zeitstempel und die Jobparameter.

  • Für Leistung und Skalierbarkeit optimiert: Die API verwendet ein robustes Jobverwaltungssystem. Dieses System umfasst die Warteschlangenbildung und Priorisierung, um die Stabilität der Plattform zu gewährleisten und zu verhindern, dass ein einzelner Mandant Ressourcen monopolisiert.

  • Verbesserte Datenintegrität und ‑zugänglichkeit: Das System organisiert Daten automatisch in einer logischen Verzeichnisstruktur in Ihrem Google Cloud Storage-Bucket. So können Sie bestimmte Zeiträume für die Verlaufsanalyse leichter finden und abfragen.

Wichtige Begriffe und Konzepte

  • Exportjob: Ein einzelner, asynchroner Vorgang zum Exportieren eines bestimmten Zeitbereichs von Logdaten in einen Google Cloud Storage-Bucket. Das System verfolgt jeden Job mit einer eindeutigen dataExportId.
  • Jobstatus: Der aktuelle Status eines Exportjobs in seinem Lebenszyklus (z. B. IN_QUEUE, PROCESSING, FINISHED_SUCCESS).
  • Google Cloud Storage-Bucket: Ein Google Cloud Storage-Bucket, der einem Nutzer gehört und als Ziel für die exportierten Daten dient.
  • Logtypen: Dies sind die spezifischen Kategorien von Logs, die Sie exportieren können, z. B. NIX_SYSTEM, WINDOWS_DNS, CB_EDR. Weitere Informationen finden Sie in der Liste aller unterstützten Logtypen.

Struktur der exportierten Daten

Wenn ein Job erfolgreich abgeschlossen wird, schreibt das System die Daten in Ihren Google Cloud Storage-Bucket. Es wird eine bestimmte, partitionierte Verzeichnisstruktur verwendet, um den Datenzugriff und die Datenabfrage zu vereinfachen.

Verzeichnispfadstruktur: gs://<gcs-bucket-name>/<export-job-name>/<logtype>/<event-time-bucket>/<epoch_execution_time>/<file-shard-name>.csv

  • gcs-bucket-name: Der Name Ihres Google Cloud Storage-Bucket.
  • export-job-name: Der eindeutige Name Ihres Exportjobs.
  • logtype: Der Name des Logtyps für die exportierten Daten.

  • event-time-bucket: Der Stundenbereich der Ereigniszeitstempel der exportierten Logs.

    Das Format ist ein UTC-Zeitstempel: year/month/day/UTC-timestamp (wobei UTC-timestamp hour/minute/second ist).
    Beispiel: 2025/08/25/01/00/00 bezieht sich auf UTC 01:00:00 AM, August 25, 2025.

  • epoch-execution-time: Der Unix-Zeitwert, der angibt, wann der Exportjob begonnen hat.

  • file-shard-name: Der Name der Shard-Dateien mit Rohlogs. Jedes Dateifragment hat eine maximale Dateigröße von 100 MB.

Leistung und Einschränkungen

Der Dienst unterliegt bestimmten Einschränkungen, um die Stabilität der Plattform und eine faire Ressourcenzuweisung zu gewährleisten.

  • Maximales Datenvolumen pro Job: Für jeden einzelnen Exportjob können bis zu 100 TB Daten angefordert werden. Bei größeren Datasets empfehlen wir, den Export in mehrere Jobs mit kleineren Zeiträumen aufzuteilen.
  • Gleichzeitige Jobs: In jedem Mandanten können maximal drei Exportjobs gleichzeitig ausgeführt oder in die Warteschlange gestellt werden. Das System lehnt alle Anfragen zum Erstellen neuer Jobs ab, die dieses Limit überschreiten.
  • Job-Abschlusszeiten: Die Menge der exportierten Daten bestimmt die Job-Abschlusszeiten. Ein einzelner Job kann bis zu 18 Stunden dauern.
  • Exportformat und Datenumfang: Diese API unterstützt Bulk-Exporte zu einem bestimmten Zeitpunkt mit den folgenden Einschränkungen und Funktionen:

Voraussetzungen und Architektur

In diesem Abschnitt werden die Systemarchitektur und die erforderlichen Voraussetzungen für die Verwendung der Data Export API beschrieben. Anhand dieser Informationen können Sie prüfen, ob Ihre Umgebung richtig konfiguriert ist.

Hinweise

Bevor Sie die Data Export API verwenden, müssen Sie die folgenden Voraussetzungen erfüllen, um Ihr Google Cloud Storage-Ziel einzurichten und die erforderlichen Berechtigungen zu erteilen.

  1. API-Nutzer Berechtigungen erteilen: Wenn Sie die Data Export API verwenden möchten, benötigen Sie die folgenden IAM-Rollen.

    • Chronicle administrator (creating/managing jobs): Gewährt vollständige Berechtigungen zum Erstellen, Aktualisieren, Abbrechen und Aufrufen von Exportjobs über die API.
    • Chronicle Viewer: Gewährt Lesezugriff zum Anzeigen von Jobkonfigurationen und ‑verlauf über die API.

  2. Google Cloud Storage-Bucket erstellen: Erstellen Sie in Ihrem Google Cloud-Projekt einen neuen Google Cloud Storage-Bucket (das Ziel für Ihre exportierten Daten) in derselben Region wie Ihr Google SecOps-Mandant. Machen Sie es privat, um unbefugten Zugriff zu verhindern. Weitere Informationen finden Sie unter Bucket erstellen.

  3. Berechtigungen für das Dienstkonto gewähren: Gewähren Sie dem Google SecOps-Dienstkonto, das mit Ihrem Google SecOps-Mandanten verknüpft ist, die erforderlichen IAM-Rollen, um Daten in Ihren Bucket zu schreiben.

    1. Rufen Sie den FetchServiceAccountForDataExport-API-Endpunkt auf, um das eindeutige Dienstkonto Ihrer Google SecOps-Instanz zu ermitteln. Die API gibt die E-Mail-Adresse des Dienstkontos zurück.

      Beispielanfrage:

      {
  "parent": "projects/myproject/locations/us/instances/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
}

      Beispielantwort:

      {
  "service_account_email": "service-1234@gcp-sa-chronicle.iam.gserviceaccount.com"
}

    2. Weisen Sie dem Google SecOps-Dienstkonto-Hauptkonto die folgende IAM-Rolle für den Google Cloud Storage-Zielbucket zu: Mit dieser Rolle kann der Google SecOps-Dienst exportierte Datendateien in Ihren Google Cloud Storage-Bucket schreiben.

      • Storage object administrator (roles/storage.objectAdmin)
      • Legacy bucket reader (roles/storage.legacyBucketReader)

      Weitere Informationen finden Sie unter Zugriff auf das Google SecOps-Dienstkonto gewähren.

  4. Authentifizierung abschließen: Die Data Export API authentifiziert Ihre Aufrufe. Folgen Sie der Anleitung in den folgenden Abschnitten, um diese Authentifizierung einzurichten:

    1. Authentifizierungsmethoden für Google Cloud -Dienste
    2. Standardanmeldedaten für Anwendungen

Gängige Anwendungsfälle

Die Data Export API bietet eine Reihe von Endpunkten zum Erstellen von Datenexportjobs und zum Verwalten des gesamten Lebenszyklus des Bulk-Datenexports. Alle Interaktionen erfolgen über API-Aufrufe.

In den folgenden Anwendungsfällen wird beschrieben, wie Sie Datenexportjobs erstellen, überwachen und verwalten.

Kernworkflow

In diesem Abschnitt wird beschrieben, wie Sie den Lebenszyklus Ihrer Exportjobs verwalten.

Neuen Datenexportjob erstellen

Das System speichert die Spezifikationen für Datenexportjobs in der übergeordneten Ressource der Google SecOps-Instanz. Diese Instanz ist die Quelle der Logdaten für den Exportjob.

  • Ermitteln Sie das eindeutige Dienstkonto für Ihre Google SecOps-Instanz. Weitere Informationen finden Sie unter FetchServiceAccountForDataExports.

  • Wenn Sie einen neuen Export starten möchten, senden Sie eine POST-Anfrage an den Endpunkt dataExports.create.
    Weitere Informationen finden Sie unter CreateDataExport-Endpunkt.

Status von Datenexportjobs überwachen

Hier können Sie die Details und den Status eines bestimmten Datenexportjobs aufrufen oder einen Filter festlegen, um bestimmte Arten von Jobs aufzurufen.

  • Informationen zum Aufrufen eines bestimmten Exportjobs finden Sie unter GetDataExport.

  • Informationen zum Auflisten bestimmter Arten von Datenexportjobs mithilfe eines Filters finden Sie unter ListDataExport.

Jobs in der Warteschlange verwalten

Sie können einen Job ändern oder abbrechen, wenn er den Status IN_QUEUE hat.

  • Informationen zum Ändern von Parametern wie dem Zeitraum, der Liste der Protokolltypen oder dem Ziel-Bucket finden Sie unter UpdateDataExport.

  • Informationen zum Abbrechen eines in der Warteschlange befindlichen Jobs finden Sie unter CancelDataExport.

Häufige Probleme beheben

Die API bietet detaillierte Fehlermeldungen, die bei der Diagnose von Problemen helfen.

Kanonischer Code Fehlermeldung
INVALID_ARGUMENT INVALID_REQUEST: Ungültiger Anfrageparameter <Parameter1, Parameter2,..>. Korrigieren Sie die Anfrageparameter und versuchen Sie es noch einmal.
NOT_FOUND BUCKET_NOT_FOUND: Der Google Cloud Storage-Ziel-Bucket <bucketName> ist nicht vorhanden. Erstellen Sie den Google Cloud Storage-Ziel-Bucket und versuchen Sie es noch einmal.
NOT_FOUND REQUEST_NOT_FOUND: Die dataExportId:<dataExportId> ist nicht vorhanden. Fügen Sie eine gültige „dataExportId“ hinzu und versuchen Sie es noch einmal.
FAILED_PRECONDITION BUCKET_INVALID_REGION: Die Region des Google Cloud Storage-Buckets <bucketId>:<region1> stimmt nicht mit der Region des SecOps-Tenants überein:<region2>. Erstellen Sie den Google Cloud Storage-Bucket in derselben Region wie den SecOps-Tenant und versuchen Sie es noch einmal.
FAILED_PRECONDITION INSUFFICIENT_PERMISSIONS: Das Dienstkonto <P4SA> hat nicht die Berechtigungen storage.objects.create, storage.objects.get und storage.buckets.get für den Google Cloud Storage-Ziel-Bucket <bucketName>. Gewähren Sie dem Dienstkonto den erforderlichen Zugriff und versuchen Sie es noch einmal.
FAILED_PRECONDITION INVALID_UPDATE: Der Anfragestatus befindet sich in der Phase <status> und kann nicht aktualisiert werden. Sie können die Anfrage nur aktualisieren, wenn der Status die Phase IN_QUEUE hat.
FAILED_PRECONDITION INVALID_CANCELLATION: Der Anfragestatus befindet sich in der Phase <status> und kann nicht abgebrochen werden. Sie können die Anfrage nur abbrechen, wenn sie sich im Status IN_QUEUE befindet.
RESOURCE_EXHAUSTED CONCURRENT_REQUEST_LIMIT_EXCEEDED: Das Limit für die maximale Anzahl gleichzeitiger Anfragen (<limit>) wurde für die Anfragengröße <sizelimit> erreicht. Bitte warten Sie, bis die vorhandenen Anfragen abgeschlossen sind, und versuchen Sie es noch einmal.
RESOURCE_EXHAUSTED REQUEST_SIZE_LIMIT_EXCEEDED: Das geschätzte Exportvolumen <estimatedVolume> für die Anfrage überschreitet das maximal zulässige Exportvolumen <allowedVolume> pro Anfrage. Versuchen Sie es noch einmal mit einer Anfrage, die das zulässige Exportvolumen nicht überschreitet.
INTERN INTERNAL_ERROR: Ein interner Fehler ist aufgetreten. Bitte versuchen Sie es noch einmal.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten