Exporter les journaux bruts vers un bucket Google Cloud Storage autogéré

Compatible avec :

L'API Data Export facilite l'exportation groupée de vos données de sécurité depuis Google Security Operations vers un bucket Google Cloud Storage que vous contrôlez. Cette fonctionnalité permet la conservation des données critiques à long terme, prend en charge les analyses d'historique et respecte les exigences de conformité strictes (telles que SOX et le RGPD).

Pour obtenir des informations de référence détaillées sur l'API, consultez API Data Export (améliorée).

L'API Data Export fournit une solution évolutive et fiable pour les exportations de données ponctuelles et gère les requêtes jusqu'à 100 To.

En tant que pipeline géré, il offre des fonctionnalités essentielles de niveau entreprise, y compris :

  • Nouvelles tentatives automatiques en cas d'erreurs temporaires
  • Surveillance complète de l'état des jobs
  • Une piste d'audit complète pour chaque job d'exportation

L'API partitionne logiquement les données exportées par date et heure dans votre bucket Google Cloud Storage.

Cette fonctionnalité vous permet de créer des workflows de déchargement de données à grande échelle. Google SecOps gère la complexité du processus d'exportation pour assurer la stabilité et les performances.

Principaux avantages

L'API Exportation de données fournit une solution résiliente et auditable pour gérer le cycle de vie de vos données de sécurité, avec les principaux avantages suivants :

  • Fiabilité : le service gère les transferts de données à grande échelle. Le système utilise une stratégie de temporisation de retransmission pour relancer automatiquement les jobs d'exportation qui rencontrent des problèmes temporaires (par exemple, des problèmes de réseau temporaires), ce qui le rend résilient. Si votre job d'exportation échoue en raison d'une erreur temporaire, il est automatiquement relancé plusieurs fois. Si un job échoue définitivement après toutes les tentatives, le système met à jour son état sur FINISHED_FAILURE, et la réponse de l'API pour ce job contient un message d'erreur détaillé expliquant la cause de l'échec.
  • Auditabilité complète : pour répondre à des normes de conformité et de sécurité strictes, le système capture chaque action liée à un job d'exportation dans une piste d'audit immuable. Cette trace inclut la création, le démarrage, la réussite ou l'échec de chaque job, ainsi que l'utilisateur qui a initié l'action, un code temporel et les paramètres du job.

  • Optimisée pour les performances et l'évolutivité : l'API utilise un système de gestion des tâches robuste. Ce système inclut la mise en file d'attente et la hiérarchisation pour assurer la stabilité de la plate-forme et empêcher un seul locataire de monopoliser les ressources.

  • Intégrité et accessibilité des données améliorées : le système organise automatiquement les données dans une structure de répertoires logique au sein de votre bucket Google Cloud Storage, ce qui vous aide à localiser et à interroger des périodes spécifiques pour l'analyse de l'historique.

  • Sécurité : l'API est conçue pour être entièrement compatible avec les clés de chiffrement gérées par le client (CMEK) (sécurité zéro confiance) et le RBAC des données (accès avec privilèges minimum). Les jobs d'exportation héritent du champ d'application de la visibilité des données de l'utilisateur qui déclenche la requête afin d'empêcher l'extraction de données non autorisée. Le pipeline d'exportation est également entièrement intégré à Google Cloud Key Management Service, et les données restent chiffrées au repos dans votre bucket Google Cloud Storage à l'aide de vos propres clés.

Termes et concepts clés

  • Job d'exportation : opération asynchrone unique permettant d'exporter une période spécifique de données de journaux vers un bucket Google Cloud Storage. Le système suit chaque job avec un dataExportId unique.
  • État du job : état actuel d'un job d'exportation dans son cycle de vie (par exemple, IN_QUEUE, PROCESSING, FINISHED_SUCCESS).
  • Bucket Google Cloud Storage : bucket Google Cloud Storage appartenant à l'utilisateur, qui sert de destination pour les données exportées.
  • Types de journaux : catégories spécifiques de journaux que vous pouvez exporter (par exemple, NIX_SYSTEM, WINDOWS_DNS, CB_EDR). Pour en savoir plus, consultez la liste de tous les types de journaux compatibles.

Comprendre la structure des données exportées

Lorsqu'un job se termine correctement, le système écrit les données dans votre bucket Google Cloud Storage. Il utilise une structure de répertoires partitionnée spécifique pour simplifier l'accès aux données et l'interrogation.

Structure du chemin d'accès au répertoire : gs://GCS_BUCKET_NAME/EXPORT_JOB_NAME/LOGTYPE/EVENT_TIME_BUCKET/EPOCH_EXECUTION_TIME/logdata-SHARD_INDEX.csv

Où :

  • GCS_BUCKET_NAME : nom de votre bucket Google Cloud Storage.
  • EXPORT_JOB_NAME : fait référence à l'UUID dataExportId unique de votre job d'exportation (sans trait d'union dans le chemin d'accès de l'objet).
  • LOGTYPE : fait référence au nom du type de journal pour les données exportées (par exemple, GCP_DNS ou WINDOWS_DNS).
  • EVENT_TIME_BUCKET : fait référence au bucket d'heures des codes temporels des événements des journaux exportés, arrondi à l'heure UTC de début (YYYY/MM/DD/HH/00/00). Par exemple, 2025/08/25/01/00/00 contient les journaux dont les codes temporels des événements sont compris entre 01:00:00 UTC et 01:59:59 UTC le 25 août 2025.
  • EPOCH_EXECUTION_TIME : fait référence au code temporel d'epoch Unix de 20 chiffres complété par des zéros, en microsecondes, indiquant le début de l'exécution du job d'exportation (par exemple, 00001756083600000000).
  • logdata-SHARD_INDEX.csv : fait référence aux fichiers segmentés indexés à partir de 0 contenant des journaux bruts (par exemple, logdata-0.csv et logdata-1.csv). Chaque segment de fichier cible une taille approximative de 100 Mo.

Exemple de chemin d'accès à un objet exporté :

gs://my-archive-bucket/b4a3c2d1e8f76a5b4c3d2e1f0a9b8c7d/GCP_DNS/2025/08/25/01/00/00/00001756083600000000/logdata-0.csv

Manifeste d'achèvement de l'exportation (exported_paths.txt) :

Lorsqu'un job d'exportation se termine avec l'état FINISHED_SUCCESS et écrit au moins un fichier journal, le pipeline écrit également un fichier manifeste dans gs://GCS_BUCKET_NAME/EXPORT_JOB_NAME/exported_paths.txt (si aucun journal ne correspond aux filtres d'exportation ou à la période, aucun fichier manifeste n'est écrit et dataExportStatus.exportedGlobPatterns est vide). Chaque ligne de exported_paths.txt liste un format glob à l'aide du préfixe /bigstore/ (/bigstore/GCS_BUCKET_NAME/EXPORT_JOB_NAME/LOGTYPE/EVENT_TIME_BUCKET/EPOCH_EXECUTION_TIME/*, qui correspond à gs://GCS_BUCKET_NAME/.../*) pour un répertoire de partition horaire écrit par le job. Les jobs d'automatisation ou de compactage en aval peuvent lire ce fichier manifeste pour énumérer toutes les partitions exportées sans lister l'intégralité du bucket.

Performances et limites

Le service est soumis aux limites spécifiques suivantes pour garantir la stabilité de la plate-forme et une allocation équitable des ressources :

  • Volume de données maximal par tâche : chaque tâche d'exportation individuelle peut demander jusqu'à 100 To de données. Pour les ensembles de données plus volumineux, Google recommande de diviser l'exportation en plusieurs tâches avec des périodes plus courtes.
  • Jobs simultanés : chaque locataire client peut exécuter ou mettre en file d'attente un maximum de trois jobs d'exportation simultanément. Le système rejette toute nouvelle demande de création de job qui dépasse cette limite.
  • Temps d'exécution des jobs : le volume de données exportées détermine les temps d'exécution des jobs. Un seul job peut prendre jusqu'à 18 heures.
  • Format d'exportation et champ d'application des données : l'API est compatible avec les exportations groupées et ponctuelles, avec les limites et fonctionnalités suivantes :
    • Journaux bruts uniquement : vous ne pouvez exporter que les journaux bruts (pas les journaux UDM, les événements UDM ni les détections). Pour savoir comment exporter des données UDM, consultez Exporter vers un projet BigQuery autogéré.
    • Format de fichier et compression des données : l'API exporte les données sous forme de chaînes de journaux brutes non compressées, délimitées par un saut de ligne, dans des fichiers nommés logdata-SHARD_INDEX.csv (taille approximative de 100 Mo par segment). Malgré l'extension de nom de fichier CSV, les fichiers ne sont pas formatés en colonnes séparées par une virgule : chaque entrée de journal brute (par exemple, un objet JSON brut, une ligne syslog ou un enregistrement CEF) est écrite textuellement, suivie d'un caractère de nouvelle ligne (\n) sans échappement des nouvelles lignes intégrées. Ainsi, les journaux bruts multilignes (tels que les charges utiles XML ou les traces de la pile) peuvent s'étendre sur plusieurs lignes dans un fichier de segment. Le format de fichier de sortie ne peut pas être modifié via l'API. Pour stocker les archives dans des formats en colonnes compressés tels qu'Apache Parquet, exécutez une étape de compactage en aval une fois que le job d'exportation a atteint l'état FINISHED_SUCCESS.

Prérequis et architecture

Cette section décrit l'architecture système et les exigences nécessaires pour utiliser l'API d'exportation de données, et détaille l'architecture système. Utilisez ces informations pour vérifier que votre environnement est correctement configuré.

Avant d'utiliser l'API d'exportation de données, suivez les étapes préalables ci-dessous pour configurer votre destination Google Cloud Storage et accorder les autorisations nécessaires.

  1. Accordez des autorisations à l'utilisateur. Pour utiliser l'API Exportation de données, vous devez disposer des autorisations suivantes dans le projet BYOP Google Cloud associé à votre locataire Google SecOps :

    Ces autorisations font partie des rôles IAM prédéfinis suivants :

  2. Appliquer des niveaux d'accès RBAC des données à un utilisateur Pour limiter l'accès d'un utilisateur à des champs d'application de données spécifiques, procédez comme suit :

    1. Assurez-vous que les champs d'application RBAC des données que vous souhaitez appliquer sont déjà créés sous Paramètres > Gestion des accès > Accès aux données > Champs d'application. Notez le nom complet de chaque champ d'application que vous souhaitez attribuer à l'utilisateur.
    2. Créez un rôle personnalisé IAM (Identity and Access Management) pour la gestion de l'exportation de données. Étant donné que les rôles prédéfinis peuvent accorder trop d'accès ou ne pas disposer de la combinaison d'autorisations spécifique, procédez comme suit pour créer un rôle personnalisé adapté à la gestion des exportations de données dans un contexte limité :

      1. Dans la console Google Cloud , accédez à IAM et administration > Rôles.
      2. Cliquez sur + Créer un rôle.
      3. Saisissez un titre (par exemple, SecOps Scoped Data Export User).
      4. Saisissez un ID (par exemple, secopsScopedDataExportUser).
      5. Cliquez sur + Ajouter des autorisations.
      6. Filtrez les autorisations Chronicle et ajoutez les autorisations pertinentes listées à la première étape (Accorder des autorisations à l'utilisateur de l'API).
      7. Cliquez sur Créer.
  3. Accordez des rôles IAM à l'utilisateur. Sur la page IAM, procédez comme suit pour attribuer les rôles nécessaires à votre utilisateur :

    1. Accédez à IAM et administration > IAM.
    2. Cliquez sur + Accorder l'accès.
    3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail de l'utilisateur.
    4. Pour attribuer des rôles, procédez comme suit :

      1. Ajoutez le rôle personnalisé que vous avez créé (par exemple, SecOps Scoped Data Export User).
      2. Cliquez sur + Ajouter un autre rôle, puis ajoutez le rôle Accès limité aux données de l'API Chronicle (restrictedDataAccess). Ce rôle est essentiel pour marquer l'utilisateur comme étant soumis à des champs d'application des données.
  4. Ajoutez une condition IAM à la liaison de rôle Chronicle API Restricted Data Access. Pour associer l'utilisateur à des champs d'application de données spécifiques, procédez comme suit :

    1. Cliquez sur Ajouter une condition IAM.
    2. Utilisez le générateur ou l'éditeur de conditions pour définir les champs d'application autorisés, en utilisant le nom du champ d'application créé à la première étape comme nom de ressource. Par exemple, pour utiliser un champ d'application nommé scope_test, définissez la condition resource.name.endsWith("/dataAccessScopes/scope_test").

    Pour en savoir plus sur l'implémentation du RBAC des données pour l'API d'exportation de données, consultez Comment le RBAC des données s'applique à l'API d'exportation de données.

  5. Créez un bucket Google Cloud Storage. Dans votre projet Google Cloud, créez un bucket Google Cloud Storage (la destination de vos données exportées) dans la même région que votre locataire Google SecOps. Rendez-le privé pour empêcher tout accès non autorisé. Pour l'archivage à long terme, configurez le bucket avec la classe de stockage par défaut STANDARD pour les écritures et la vérification initiales de l'exportation (ou la compression Parquet en aval facultative), et utilisez la gestion du cycle de vie des objets (règles SetStorageClass) pour transférer les objets vers le stockage COLDLINE ou ARCHIVE. Pour en savoir plus, consultez Créer un bucket.

  6. Accordez des autorisations au compte de service. Pour accorder au compte de service Google SecOps, qui est associé à votre locataire Google SecOps, les rôles IAM nécessaires pour écrire des données dans votre bucket, procédez comme suit :

    1. Appelez le point de terminaison de l'API FetchServiceAccountForDataExport pour identifier le compte de service unique de votre instance Google SecOps. L'API renvoie l'adresse e-mail du compte de service.

      Exemple de requête :

      {
        "parent": "projects/myproject/locations/us/instances/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
      }
      

      Exemple de réponse :

      {
        "service_account_email": "service-1234@gcp-sa-chronicle.iam.gserviceaccount.com"
      }
      
    2. Attribuez au compte principal du compte de service Google SecOps les rôles IAM suivants pour le bucket Google Cloud Storage de destination, qui permettent au service Google SecOps d'écrire les fichiers de données exportés dans votre bucket Google Cloud Storage :

      • Storage object administrator (roles/storage.objectAdmin)
      • Legacy bucket reader (roles/storage.legacyBucketReader)

      Pour en savoir plus, consultez Accorder l'accès au compte de service Google SecOps.

  7. Effectuez l'authentification. L'API Data Export authentifie vos appels. Pour configurer cette authentification, suivez les instructions des sections suivantes :

    1. Méthodes d'authentification pour les services Google Cloud
    2. Identifiants par défaut de l'application

Principaux cas d'utilisation et workflow de base

L'API Data Export fournit une suite de points de terminaison permettant de créer des jobs d'exportation de données et de gérer l'intégralité du cycle de vie de l'exportation de données groupée. Toutes les interactions sont effectuées à l'aide d'appels d'API.

Les cas d'utilisation suivants décrivent comment créer, surveiller et gérer des jobs d'exportation de données.

Créer un job d'exportation de données

Le système stocke les spécifications des jobs d'exportation de données sur l'instance Google SecOps de la ressource parente. Cette instance est la source des données de journal pour le job d'exportation.

Surveiller l'état des jobs d'exportation de données

Vous pouvez afficher les détails et l'état d'un job d'exportation de données spécifique, ou configurer un filtre pour afficher certains types de jobs.

  • Pour savoir comment afficher un job d'exportation spécifique, consultez GetDataExport.

  • Pour savoir comment lister certains types de jobs d'exportation de données à l'aide d'un filtre, consultez ListDataExport.

Annuler des jobs en file d'attente

Vous pouvez annuler un job lorsque son état est IN_QUEUE.

Pour savoir comment annuler un job en file d'attente, consultez CancelDataExport.

Comment le RBAC des données s'applique à l'API d'Exportation de données

Les jobs d'exportation héritent du champ d'application RBAC des données des utilisateurs qui les créent, ce qui empêche l'extraction de données non autorisée.

Si vous tentez d'exporter des données qui dépassent votre niveau d'accès aux données, l'API exclut automatiquement ces données au moment de l'exécution du job d'exportation. La valeur du champ dataRbacFiltered dans les métadonnées des jobs terminés (c'est-à-dire les jobs dont l'état est FINISHED_SUCCESS) indique si des données ont été exclues. Si dataRbacFiltered est défini sur true, certaines ou toutes les données sélectionnées pour le job d'exportation ont été exclues, car elles ne relevaient pas des champs d'application du RBAC des données applicables au créateur du job. Si dataRbacFiltered est défini sur false, le job d'exportation n'a pas été affecté par les restrictions de champ d'application du RBAC des données, et toutes les données incluses dans le job ont bien été exportées.

L'API applique les champs d'application RBAC des données qui s'appliquent au créateur au moment de la création du job. Les modifications apportées aux champs d'application RBAC des données ne s'appliquent pas rétroactivement aux jobs déjà créés.

Pour en savoir plus sur le RBAC des données, consultez Présentation du RBAC des données.

Résoudre les problèmes courants

L'API fournit des messages d'erreur détaillés pour vous aider à diagnostiquer les problèmes.

Code canonique Message d'erreur
INVALID_ARGUMENT INVALID_REQUEST: Invalid request parameter PARAMETER_1, PARAMETER_2, ... PARAMETER_N. Please fix the request parameters and try again.
PERMISSION_DENIED INSUFFICIENT_PERMISSIONS: Unable to validate request with the current CMEK key. Please fix the CMEK key and try again
NOT_FOUND BUCKET_NOT_FOUND: The destination Google Cloud Storage bucket BUCKET_NAME does not exist. Please create the destination Google Cloud Storage bucket and try again.
NOT_FOUND REQUEST_NOT_FOUND: The dataExportId:DATA_EXPORT_ID does not exist. Please add a valid dataExportId and try again.
FAILED_PRECONDITION BUCKET_INVALID_REGION: The Google Cloud Storage bucket BUCKET_ID's region:REGION_1 is not the same region as the SecOps tenant region:REGION_2. Please create the Google Cloud Storage bucket in the same region as SecOps tenant and try again.
FAILED_PRECONDITION INSUFFICIENT_PERMISSIONS: The Service Account P4SA does not have storage.objects.create, storage.objects.get and storage.buckets.get permissions on the destination Google Cloud Storage bucket BUCKET_NAME. Please provide the required access to the Service Account and try again.
FAILED_PRECONDITION INVALID_CANCELLATION: The request status is in the STATUS stage and can't be cancelled. You can only cancel the request if the status is in the IN_QUEUE stage.
RESOURCE_EXHAUSTED CONCURRENT_REQUEST_LIMIT_EXCEEDED: Maximum concurrent requests limit LIMIT reached for the request size SIZE_LIMIT. Please wait for the existing requests to complete and try again.
RESOURCE_EXHAUSTED REQUEST_SIZE_LIMIT_EXCEEDED: The estimated export volume: ESTIMATED_VOLUME for the request is greater than maximum allowed export volume: ALLOWED_VOLUME per request. Please try again with a request within the allowed export volume limit.
INTERNAL INTERNAL_ERROR: An Internal error occurred. Please try again.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.