Analyser l'activité des flux avec Cloud Logging

Compatible avec :

Ce guide aide les ingénieurs et administrateurs de sécurité à surveiller, déboguer et résoudre les problèmes liés aux pipelines et aux flux d'ingestion dans Google SecOps SIEM. Pour obtenir une vue d'ensemble plus large de la surveillance de l'ingestion de données, consultez Vérifier l'état de l'ingestion de données et Résoudre les problèmes d'ingestion de données. Ce guide explique comment envoyer, afficher et interroger les journaux d'activité d'ingestion et de flux dans Cloud Logging. Cloud Logging vous permet de diagnostiquer les problèmes de distribution des journaux (journaux manquants, retardés ou en échec, par exemple) et de réduire le temps nécessaire pour résoudre les anomalies d'ingestion. Cette visibilité sur les mécanismes d'ingestion basés sur le push et le pull vous permet également d'utiliser Gemini Cloud Assist pour examiner la télémétrie des journaux et des métriques.

Avant de commencer

  • Pour obtenir les autorisations nécessaires pour afficher les journaux, demandez à votre administrateur de vous accorder l'un des rôles IAM (Identity and Access Management) suivants sur votre projet :

    • Lecteur de journaux (roles/logging.viewer)
    • Lecteur des journaux privés (roles/logging.privateLogViewer)

    Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

  • Comprendre les implications en termes de coûts Cloud Logging est un service facturable. Une version sans frais est disponible dans le cadre du programme sans frais Google Cloud . Pour en savoir plus, consultez la page Tarifs d'Observability Google Cloud .

Terminologie clé

  • chronicle-siem : libellé de l'espace de noms pour les journaux associés à l'écosystème Google SecOps.
  • chronicle.googleapis.com/ingestion_activity : ID du flux de journaux lié spécifiquement aux pipelines d'ingestion de données Google SecOps.
  • storage_transfer_job : type de ressource pour les journaux provenant de flux statiques qui utilisent le service de transfert de stockage (STS).
  • storagetransfer.googleapis.com/transfer_activity : ID de journal pour les journaux d'activité STS.

Présentation de l'analyse de l'activité des flux

L'analyse de l'activité du flux dans Cloud Logging implique plusieurs étapes clés :

  1. Accéder à l'explorateur de journaux : accédez à l'explorateur de journaux dans la console Google Cloud et sélectionnez le projet Google Cloud approprié. Pour en savoir plus, consultez la documentation sur l'interface de l'explorateur de journaux.
  2. Interroger les journaux : créez des requêtes pour filtrer les journaux en fonction de différents paramètres, tels que les périodes, les espaces de noms, les ID de journaux, les mécanismes d'ingestion, les ID de flux ou les ID de collecteurs. Pour connaître les règles de syntaxe, consultez Langage de requête Logging. Ce guide fournit des exemples de scénarios de filtrage courants.
  3. Examiner des types de flux spécifiques : découvrez comment interroger les journaux des flux à l'aide de différentes méthodes d'ingestion, y compris celles qui utilisent le service de transfert de stockage (STS), qui ont des formats de journaux uniques.
  4. Utiliser les outils de la console : profitez des fonctionnalités intégrées de la console Google SecOps, comme Déboguer avec les journaux et Gemini Cloud Assist, pour simplifier l'analyse et le débogage.
  5. Comprendre le schéma des journaux : consultez la référence du schéma pour comprendre les champs et les types de données dans les charges utiles des journaux. Cela vous aidera à effectuer une analyse plus approfondie et à résoudre les problèmes.

Les sections suivantes fournissent des informations détaillées pour vous aider à surveiller efficacement l'état de vos pipelines d'ingestion de données, à déboguer les problèmes et à résoudre les erreurs.

Afficher et interroger les journaux d'activité des flux

Pour afficher les journaux d'activité des flux et les interroger, procédez comme suit :

  1. Accédez à la page Explorateur de journaux dans la console Google Cloud .
  2. Sélectionnez le projet Google Cloud associé à votre instance Google SecOps.
  3. Saisissez une expression de requête dans le volet Requête pour filtrer les journaux.
  4. Cliquez sur Exécuter la requête.

Des exemples de requêtes pour des scénarios courants sont présentés dans les sections suivantes.

Filtrer par espace de noms Google SecOps

Pour récupérer tous les journaux associés à l'écosystème Google SecOps, utilisez la requête suivante :

labels.namespace="chronicle-siem"

Filtrer par flux de journal d'activité d'ingestion

Pour isoler les journaux spécifiquement liés aux pipelines d'ingestion de données, utilisez la requête suivante :

log_id("chronicle.googleapis.com/ingestion_activity")

Filtrer par mécanisme d'ingestion

Pour cibler les journaux d'un mécanisme d'ingestion spécifique, tel que les API tierces, utilisez le champ labels.ingestion_mechanism dans votre requête :

labels.ingestion_mechanism="Third Party API"

Filtrer par ID de flux ou ID de collecteur

Pour afficher les journaux d'un flux d'ingestion ou d'un collecteur spécifique, utilisez le champ labels.feed_id ou labels.collector_id. Pour savoir comment configurer les flux, consultez Gérer les flux de données et Présentation des flux de données. Pour les collecteurs, consultez Ingestion et analyse des journaux :

labels.feed_id="FEED_ID"

Remplacez FEED_ID par l'identifiant unique de votre flux.

labels.collector_id="COLLECTOR_ID"

Remplacez COLLECTOR_ID par l'identifiant unique de votre collecteur.

Afficher les journaux du service de transfert de stockage

Les journaux des flux statiques utilisant le service de transfert de stockage (STS) sont routés de l'environnement du locataire vers votre projet Google Cloud et utilisent un type de ressource et un nom de journal différents. Pour obtenir des informations générales sur STS, consultez la documentation du service de transfert de stockage.

  • Objectif : afficher l'activité du journal STS.
    Action : Exécutez la requête suivante : none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • Échec prévu : la recherche avec log_id("chronicle.googleapis.com/ingestion_activity") n'affichera pas les journaux de ces flux statiques.

  • Mesure corrective : utilisez resource.type="storage_transfer_job" et le STS spécifique log_id.

Utiliser les outils de la console pour déboguer les flux

Google SecOps fournit des intégrations de console pour accéder aux journaux d'activité :

  • Demander à Gemini Cloud Assist : sur la page Flux, sélectionnez Demander à Gemini Cloud Assist pour ouvrir le panneau de chat. Vous pouvez poser des questions sur les volumes et les erreurs de vos flux. Pour en savoir plus, consultez la présentation de Gemini dans Google SecOps.
  • Déboguer avec les journaux : sur la page Gestion des flux, ouvrez le menu d'actions d'un flux spécifique et sélectionnez Déboguer avec les journaux. Cette option est également disponible sur la page Afficher le flux. L'explorateur de journaux s'ouvre dans un nouvel onglet, préfiltré pour l'ID de flux sélectionné.

Référence du schéma de journal

Les journaux d'activité des flux utilisent une structure de charge utile JSON unifiée.

Champs du journal d'activité d'ingestion

Champ Type de données Description
request_start_time string Code temporel (RFC 3339) du début de l'activité.
activity_duration string Durée totale écoulée de l'activité (par exemple, "1.500s").
transfer_id string Identifiant unique d'un fichier ou d'une opération de transfert de données spécifique.
feed_id string Identifiant unique du flux d'ingestion Google SecOps.
collector_id string Identifiant unique du collecteur exécutant l'ingestion.
log_type string Format des journaux ingérés (par exemple, DUO ou OFFICE_365). Pour obtenir la liste des chaînes de format, consultez Analyseurs par défaut compatibles.
file string Nom du fichier ou du conteneur d'objets blob traités (pour les sources basées sur des fichiers).
request_urls array of strings URL cibles utilisées pour extraire ou transférer des données (pour les sources basées sur l'API).
http_status_code integer Code d'état HTTP reçu des opérations d'extraction de l'API.
bytes_transferred integer Nombre d'octets bruts transférés lors de l'activité.
record_count integer Nombre d'entrées de journal individuelles traitées, extraites ou analysées.
activity string Nom de la tâche en cours d'exécution (par exemple, File Processing, File Transfer).
details string Métadonnées ou informations supplémentaires pour l'activité d'ingestion.
error_details object Informations détaillées sur l'erreur si l'activité a échoué. Consultez Champs d'informations sur les erreurs.

Champs d'informations sur les erreurs

Champ Type de données Description
error_message string Explication de l'erreur dans un format lisible.
error_code string Code ou identifiant d'erreur (accepte les codes numériques et les chaînes descriptives).
error_type string Classification ou catégorie de l'erreur.
is_retriable boolean Indique si l'opération à l'origine de l'erreur peut être relancée.

Exemples de charges utiles de journaux

Exemple de journal d'activités d'ingestion réussie

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

Exemple de journal d'activité d'ingestion ayant échoué

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

Dépannage

Cette section décrit les limites et les problèmes courants.

Limites

  • Champs Storage Transfer Service (STS) : les journaux des flux statiques routés depuis STS utilisent le type de ressource storage_transfer_job et le nom de journal storagetransfer.googleapis.com/transfer_activity au lieu de chronicle.googleapis.com/ingestion_activity.
  • Corrélation de la télémétrie : les champs à cardinalité élevée tels que feed_id sont inclus en tant que libellés de métadonnées dans les journaux plutôt qu'en tant que libellés de ressources dans la définition de la ressource surveillée. Les capacités de corrélation de Gemini Cloud Assist à l'aide de libellés de métadonnées sont en cours d'évaluation.

Correction des erreurs

Description du problème Corriger
Journaux manquants pour les flux statiques dans les requêtes standards Assurez-vous d'interroger en utilisant le type de ressource storage_transfer_job et l'ID de journal storagetransfer.googleapis.com/transfer_activity spécifiques à STS. Consultez Afficher les journaux du service de transfert de stockage.

Vous avez encore besoin d'aide ? Obtenez des réponses auprès des membres de la communauté et des professionnels Google SecOps.