Vérifier l'état de l'ingestion de données

Compatible avec :

Ce guide s'adresse aux ingénieurs en sécurité qui souhaitent surveiller l'état de l'ingestion de données et résoudre les problèmes dans Google Security Operations. Elle explique comment utiliser le Centre d'état, configurer des alertes Cloud Monitoring pour suivre l'état des sources de données et des analyseurs, et utiliser la surveillance des hôtes silencieux (SHM) pour détecter les éventuels arrêts de collecteurs.

Ces workflows de surveillance vous aident à identifier, diagnostiquer et résoudre les problèmes liés aux pipelines de données, en distinguant les problèmes que l'utilisateur peut résoudre (exploitables) de ceux qui nécessitent l'aide de l'assistance (non exploitables). Une configuration réussie garantit un flux de données fiable, ce qui est essentiel pour des opérations et des analyses de sécurité efficaces.

Cas d'utilisation courants

Cette section aborde les cas d'utilisation courants pour la surveillance de l'ingestion.

Vérification proactive de l'état

  • Objectif : examiner l'état et l'intégrité de toutes les sources de données configurées.
  • Valeur : détectez les problèmes d'ingestion potentiels avant qu'ils n'affectent la visibilité de la sécurité.

Réponse à une alerte

  • Objectif : examiner et résoudre un problème de source de données ou d'analyseur signalé par une alerte automatique.
  • Valeur : minimisez les pertes ou les retards de données, en veillant à ce que les données soient disponibles pour la détection et la réponse aux menaces en temps opportun.

Terminologie clé

  • Hub Santé : tableau de bord central de Google SecOps permettant de surveiller l'état et l'intégrité de toutes les sources de données et de tous les analyseurs configurés.
  • Cloud Monitoring : Google Cloud service utilisé pour créer des règles d'alerte basées sur des métriques, y compris celles issues de l'ingestion Google SecOps.
  • Surveillance des hôtes silencieux : méthode de surveillance permettant d'identifier les hôtes de votre environnement qui sont devenus silencieux.
  • Problème nécessitant une action : problème d'ingestion que vous pouvez généralement résoudre vous-même en modifiant la configuration (par exemple, en mettant à jour les identifiants).
  • Problème non résolvable : problème d'ingestion qui nécessite l'aide de l'assistance Google pour être résolu (par exemple, une erreur système interne).
  • Analyseur : composant qui normalise les données de journaux brutes dans la structure UDM (Unified Data Model).

Avant de commencer

Assurez-vous de disposer des rôles et autorisations IAM (Identity and Access Management) nécessaires pour accéder à l'instance Google SecOps, afficher le Centre d'informations sur l'état et configurer des alertes dans Cloud Monitoring.

Surveiller l'ingestion de données

Cette section décrit différentes méthodes pour surveiller l'ingestion de données.

Surveiller les états à l'aide du Health Hub

Utilisez le Centre d'intégrité des données pour surveiller l'état général des données en un coup d'œil et afficher l'état d'intégrité principal de chaque flux, source de données et type de journal. Cela vous permet d'identifier les sources et les analyseurs irréguliers et défaillants sans configurer d'alertes externes personnalisées.

  1. Dans le menu de navigation latéral Google SecOps, cliquez sur Health Hub.
  2. Examinez les widgets "Grand nombre" pour Sources ayant échoué et Analyseurs ayant échoué afin d'identifier les composants qui nécessitent une attention immédiate.
  3. Examinez le tableau État de santé par source de données. Consultez la colonne Détails du dernier problème pour obtenir la description des erreurs, par exemple Config credential issue ou Normalization issue.
  4. Cliquez sur les liens Modifier la source de données ou Modifier l'analyseur fournis dans le tableau pour accéder directement aux pages de configuration correspondantes et résoudre le problème.
  5. Vérifiez les codes temporels, tels que Heure du dernier événement et Dernière importation, pour vous assurer que les données ont été importées comme prévu.
  6. Après avoir appliqué une correction, surveillez le Centre d'état pour la source de données ou l'analyseur spécifiques afin de vous assurer que la correction a fonctionné.

Configurer des alertes d'ingestion automatique

Configurez Monitoring pour déclencher des alertes lorsque les valeurs d'ingestion atteignent certains niveaux prédéfinis. Cela vous permet d'intégrer des notifications par e-mail aux workflows existants pour corriger de manière proactive les flux défectueux ou détecter les sources de journaux silencieuses.

  1. Dans le Health Hub, cliquez sur le lien Configurer des alertes, qui vous redirige vers l'interface Monitoring.
  2. Créez une règle d'alerte :
    • Sélectionnez des métriques : Choisissez des métriques sous Collecteur Chronicle > Ingestion, telles que Nombre total de journaux ingérés ou Taille totale des journaux ingérés.
    • Ajoutez des filtres pour collector_id ou log_type afin de limiter le champ d'application de l'alerte à des sources spécifiques.
  3. Pour détecter les transferts silencieux, sélectionnez Absence de métrique comme type de condition. Configurez-le pour qu'il déclenche une alerte si les journaux cessent d'être générés pendant une durée spécifiée (par exemple, 60 minutes).

Dépannage

Cette section décrit différentes méthodes pour résoudre les problèmes d'ingestion de données.

Problèmes courants

  • Latence du pipeline : un délai important entre l'horodatage Dernière heure de l'événement et Dernière heure d'ingestion indique une latence potentielle. Le Hub Santé expose le centile 95th de ce delta. Des valeurs élevées suggèrent une latence du pipeline, tandis que des valeurs normales peuvent signifier que la source envoie des données historiques.
  • Augmentations ou baisses soudaines de l'ingestion : le système utilise la standardisation du score Z pour signaler les anomalies. Une baisse est signalée si les différences standardisées quotidiennes et hebdomadaires sont inférieures à -1.645.
  • Échecs d'analyse : une alerte est déclenchée si la proportion d'erreurs d'analyse par rapport au nombre total d'événements ingérés augmente de 5 points de pourcentage ou plus par rapport à la veille. Examinez la configuration du parseur à l'aide du lien dans le Health Hub.

Pour en savoir plus sur les moyens d'identifier les problèmes d'ingestion de données et d'analyse, consultez Identifier et examiner les problèmes d'ingestion de données et d'analyse.

Latence, quota de service et limites

  • Actualisation des données : les informations des tableaux de bord Plate-forme Santé et Ingestion de données sont actualisées toutes les 15 minutes environ.

Correction des erreurs

Pour obtenir la liste complète des messages d'erreur et des solutions, consultez Résoudre les problèmes d'ingestion.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.