Utiliser le tableau de bord "Surveillance de l'état des données"

Compatible avec :

Ce document décrit le tableau de bord Surveillance de l'intégrité des données, qui est l'emplacement central de Google Security Operations où vous pouvez surveiller l'état et l'intégrité de toutes les sources de données configurées. Le tableau de bord fournit des informations essentielles sur les sources et les types de journaux anormaux. Il offre le contexte nécessaire pour diagnostiquer et résoudre les problèmes liés aux pipelines de données.

Le tableau de bord Surveillance de l'état des données inclut des informations sur les éléments suivants :

  • Volumes d'ingestion et état de l'ingestion.
  • Volumes d'analyse des journaux bruts en événements UDM (Unified Data Model).
  • Contexte et liens vers des interfaces contenant des informations et des fonctionnalités pertinentes supplémentaires.

  • Sources et types de journaux irréguliers ou ayant échoué. Le tableau de bord Surveillance de l'intégrité des données détecte les irrégularités pour chaque client. Il utilise des méthodes statistiques avec une période d'analyse de 30 jours pour analyser les données d'ingestion. Les éléments marqués comme irréguliers identifient les pics ou les baisses de données ingérées et traitées par Google SecOps.

Principaux avantages

Vous pouvez utiliser le tableau de bord Surveillance de l'intégrité des données pour effectuer les opérations suivantes :

  • Surveillez l'état général des données en un coup d'œil. Affichez l'état de santé principal et les métriques associées pour chaque flux, source de données, type de journal et source (c'est-à-dire l'ID du flux).

  • Surveillez les métriques agrégées sur l'état des données pour :

    • Ingestion et analyse au fil du temps avec des événements mis en évidence (pas nécessairement des irrégularités) qui renvoient à des tableaux de bord filtrés.
    • les irrégularités actuelles et au fil du temps.

  • Accédez aux tableaux de bord associés, filtrés par période, type de journal ou flux.

  • Accédez à la configuration du flux pour modifier et résoudre un problème.

  • Accédez à la configuration de l'analyseur pour modifier et résoudre un problème.

  • Cliquez sur le lien Configurer des alertes pour ouvrir l'interface Cloud Monitoring. Ensuite, configurez des alertes personnalisées basées sur l'API à l'aide des métriques État et volume de journaux.

Questions clés

Cette section fait référence aux composants et aux paramètres du tableau de bord Surveillance de l'état des données, qui sont décrits dans la section Interface.

Vous pouvez utiliser le tableau de bord Surveillance de l'intégrité des données pour répondre aux questions clés suivantes sur votre pipeline de données :

  • Mes journaux sont-ils transmis à Google SecOps ?

    Vous pouvez vérifier si les journaux parviennent à Google SecOps à l'aide des métriques Dernière importation et Dernière normalisation. Ces métriques indiquent la dernière fois que les données ont été correctement fournies. De plus, les métriques sur le volume d'ingestion (par source et par type de journal) indiquent la quantité de données ingérées.

  • Mes journaux sont-ils analysés correctement ?

    Pour vérifier que l'analyse est correcte, consultez la métrique Dernière normalisation. Cette métrique indique la date et l'heure de la dernière transformation réussie d'un journal brut en événement UDM.

  • Pourquoi l'ingestion ou l'analyse ne se produisent-elles pas ?

    Le texte de la colonne Détails du problème identifie des problèmes spécifiques, ce qui vous aide à déterminer si l'action est actionnable (vous la corrigez) ou non actionnable (nécessite une assistance). Le texte Interdit 403 : Autorisation refusée est un exemple d'erreur exploitable, où le compte d'authentification fourni dans la configuration du flux ne dispose pas des autorisations requises. Le texte Internal_error est un exemple d'erreur non actionable, où l'action recommandée consiste à ouvrir une demande d'assistance auprès de Google SecOps.

  • Le nombre de journaux ingérés et analysés a-t-il changé de manière significative ?

    Le champ État indique l'état de vos données (de Bon à Échec) en fonction du volume de données. Vous pouvez également identifier les pics ou les baisses soudaines ou durables en consultant le graphique Total des journaux ingérés et analysés.

  • Comment puis-je recevoir une alerte si mes sources échouent ?

    Le tableau de bord Surveillance de l'état des données alimente les métriques État et volume de journaux dans Cloud Monitoring. Dans l'un des tableaux du tableau de bord Surveillance de l'intégrité des données, cliquez sur le lien Alertes correspondant pour ouvrir l'interface Cloud Monitoring. Vous pouvez y configurer des alertes personnalisées basées sur l'API à l'aide des métriques État et volume de journaux.

  • Comment déduire un retard dans l'ingestion de type journal ?

    Un retard est indiqué lorsque l'heure du dernier événement est nettement antérieure à l'horodatage Dernière importation. Le tableau de bord Surveillance de l'intégrité des données expose le 95th centile du delta Dernière importation–Heure du dernier événement par type de journal. Une valeur élevée suggère un problème de latence dans le pipeline Google SecOps, tandis qu'une valeur normale peut indiquer que la source envoie d'anciennes données.

  • Les échecs de flux sont-ils dus à des modifications récentes de ma configuration ?

    Si l'horodatage Dernière mise à jour de la configuration est proche de l'horodatage Dernière importation, cela suggère qu'une mise à jour récente de la configuration peut être à l'origine d'un échec. Cette corrélation aide à analyser les causes fondamentales.

  • Comment l'état de l'ingestion et de l'analyse a-t-il évolué au fil du temps ?

    Le graphique Total des journaux ingérés et analysés affiche la tendance historique de l'état de vos données. Il vous permet d'observer les tendances et les irrégularités à long terme.

Interface

Le tableau de bord Surveillance de l'état des données affiche les widgets suivants :

  • Widgets "Grand nombre" :

    • Sain : nombre de sources de données et d'analyseurs fonctionnant sans irrégularités.
    • Échec : nombre de sources de données nécessitant une attention immédiate.
    • Irrégulier : nombre de sources de données et d'analyseurs irréguliers.

  • Nombre total de journaux ingérés et analysés : graphique en courbes affichant les courbes des journaux Journaux analysés et Journaux ingérés par jour au fil du temps.

  • Tableau État de santé par source de données : inclut les colonnes suivantes :

    • État : état cumulé du flux (OK, Échec ou Irrégulier), basé sur le volume de données, les erreurs de configuration et les erreurs d'API.
    • Type de source : type de source (mécanisme d'ingestion), par exemple API d'ingestion, Flux, Ingestion Workspace native ou Flux Azure Event Hub.
    • Nom : nom du flux.
    • Log Type : type de journal (par exemple, CS_EDR, UDM, GCP_CLOUDAUDIT ou WINEVTLOG).
    • Détails du problème : en cas de problème, la colonne affiche des détails (par exemple, Échec de l'analyse des journaux, Problème d'identifiants de configuration ou Problème de normalisation). Le problème indiqué peut être actionable (par exemple, Authentification incorrecte) ou non actionable (par exemple, Internal_error). Si le problème ne nécessite aucune action, l'action recommandée consiste à ouvrir une demande d'assistance auprès de Google SecOps. Lorsque l'état est OK, la valeur est vide.
    • Durée du problème : nombre de jours pendant lesquels la source de données a été dans un état irrégulier ou en échec. Lorsque l'état est OK, la valeur est vide.
    • Dernière collecte : code temporel de la dernière collecte de données.
    • Dernière ingestion : code temporel de la dernière ingestion réussie. Utilisez cette métrique pour déterminer si vos journaux sont transmis à Google SecOps.
    • Dernière mise à jour de la configuration : code temporel de la dernière modification apportée à la métrique. Utilisez cette valeur pour corréler les mises à jour de configuration avec les irrégularités observées. Cela vous aidera à déterminer la cause première des problèmes d'ingestion ou d'analyse.
    • Afficher les détails de l'ingestion : lien qui ouvre un nouvel onglet avec un autre tableau de bord contenant des informations historiques supplémentaires pour une analyse plus approfondie.
    • Modifier la source de données : lien qui ouvre un nouvel onglet avec la configuration du flux correspondante, dans laquelle vous pouvez corriger les irrégularités liées à la configuration.
    • Configurer des alertes : lien qui ouvre un nouvel onglet avec l'interface Cloud Monitoring correspondante.

  • Tableau État de santé par analyseur : inclut les colonnes suivantes :

    • État : état cumulé du type de journal (OK, Échec ou Irrégulier), dérivé du ratio de normalisation.
    • Nom : type de journal (par exemple, DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT ou WEBPROXY).
    • Détails du problème : en cas de problème, la colonne affiche des informations sur le ou les problèmes d'analyse (par exemple, Échec de l'analyse des journaux, Problème de configuration des identifiants ou Problème de normalisation). Le problème indiqué peut être actionable (par exemple, Authentification incorrecte) ou non actionable (par exemple, Internal_error). Si le problème ne nécessite aucune action, l'action recommandée consiste à ouvrir une demande d'assistance auprès de Google SecOps. Lorsque l'état est OK, la valeur est vide.
    • Durée du problème : nombre de jours pendant lesquels la source de données a été dans un état irrégulier ou en échec. Lorsque l'état est OK, la valeur est vide.
    • Dernière ingestion : code temporel de la dernière ingestion réussie. Vous pouvez utiliser cette métrique pour déterminer si les journaux sont transmis à Google SecOps.

    • Heure du dernier événement : code temporel de l'événement du dernier journal normalisé.

    • Dernière normalisation : code temporel de la dernière action d'analyse et de normalisation pour le type de journal. Vous pouvez utiliser cette métrique pour déterminer si les journaux bruts sont correctement transformés en événements UDM.

    • Dernière mise à jour de la configuration : code temporel de la dernière modification de la métrique. Utilisez cette valeur pour corréler les mises à jour de configuration avec les irrégularités observées. Cela vous aidera à déterminer la cause première des problèmes d'ingestion ou d'analyse.

    • Afficher les détails de l'analyse : lien qui ouvre un nouvel onglet avec un autre tableau de bord contenant des informations historiques supplémentaires pour une analyse plus approfondie.

    • Modifier l'analyseur : lien qui ouvre un nouvel onglet avec la configuration de l'analyseur correspondante, où vous pouvez corriger les irrégularités liées à la configuration.

    • Configurer une alerte : lien qui ouvre un nouvel onglet avec l'interface Cloud Monitoring correspondante.

Moteur de détection des irrégularités

Le tableau de bord Surveillance de l'intégrité des données utilise le moteur de détection des irrégularités Google SecOps pour identifier automatiquement les changements importants dans vos données. Vous pouvez ainsi détecter et résoudre rapidement les problèmes potentiels.

Détection des irrégularités d'ingestion de données

Google SecOps analyse les variations de volume quotidiennes en tenant compte des tendances hebdomadaires normales.

Le moteur de détection des irrégularités utilise les calculs suivants pour détecter les pics ou les baisses inhabituels dans l'ingestion de vos données :

  • Comparaisons quotidiennes et hebdomadaires : Google SecOps calcule la différence de volume d'ingestion entre le jour actuel et le jour précédent, ainsi que la différence entre le jour actuel et le volume moyen au cours de la semaine écoulée.

  • Normalisation : pour comprendre l'importance de ces modifications, Google SecOps les normalise à l'aide de la formule de score Z suivante :

    z = (xi − x_bar) / stdev

    Où :

    • z est le score standardisé (ou score Z) pour une différence individuelle.
    • xi est une valeur de différence individuelle.
    • x_bar est la moyenne des différences.
    • stdev correspond à l'écart-type des différences.

  • Signalement des irrégularités : Google SecOps signale une irrégularité si les variations standardisées quotidiennes et hebdomadaires sont statistiquement significatives. Plus précisément, Google SecOps recherche les éléments suivants :

    • Baisse : les différences standardisées quotidiennes et hebdomadaires sont inférieures à -1,645.
    • Pics : les différences standardisées quotidiennes et hebdomadaires sont supérieures à 1,645.

Ratio de normalisation

Lors du calcul du ratio entre les événements ingérés et les événements normalisés, le moteur de détection des irrégularités utilise une approche combinée pour s'assurer que seules les baisses importantes des taux de normalisation sont signalées. Le moteur de détection des irrégularités ne génère une alerte que lorsque les deux conditions suivantes sont remplies :

  • Le ratio de normalisation a diminué de manière statistiquement significative par rapport à la veille.
  • La baisse est également significative en termes absolus, avec une magnitude de 0,05 ou plus.

Détection des irrégularités dans les erreurs d'analyse

Pour les erreurs qui se produisent lors de l'analyse des données, le moteur de détection des irrégularités utilise une méthode basée sur les ratios. Le moteur de détection des irrégularités déclenche une alerte si la proportion d'erreurs d'analyse par rapport au nombre total d'événements ingérés augmente de 5 points de pourcentage ou plus par rapport à la veille.

Étapes suivantes

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.