Afficher le volume d'ingestion facturé

Compatible avec :

La facturation de Google Security Operations est calculée en fonction du volume de données de journaux brutes ingérées dans la plate-forme. Ce document explique comment utiliser des métriques d'ingestion spécifiques qui correspondent au système de facturation pour garantir une gestion et une prévision précises des coûts.

Les principes suivants définissent le mode de calcul du volume d'ingestion à des fins de facturation :

  • Volume facturable : les calculs de facturation sont basés exclusivement sur les octets de données de journaux brutes. Les métadonnées, les libellés internes et les tags d'enrichissement associés aux journaux sont exclus du total facturable.

  • Source de données faisant autorité : les métriques d'ingestion fournies dans le système de facturation constituent la seule source faisant autorité pour les rapports financiers. Les métriques externes ou les tableaux de bord internes en dehors du module de facturation spécifique ne doivent pas être utilisés pour le rapprochement budgétaire ni l'audit des coûts.

Afficher le volume d'ingestion

Les données de volume d'ingestion à des fins de facturation sont accessibles dans trois emplacements principaux. Chaque source utilise les mêmes données de métriques d'ingestion sous-jacentes pour maintenir la cohérence des données et l'alignement avec les états financiers.

Méthode 1 : Tableau de bord principal

Le tableau de bord principal fournit une visualisation de haut niveau des tendances d'ingestion au fil du temps. Cette vue facilite la surveillance des pics de volume quotidiens et l'identification des modèles d'ingestion à long terme.

  1. Connectez-vous à Google SecOps.

  2. Cliquez sur Tableaux de bord et rapports > Tableaux de bord.

  3. Utilisez l'onglet Rechercher pour trouver et sélectionner le tableau de bord Principal.

  4. Accédez au widget Débit pour surveiller les débits d'ingestion de données. Vous pouvez utiliser le sélecteur de période pour calculer le débit total sur des intervalles spécifiques.

Méthode 2 : Tableau de bord "État et ingestion des données"

Le tableau de bord État et ingestion des données offre une vue détaillée de la télémétrie d'ingestion, classée par type de journal et source. Ce tableau de bord facilite l'audit des volumes d'ingestion au niveau de chaque source de journaux, ce qui permet d'identifier les contributeurs spécifiques au volume facturable total.

  1. Connectez-vous à Google SecOps.

  2. Cliquez sur Tableaux de bord et rapports > Tableaux de bord.

  3. Utilisez l'onglet Rechercher pour trouver et sélectionner le tableau de bord Ingestion et état des données.

  4. Accédez au widget Débit pour analyser les débits d'ingestion de données. Vous pouvez utiliser le sélecteur de période pour calculer le débit total sur des intervalles spécifiques.

Méthode 3 : Cloud Monitoring

La méthode Cloud Monitoring est disponible pour les clients qui utilisent une configuration Bring Your Own Project (BYOP). Cette approche permet d'utiliser des outils de surveillance externes pour interroger la télémétrie d'ingestion directement à partir de l'infrastructure de projet sous-jacente.

  1. Accédez à la Google Cloud console et, dans la barre de recherche, saisissez Explorateur de métriques. Vous pouvez également cliquer sur menu Menu, puis sélectionner Surveillance > Explorateur de métriques.

  2. Sélectionnez votre profil Cloud Monitoring.

  3. Dans la barre de recherche de la page Profil, saisissez Intégrations.

  4. Sélectionnez Explorateur de métriques.

  5. Cliquez sur promQL pour passer au mode de requête promQL.

  6. Affichez les résultats dans un format de tableau : recherchez Résultats , puis sélectionnez Tableau.

  7. Affichez le volume d'ingestion (ingestion_log_byte_count) : copiez et collez la requête de métrique d'ingestion suivante dans l'éditeur de requête, puis exécutez-la :

    
    sum (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

  8. Facultatif : Filtrez un type de journal spécifique et incluez-le dans la requête. Par exemple, pour afficher l'ingestion du type de journal GCP_CLOUDAUDIT, exécutez la requête suivante :

        sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))

Comparer les calculs du volume d'ingestion et les limites de temps

L'interface Google SecOps n'affiche pas de compteur cumulé du nombre total de journaux bruts ingérés depuis le provisionnement de votre instance. Étant donné que chaque outil de reporting utilise une période d'analyse et un pipeline de données différents, vous ne pouvez pas calculer un total depuis le début de l'instance une fois que celle-ci dépasse la limite de conservation de l'outil que vous interrogez.

La répartition suivante montre où vous pouvez calculer le volume d'ingestion et comment les valeurs diffèrent selon les emplacements :

  • Tableaux de bord Google SecOps (jusqu'à 365 jours) :

    • Où calculer : ouvrez Tableaux de bord et rapports > Tableaux de bord, puis affichez le widget Débit dans le tableau de bord Principal ou Ingestion et état des données (y compris le graphique Ingestion – Débit (depuis le début)). Vous pouvez également exécuter une requête de tableau de bord personnalisée pour sum($event.ingestion.log_volume) filtrée par $event.ingestion.component = "Ingestion API".
    • Période maximale : les requêtes sont limitées à 365 jours maximum, même dans le graphique organisé Ingestion – Débit (depuis le début).
    • Différences entre les valeurs : les tableaux de bord interrogent la table asynchrone ingestion_metrics, qui collecte la télémétrie à des intervalles d'environ 5 minutes et peut subir une latence de collecte ou des baisses de métriques temporaires. Les valeurs sont approximatives et ne reflètent que les journaux ingérés via l'API Ingestion au cours de la période sélectionnée, plutôt que les octets de journaux bruts depuis le début ou le volume facturé final pour toutes les méthodes d'ingestion.

  • Explorateur de métriques Cloud Monitoring (jusqu'à 24 mois pour les instances BYOP):

    • Où calculer : ouvrez Surveillance > Explorateur de métriques dans la Google Cloud console, puis exécutez une requête pour chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"} (comme indiqué dans la méthode 3).
    • Période maximale : les requêtes sont limitées à 24 mois maximum, en fonction de la conservation des métriques Cloud Monitoring.
    • Différences entre les valeurs : Cloud Monitoring interroge les nombres d'octets d'ingestion au niveau du collecteur sur la période sélectionnée. Les valeurs couvrent une période d'analyse plus longue que les tableaux de bord Google SecOps (jusqu'à 24 mois au lieu de 365 jours), mais elles ne reflètent pas un total depuis le début si votre instance a plus de 24 mois.

  • Exportation BigQuery (au-delà de 365 jours, en fonction de la conservation de votre ensemble de données) :

    • Où calculer : ouvrez votre projet BigQuery après avoir exporté la table ingestion_metrics, puis exécutez une requête pour SUM(log_volume) (ou total_size_bytes dans Looker et BigQuery) filtrée par component = "Ingestion API".
    • Période maximale : les requêtes sont limitées à la période de conservation configurée pour votre table BigQuery à partir du moment où vous avez activé l'exportation, plutôt qu'à la limite de 365 jours du tableau de bord.
    • Différences entre les valeurs : BigQuery interroge la même table asynchrone ingestion_metrics que les tableaux de bord Google SecOps. Les valeurs correspondent aux requêtes du tableau de bord pour la même période, mais elles restent des indicateurs de télémétrie approximatifs plutôt que des octets de journaux bruts depuis le début ou des relevés de facturation faisant autorité.

Créer des alertes sur la quantité de données ingérées

La création d'alertes pour le volume d'ingestion vous aide à gérer les coûts et à répondre aux pics inattendus. Cloud Monitoring gère le workflow d'alerte.

Pour surveiller votre volume d'ingestion quotidien par rapport aux limites contractuelles, utilisez la métrique Taille totale des journaux ingérés (chronicle.googleapis.com/ingestion/log/bytes_count).

Pour obtenir des instructions de configuration détaillées, consultez Configurer un exemple de règle pour surveiller le volume d’ingestion quotidien.

Surveiller les métriques d'ingestion dans les locataires gérés

Les champs d'application Cloud Monitoring vous offrent une visibilité centralisée sur les volumes d'ingestion dans les projets gérés (locataires).

Les champs d'application des métriques vous permettent de surveiller les données de plusieurs locataires gérés Google Cloud dans une seule console. Cette fonctionnalité nécessite la configuration suivante :

  • Les locataires gérés doivent fournir les autorisations nécessaires au projet Cloud Monitoring central.
  • Le compte principal doit être configuré en tant que projet de champ d'application.

Avec cette configuration, la vue centralisée facilite la surveillance du volume d'ingestion total (log_byte_count) dans l'ensemble de l'environnement.

Pour en savoir plus, consultez Présentation des champs d'application des métriques. Pour configurer cette vue, consultez Configurer un champ d'application des métriques.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.