Présentation du stockage Google Cloud Observability

Ce document décrit comment Google Cloud Observability stocke vos données de télémétrie. Il inclut des informations sur la façon dont Cloud Logging, Cloud Monitoring et Cloud Trace stockent les données. Ce document fournit également une présentation conceptuelle des buckets d'observabilité.

Données des journaux

Les données de journaux résident dans des buckets de journaux, qui sont les conteneurs utilisés par Logging pour stocker vos données de journaux. Chaque projet Google Cloud , compte de facturation, dossier et organisation contient des buckets de journaux nommés _Required et _Default.

Par défaut, les données de journaux résident dans le projet, le compte de facturation, le dossier ou l'organisation Google Cloud d'où proviennent les données. Toutefois, vous pouvez configurer la journalisation pour acheminer les données de journaux depuis la ressource où elles sont générées vers un autre emplacement, comme un autre projet ou un bucket de journaux centralisé. Pour en savoir plus, consultez Stocker les entrées de journal et Router les entrées de journal.

Cloud Logging vous permet de régionaliser vos données de journaux :

  • Les règles d'administration peuvent limiter les emplacements des nouveaux buckets de journaux et exiger que les buckets de journaux utilisent des clés de chiffrement gérées par le client (CMEK).

  • Pour les organisations et les dossiers, les paramètres de ressources par défaut pour Cloud Logging vous permettent de configurer les éléments suivants :

    • Emplacement des nouveaux buckets de journaux _Required et _Default.
    • Clé KMS permettant de chiffrer vos données de journaux.
    • Configuration du récepteur par défaut.

    Les descendants dans la hiérarchie des ressources héritent automatiquement de ces paramètres, sauf s'ils configurent également des paramètres de ressources par défaut. Par exemple, supposons que vous configurez des paramètres de ressources par défaut pour Cloud Logging pour une organisation. Tous les dossiers et projets de la hiérarchie des ressources de l'organisation héritent alors automatiquement de ces paramètres. Toutefois, si vous définissez les paramètres de ressource par défaut pour Cloud Logging pour un dossier de cette organisation, les paramètres au niveau du dossier sont utilisés.

    Les paramètres de ressources par défaut pour Cloud Logging ne s'appliquent qu'aux nouvelles ressources, et non à celles existantes. Pour en savoir plus, consultez Configurer les paramètres de ressources par défaut pour Cloud Logging.

Données de métriques

Les données métriques résident dans le projet Google Cloud d'où elles proviennent.

Pour en savoir plus sur les règles de stockage des données utilisées par Monitoring, consultez Résidence des données pour Monitoring.

Données de trace

Les données de trace résident dans un bucket d'observabilité portant le même nom que le projet Google Cloud d'où proviennent les données. Le nom du bucket est _Trace. La section suivante décrit les buckets d'observabilité. Pour en savoir plus sur le format de stockage des portées individuelles, consultez Schéma de trace.

Vous pouvez contrôler l'emplacement de stockage de vos données de trace et qui gère les clés de chiffrement en configurant les paramètres par défaut des buckets d'observabilité. Par exemple, vous pouvez utiliser ces paramètres pour qu'une organisation exige que les nouveaux buckets d'observabilité de l'organisation utilisent CMEK. Pour en savoir plus, consultez la section Résidence des données pour les buckets d'observabilité sur cette page.

Modèle de stockage de l'observabilité

Le modèle de stockage de l'API Observability repose sur l'architecture suivante :

Buckets d'observabilité
Un bucket d'observabilité est l'entité de gestion des ensembles de données, qui stockent les données. Un bucket d'observabilité se trouve dans un emplacement spécifique et dispose d'une règle de conservation des données. Lorsqu'un service Google Cloud utilise l'API Observability pour stocker ses données, le système crée un bucket d'observabilité basé sur le nom du service, un ensemble de données pour stocker les données et une vue pour fournir un accès en lecture aux données stockées. Par exemple, pour le service Cloud Trace, le système nomme le bucket créé par le système _Trace, l'ensemble de données Spans et la vue _AllSpans. Pour en savoir plus sur la structure d'un bucket d'observabilité, consultez Bucket.
Ensembles de données
Un ensemble de données stocke des données. Le système crée automatiquement un ensemble de données lorsqu'il crée un bucket d'observabilité, qui gère l'ensemble de données. Par exemple, lorsque le système crée le bucket _Trace, il crée également un ensemble de données nommé Spans, qui stocke vos données de trace. Pour en savoir plus sur la structure d'un ensemble de données, consultez Dataset.
Vues sur les ensembles de données
Chaque ensemble de données héberge une ou plusieurs vues. Une vue permet d'accéder en lecture à un sous-ensemble d'entrées de l'ensemble de données. Le système crée une vue lorsqu'il crée un ensemble de données. Cette vue inclut toutes les données de l'ensemble de données. Le nom de la vue dépend du service. Par exemple, pour le service Cloud Trace, le système crée une vue nommée _AllSpans sur l'ensemble de données Spans. Pour en savoir plus sur la structure d'une vue, consultez View.
Liens vers des ensembles de données

Chaque ensemble de données peut contenir au maximum un lien. Lorsque vous créez un lien pour un ensemble de données, le système crée un ensemble de données BigQuery associé. Vous pouvez ensuite interroger les données de votre ensemble de données à l'aide de BigQuery ou d'autres services qui utilisent l'API BigQuery. Pour en savoir plus sur la structure d'un lien, consultez Link.

Le système ne crée pas automatiquement de liens vers les ensembles de données.

Par exemple, vos données de trace résident dans un ensemble de données nommé Spans. Cet ensemble de données est un enfant du bucket d'observabilité nommé _Trace. Dans l'ensemble de données Spans, le système crée la vue nommée _AllSpans. Cette vue inclut toutes les données de l'ensemble de données.

Résidence des données pour les buckets d'observabilité

Si vous devez stocker vos données dans des emplacements spécifiques ou utiliser des CMEK pour respecter des exigences réglementaires ou de conformité, nous vous recommandons de configurer les paramètres par défaut des buckets d'observabilité :

  • Pour les organisations, les dossiers et les projets, les paramètres par défaut des buckets d'observabilité vous permettent de configurer les éléments suivants :

    • Un emplacement de stockage par défaut.
    • Une clé Cloud Key Management Service par défaut pour chaque emplacement.

    Les descendants de la hiérarchie des ressources utilisent automatiquement ces paramètres, à l'exception de ceux pour lesquels vous avez configuré des paramètres par défaut.

    Les paramètres par défaut des buckets d'observabilité ne s'appliquent qu'aux nouvelles ressources, et non à celles existantes. Pour en savoir plus, consultez Définir des valeurs par défaut pour les buckets d'observabilité.

Les paramètres par défaut des buckets d'observabilité ne s'appliquent pas aux buckets de journaux, qui stockent les données de journaux. Pour savoir comment définir l'emplacement par défaut ou exiger l'utilisation de CMEK pour les buckets de journaux, consultez Configurer les paramètres de ressources par défaut pour Cloud Logging.

Limites

Vous ne pouvez pas :

  • Modifier ou supprimer des buckets d'observabilité
  • Créer, supprimer ou modifier des ensembles de données
  • créer, supprimer ou modifier des vues ;
  • Utilisez la console Google Cloud pour lister les buckets, les ensembles de données, les vues ou les liens.

Étapes suivantes