Présentation du stockage Google Cloud Observability

Ce document décrit comment Google Cloud Observability stocke vos données de télémétrie. Il inclut des informations sur la façon dont Cloud Logging, Cloud Monitoring et Cloud Trace stockent les données. Ce document fournit également une présentation conceptuelle des buckets d'observabilité, que Cloud Trace utilise comme modèle de stockage.

Données des journaux

Les données de journaux résident dans des buckets de journaux, qui sont les conteneurs utilisés par Logging pour stocker vos données de journaux. Chaque projet Google Cloud , compte de facturation, dossier et organisation contient des buckets de journaux nommés _Required et _Default.

Par défaut, les données de journaux résident dans le projet, le compte de facturation, le dossier ou l'organisation Google Cloud d'où proviennent les données. Toutefois, vous pouvez configurer la journalisation pour acheminer les données de journaux depuis la ressource où elles sont générées vers un autre emplacement, comme un autre projet ou un bucket de journaux centralisé.

Pour en savoir plus, consultez Stocker les entrées de journal et Router les entrées de journal.

Données de métriques

Les données métriques résident dans le projet Google Cloud d'où elles proviennent.

Données de trace

Les données de trace résident dans un bucket d'observabilité portant le même nom que le Google Cloud projet d'où proviennent les données. Le nom du bucket est _Trace. La section suivante décrit les buckets d'observabilité.

Pour en savoir plus sur le format de stockage des spans individuels, consultez Schéma de trace.

Modèle de stockage de l'observabilité

Le modèle de stockage de l'API Observability repose sur l'architecture suivante :

Buckets d'observabilité
Un bucket d'observabilité est l'entité de gestion des ensembles de données, qui stockent les données. Un bucket d'observabilité se trouve dans un emplacement spécifique et dispose d'une règle de conservation des données. Lorsqu'un service Google Cloud utilise l'API Observability pour stocker ses données, le système crée un bucket d'observabilité en fonction du nom du service. Par exemple, pour le service Cloud Trace, le bucket créé par le système est nommé _Trace. Pour en savoir plus sur la structure d'un bucket d'observabilité, consultez Bucket.
Ensembles de données
Un ensemble de données est une entité de stockage. Chaque ensemble de données est un enfant d'un bucket d'observabilité. Lorsque le système crée un bucket d'observabilité pour un service Google Cloud , il crée également un ensemble de données. Par exemple, une fois que le système a créé le bucket _Trace, il crée l'ensemble de données nommé Spans. Ce jeu de données stocke vos données de trace. Pour en savoir plus sur la structure d'un ensemble de données, consultez Dataset.
Vues sur les ensembles de données
Chaque ensemble de données héberge une ou plusieurs vues. Une vue permet d'accéder en lecture à un sous-ensemble d'entrées de l'ensemble de données. Lorsqu'un ensemble de données est créé, le système crée automatiquement une vue. Cette vue inclut toutes les données de l'ensemble de données. Le nom de la vue dépend du service. Par exemple, pour le service Cloud Trace, le système crée une vue nommée _AllSpans sur l'ensemble de données Spans. Pour en savoir plus sur la structure d'une vue, consultez View.
Liens vers des ensembles de données

Chaque ensemble de données peut contenir au maximum un lien. Lorsque vous créez un lien pour un ensemble de données, le système crée un ensemble de données BigQuery associé. Vous pouvez ensuite interroger les données de votre ensemble de données à l'aide de BigQuery ou d'autres services qui utilisent l'API BigQuery. Pour en savoir plus sur la structure d'un lien, consultez Link.

Le système ne crée pas automatiquement de liens vers les ensembles de données.

Par exemple, vos données de trace résident dans un ensemble de données nommé Spans. Cet ensemble de données est un enfant du bucket d'observabilité nommé _Trace. Dans l'ensemble de données Spans, le système crée la vue nommée _AllSpans. Cette vue inclut toutes les données de l'ensemble de données.

Limites

Vous ne pouvez pas :

  • Modifier ou supprimer des buckets d'observabilité
  • Créer, supprimer ou modifier des ensembles de données
  • créer, supprimer ou modifier des vues ;
  • Utilisez la console Google Cloud pour lister les buckets, les ensembles de données, les vues ou les liens.
  • Créez des buckets d'observabilité dans des emplacements autres que us. Un bucket d'observabilité doit se trouver dans l'emplacement us.

Étapes suivantes