Google Cloud Observability-Speicher – Übersicht

In diesem Dokument wird beschrieben, wie Google Cloud Observability Ihre Telemetriedaten speichert. Es enthält Informationen dazu, wie Cloud Logging, Cloud Monitoring und Cloud Trace Daten speichern. Dieses Dokument bietet auch eine konzeptionelle Übersicht über Beobachtbarkeits-Buckets.

Logdaten

Logdaten befinden sich in Log-Buckets. Das sind die Container, die Logging zum Speichern Ihrer Logdaten verwendet. Jedes Google Cloud Projekt, Rechnungskonto, jeder Ordner und jede Organisation enthält Log-Buckets mit den Namen _Required und _Default.

Standardmäßig befinden sich Logdaten im Google Cloud Projekt, Rechnungskonto, Ordner, oder in der Organisation, aus der die Daten stammen. Sie können Logging jedoch so konfigurieren, dass Logdaten von der Ressource, aus der sie stammen, an einen anderen Ort weitergeleitet werden, z. B. an ein anderes Projekt oder einen zentralen Log-Bucket. Weitere Informationen finden Sie unter Logeinträge speichern und Logeinträge weiterleiten.

Mit Cloud Logging können Sie Ihre Logdaten regionalisieren:

  • Organisationsrichtlinien können die Standorte neuer Log-Buckets einschränken und erfordern, dass Log-Buckets kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) verwenden.

  • Für Organisationen und Ordner können Sie mit den Standardeinstellungen für Ressourcen für Cloud Logging Folgendes konfigurieren:

    • Den Standort neuer _Required- und _Default-Log-Buckets.
    • Den KMS-Schlüssel zum Verschlüsseln Ihrer Logdaten.
    • Die Konfiguration der Standardsenke.

    Untergeordnete Elemente in der Ressourcenhierarchie übernehmen diese Einstellungen automatisch, es sei denn, sie konfigurieren auch Standardeinstellungen für Ressourcen. Angenommen, Sie konfigurieren Standardeinstellungen für Ressourcen für Cloud Logging für eine Organisation. Dann übernehmen alle Ordner und Projekte in der Ressourcenhierarchie der Organisation diese Einstellungen automatisch. Wenn Sie jedoch die Standardeinstellungen für Ressourcen für Cloud Logging für einen Ordner in dieser Organisation festlegen, werden die Einstellungen auf Ordnerebene verwendet.

    Die Standardeinstellungen für Ressourcen für Cloud Logging gelten nur für neue Ressourcen, nicht für vorhandene Ressourcen. Weitere Informationen finden Sie unter Standardeinstellungen für Ressourcen für Cloud Logging konfigurieren.

Messwertdaten

Messwertdaten befinden sich im Google Cloud Projekt, aus dem die Daten stammen.

Informationen zu den Speicherrichtlinien für Daten, die von Monitoring verwendet werden, finden Sie unter Datenstandort für Monitoring.

Trace-Daten

Trace-Daten befinden sich in einem Beobachtbarkeits-Bucket mit dem Namen im selben Google Cloud Projekt , aus dem die Daten stammen. Der Bucket-Name ist _Trace. Im nächsten Abschnitt werden Beobachtbarkeits-Buckets beschrieben. Informationen zum Speicherformat einzelner Spans finden Sie unter Trace-Schema.

Sie können festlegen, wo Ihre Trace-Daten gespeichert werden und wer Verschlüsselungsschlüssel verwaltet, indem Sie Standardeinstellungen für Beobachtbarkeits-Buckets konfigurieren. Mit diesen Einstellungen können Sie beispielsweise für eine Organisation festlegen, dass neue Beobachtbarkeits-Buckets in der Organisation CMEK verwenden müssen. Weitere Informationen finden Sie auf dieser Seite im Abschnitt Datenstandort für Beobachtbarkeits-Buckets.

Speichermodell für Beobachtbarkeit

Das Speichermodell der Observability API basiert auf der folgenden Architektur:

Beobachtbarkeits-Buckets
Ein Beobachtbarkeits-Bucket ist die Verwaltungseinheit für Datasets, in denen Daten gespeichert werden. Ein Beobachtbarkeits-Bucket befindet sich an einem bestimmten Standort und hat eine Richtlinie zur Datenaufbewahrung. Wenn ein Google Cloud Dienst die Observability API zum Speichern seiner Daten verwendet, erstellt das System einen Beobachtbarkeits-Bucket basierend auf dem Namen des Dienstes, ein Dataset zum Speichern von Daten und eine Ansicht, um Lesezugriff auf die gespeicherten Daten zu gewähren. Für den Cloud Trace-Dienst benennt das System beispielsweise den vom System erstellten Bucket _Trace, das Dataset Spans, und die Ansicht _AllSpans. Informationen zur Struktur eines Beobachtbarkeits-Buckets finden Sie unter Bucket.
Datasets
In einem Dataset werden Daten gespeichert. Das System erstellt automatisch ein Dataset, wenn es einen Beobachtbarkeits-Bucket erstellt, der das Dataset verwaltet. Wenn das System beispielsweise den Bucket _Trace erstellt, wird auch ein Dataset mit dem Namen Spans erstellt, in dem Ihre Trace-Daten gespeichert werden. Informationen zur Struktur eines Datasets finden Sie unter Dataset.
Ansichten von Datasets
Jedes Dataset hostet eine oder mehrere Ansichten. Eine Ansicht bietet Lesezugriff auf eine Teilmenge der Einträge im Dataset. Das System erstellt eine Ansicht, wenn es ein Dataset erstellt. Diese Ansicht enthält alle Daten im Dataset. Der Name der Ansicht hängt vom Dienst ab. Für den Cloud Trace-Dienst erstellt das System beispielsweise eine Ansicht mit dem Namen _AllSpans für das Spans Dataset. Informationen zur Struktur einer Ansicht finden Sie unter View.
Links zu Datasets

Jedes Dataset kann maximal einen Link enthalten. Wenn Sie einen Link für ein Dataset erstellen, erstellt das System ein verknüpftes BigQuery-Dataset. Sie können dann die Daten in Ihrem Dataset mit BigQuery oder anderen Diensten abfragen, die die BigQuery API verwenden. Informationen zur Struktur eines Links finden Sie unter Link.

Das System erstellt nicht automatisch Links zu Datasets.

Ihre Trace-Daten befinden sich beispielsweise in einem Dataset mit dem Namen Spans. Dieses Dataset ist ein untergeordnetes Element des Beobachtbarkeits-Buckets _Trace. Für das Dataset Spans erstellt das System die Ansicht _AllSpans. Diese Ansicht enthält alle Daten im Dataset.

Datenstandort für Beobachtbarkeits-Buckets

Wenn Sie Compliance- oder behördliche Anforderungen haben, Ihre Daten an bestimmten Standorten zu speichern oder kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) zu verwenden, empfehlen wir Ihnen, sowohl Organisationsrichtlinien als auch Standardeinstellungen für Beobachtbarkeits-Buckets zu konfigurieren.

Für Organisationen, Ordner und Projekte können Sie mit den Standardeinstellungen für Beobachtbarkeits-Buckets Folgendes konfigurieren:

  • Einen Standardspeicherort.
  • Für jeden Standort einen Standard-Cloud Key Management Service-Schlüssel.

Wenn diese Einstellungen für ein Projekt konfiguriert sind, gelten sie nur für neue Beobachtbarkeits-Buckets, die in diesem Projekt erstellt werden. Wenn diese Einstellungen für einen Ordner oder eine Organisation konfiguriert sind, gelten sie für neue Beobachtbarkeits-Buckets, die in Projekten erstellt werden, die untergeordnete Elemente des Ordners oder der Organisation sind. Ausgenommen sind Projekte, für die Sie Standardeinstellungen konfiguriert haben.

Sie können auch Organisationsrichtlinien verwenden, um die Standorte neuer Beobachtbarkeits-Buckets einzuschränken, die Verwendung von CMEK zu erzwingen oder einzuschränken, welche Cloud KMS-Schlüssel für die Verschlüsselung verwendet werden können. Wenn Sie Organisationsrichtlinien konfigurieren, die die Verwendung von CMEK erfordern, müssen Sie Standardeinstellungen für Beobachtbarkeits-Buckets konfigurieren. Andernfalls schlägt die Bereitstellung für vom System erstellte Beobachtbarkeits-Buckets fehl.

Weitere Informationen finden Sie unter Standardeinstellungen für Beobachtbarkeits-Buckets festlegen.

Beschränkungen

Folgendes ist nicht möglich:

  • Beobachtbarkeits-Buckets ändern oder löschen.
  • Datasets erstellen, löschen oder ändern.
  • Ansichten erstellen, löschen oder ändern.
  • Mit der Google Cloud console Buckets, Datasets, Ansichten oder Links auflisten.

Nächste Schritte