Google Cloud Observability-Speicher – Übersicht

In diesem Dokument wird beschrieben, wie Google Cloud Observability Ihre Telemetriedaten speichert. Er enthält Informationen dazu, wie Daten in Cloud Logging, Cloud Monitoring und Cloud Trace gespeichert werden. Dieses Dokument bietet auch eine konzeptionelle Übersicht über Observability-Buckets.

Logdaten

Logdaten befinden sich in Log-Buckets. Das sind die Container, in denen Logging Ihre Logdaten speichert. Jedes Google Cloud Projekt, Rechnungskonto, jeder Ordner und jede Organisation enthält Log-Buckets mit den Namen _Required und _Default.

Standardmäßig befinden sich Logdaten im Google Cloud Projekt, Abrechnungskonto, Ordner oder in der Organisation, in der die Daten generiert werden. Sie können jedoch Logging so konfigurieren, dass Logdaten von der Ressource, aus der sie stammen, an einen anderen Ort weitergeleitet werden, z. B. an ein anderes Projekt oder einen zentralen Log-Bucket. Weitere Informationen finden Sie unter Logeinträge speichern und Logeinträge weiterleiten.

Mit Cloud Logging können Sie Ihre Logdaten regionalisieren:

Organisationsrichtlinien können die Standorte neuer Log-Buckets einschränken und erfordern, dass für Log-Buckets kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) verwendet werden.
Für Organisationen und Ordner können Sie mit den Standardressourceneinstellungen für Cloud Logging Folgendes konfigurieren:
- Der Speicherort der neuen Log-Buckets _Required und _Default.
- Der KMS-Schlüssel zum Verschlüsseln Ihrer Logdaten.
- Die Konfiguration der Standardsenke.
Untergeordnete Elemente in der Ressourcenhierarchie übernehmen diese Einstellungen automatisch, sofern sie nicht auch Standardressourceneinstellungen konfigurieren. Angenommen, Sie konfigurieren Standardressourceneinstellungen für Cloud Logging für eine Organisation. Alle Ordner und Projekte in der Ressourcenhierarchie der Organisation übernehmen diese Einstellungen dann automatisch. Wenn Sie jedoch die Standardressourceneinstellungen für Cloud Logging für einen Ordner in dieser Organisation festlegen, werden die Einstellungen auf Ordnerebene verwendet.

Die Standardressourceneinstellungen für Cloud Logging gelten nur für neue Ressourcen, nicht für vorhandene Ressourcen. Weitere Informationen finden Sie unter Standardressourceneinstellungen für Cloud Logging konfigurieren.

Messwertdaten

Messwertdaten befinden sich im Google Cloud -Projekt, aus dem die Daten stammen.

Informationen zu den Speicherrichtlinien für Daten, die von Monitoring verwendet werden, finden Sie unter Datenstandort für Monitoring.

Trace-Daten

Trace-Daten befinden sich in einem Beobachtungs-Bucket, der im selben Google Cloud Projekt benannt ist, aus dem die Daten stammen. Der Bucket-Name lautet _Trace. Im nächsten Abschnitt werden Observability-Buckets beschrieben. Informationen zum Speicherformat einzelner Spannen finden Sie unter Trace-Schema.

Sie können festlegen, wo Ihre Tracedaten gespeichert werden und wer Verschlüsselungsschlüssel verwaltet, indem Sie Standardeinstellungen für Observability-Buckets konfigurieren. Sie können diese Einstellungen beispielsweise für eine Organisation verwenden, um festzulegen, dass für neue Observability-Buckets in der Organisation CMEK verwendet werden muss. Weitere Informationen finden Sie auf dieser Seite im Abschnitt Datenstandort für Observability-Buckets.

Speichermodell für die Beobachtbarkeit

Das Speichermodell der Observability API basiert auf der folgenden Architektur:

Beobachtbarkeits-Buckets

Ein Observability-Bucket ist die Verwaltungseinheit für Datasets, in denen Daten gespeichert werden. Ein Observability-Bucket befindet sich an einem bestimmten Ort und hat eine Richtlinie zur Datenaufbewahrung. Wenn ein Google Cloud -Dienst die Observability API zum Speichern seiner Daten verwendet, erstellt das System einen Observability-Bucket basierend auf dem Namen des Dienstes, ein Dataset zum Speichern von Daten und eine Ansicht, um Lesezugriff auf die gespeicherten Daten zu ermöglichen. Für den Cloud Trace-Dienst benennt das System beispielsweise den vom System erstellten Bucket _Trace, das Dataset Spans und die Ansicht _AllSpans. Informationen zur Struktur eines Observability-Buckets finden Sie unter Bucket.

Datasets

In einem Dataset werden Daten gespeichert. Das System erstellt automatisch ein Dataset, wenn es einen Observability-Bucket erstellt, der das Dataset verwaltet. Wenn das System beispielsweise den Bucket _Trace erstellt, wird auch ein Dataset mit dem Namen Spans erstellt, in dem Ihre Tracedaten gespeichert werden. Informationen zur Struktur eines Datasets finden Sie unter Dataset.

Ansichten für Datasets

Jedes Dataset enthält mindestens eine Ansicht. Eine Ansicht bietet Lesezugriff auf eine Teilmenge der Einträge im Dataset. Das System erstellt eine Ansicht, wenn es ein Dataset erstellt. Diese Ansicht enthält alle Daten im Dataset. Der Name der Ansicht hängt vom Dienst ab. Für den Cloud Trace-Dienst wird beispielsweise eine Ansicht mit dem Namen _AllSpans für das Dataset Spans erstellt. Informationen zur Struktur einer Ansicht finden Sie unter View.

Links zu Datasets

Jedes Dataset kann maximal einen Link enthalten. Wenn Sie einen Link für ein Dataset erstellen, wird ein verknüpftes BigQuery-Dataset erstellt. Anschließend können Sie die Daten in Ihrem Dataset mit BigQuery oder anderen Diensten, die die BigQuery API verwenden, abfragen. Informationen zur Struktur eines Links finden Sie unter Link.

Das System erstellt nicht automatisch Links zu Datasets.

Angenommen, Ihre Tracedaten befinden sich in einem Dataset mit dem Namen Spans. Dieses Dataset ist ein untergeordnetes Element des Observability-Buckets mit dem Namen _Trace. Im Dataset Spans wird die Ansicht mit dem Namen _AllSpans erstellt. Diese Ansicht enthält alle Daten im Dataset.

Datenstandort für Observability-Buckets

Wenn Sie Compliance- oder behördliche Anforderungen haben, Ihre Daten an bestimmten Standorten zu speichern oder CMEK zu verwenden, empfehlen wir, Standardeinstellungen für Observability-Buckets zu konfigurieren:

Mit Standardeinstellungen für Observability-Buckets können Sie für Organisationen, Ordner und Projekte Folgendes konfigurieren:
- Ein Standardspeicherort.
- Für jeden Standort ein standardmäßiger Cloud Key Management Service-Schlüssel.
Untergeordnete Elemente in der Ressourcenhierarchie verwenden diese Einstellungen automatisch, mit Ausnahme der untergeordneten Elemente, für die Sie Standardeinstellungen konfiguriert haben.

Die Standardeinstellungen für Observability-Buckets gelten nur für neue Ressourcen, nicht für vorhandene Ressourcen. Weitere Informationen finden Sie unter Standardeinstellungen für Observability-Buckets festlegen.

Die Standardeinstellungen für Observability-Buckets gelten nicht für Log-Buckets, in denen Logdaten gespeichert werden. Informationen zum Festlegen des Standardspeicherorts oder zum Erzwingen von CMEK für Log-Buckets finden Sie unter Standardressourceneinstellungen für Cloud Logging konfigurieren.

Beschränkungen

Folgendes ist nicht möglich:

Beobachtbarkeits-Buckets ändern oder löschen
Datasets erstellen, löschen oder ändern
Ansichten erstellen, löschen oder ändern
Verwenden Sie die Google Cloud Console, um Buckets, Datasets, Ansichten oder Links aufzulisten.