Google Cloud Observability-Speicher – Übersicht

In Google Cloud Observability werden Telemetriedaten aus Cloud Logging, Cloud Monitoring und Cloud Trace in strukturierten Speichercontainern gespeichert und organisiert. Wenn Sie das Speichermodell verstehen, können Sie den Datenstandort konfigurieren, Verschlüsselungsrichtlinien erzwingen und Telemetriedaten mit Analysediensten wie BigQuery verbinden.

Logdaten

Logdaten befinden sich in Log-Buckets. Das sind die Container, die Logging zum Speichern Ihrer Logdaten verwendet. Jedes Google Cloud Projekt, Rechnungskonto, jeder Ordner und jede Organisation enthält Log-Buckets mit den Namen _Required und _Default.

Standardmäßig befinden sich Logdaten im Google Cloud Projekt, Rechnungskonto, Ordner, oder in der Organisation, aus der die Daten stammen. Sie können Logging jedoch so konfigurieren, dass Logdaten von der Ressource, aus der sie stammen, an einen anderen Standort weitergeleitet werden, z. B. an ein anderes Projekt oder einen zentralen Log-Bucket. Weitere Informationen finden Sie unter Logeinträge speichern und Logeinträge weiterleiten.

Mit Cloud Logging können Sie Ihre Logdaten regionalisieren:

  • Organisationsrichtlinien können die Standorte neuer Log-Buckets einschränken und erfordern, dass Log-Buckets kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEKs) verwenden.

  • Für Organisationen und Ordner können Sie mit den Standardressourceneinstellungen für Cloud Logging Folgendes konfigurieren:

    • Den Standort neuer _Required- und _Default-Log-Buckets.
    • Den KMS-Schlüssel zum Verschlüsseln Ihrer Logdaten.
    • Die Konfiguration der Standardsenke.

    Untergeordnete Elemente in der Ressourcenhierarchie übernehmen diese Einstellungen automatisch, es sei denn, sie konfigurieren auch Standardressourceneinstellungen. Wenn Sie beispielsweise Standardressourceneinstellungen für Cloud Logging für eine Organisation konfigurieren, werden diese Einstellungen automatisch von allen Ordnern und Projekten in der Ressourcenhierarchie der Organisation übernommen. Wenn Sie jedoch die Standardressourceneinstellungen für Cloud Logging für einen Ordner in dieser Organisation festlegen, werden die Einstellungen auf Ordnerebene verwendet.

    Die Standardressourceneinstellungen für Cloud Logging gelten nur für neue Ressourcen, nicht für vorhandene Ressourcen. Weitere Informationen finden Sie unter Standardressourceneinstellungen für Cloud Logging konfigurieren.

Messwertdaten

Messwertdaten befinden sich im Google Cloud Projekt, aus dem die Daten stammen.

Informationen zu den Speicherrichtlinien finden Sie unter Datenstandort für Monitoring.

Trace-Daten

Trace-Daten werden in einem Dataset gespeichert, das vom Beobachtbarkeits-Bucket _Trace verwaltet wird. Der Bucket _Trace muss vorhanden sein, damit das Dataset darin gespeichert werden kann. Der Bucket _Trace kann automatisch oder manuell erstellt werden:

  • Automatische Erstellung: Das System erstellt den Bucket automatisch, wenn es Trace-Daten von einer Anwendung oder einem Google Cloud Dienst empfängt. Das System verwendet die entsprechenden Standardeinstellungen für Beobachtbarkeits-Buckets, um den Standort und den Verschlüsselungsschlüssel des Buckets zu bestimmen. Wenn Sie keine Standardeinstellungen definiert haben, wählt das System einen unterstützten Standort aus und der Bucket verwendet die Standardverschlüsselung von Google.

    Trace-Daten, die von Cloud Run-Funktionen, Cloud Run und App Engine generiert werden, führen nicht dazu, dass das System den Beobachtbarkeits-Bucket erstellt. Spans aus diesen Diensten werden nur gespeichert, wenn der Beobachtbarkeits-Bucket vorhanden ist.

  • Manuelle Erstellung: Sie können die Observability API verwenden, um den _Trace Bucket zu erstellen, bevor Ihr Google Cloud Projekt Trace-Daten empfängt. Sie müssen den Standort des Buckets angeben. Sie können einen Cloud Key Management Service-Schlüssel angeben:

    • Wenn Sie einen Schlüssel angeben, verwendet das System diesen Schlüssel, um die gespeicherten Daten zu verschlüsseln.
    • Wenn Sie keinen Cloud KMS-Schlüssel angeben, wird der Verschlüsselungsschlüssel durch die Standardeinstellungen bestimmt, die auf die übergeordnete Ressource des Buckets angewendet werden. Wenn in den Standardeinstellungen ein Cloud KMS-Schlüssel angegeben ist, werden die gespeicherten Daten mit diesem Schlüssel verschlüsselt. Andernfalls wird die Standardverschlüsselung von Google verwendet.

Wenn der Bucket _Trace erstellt wird, erstellt das System auch ein Dataset mit dem Namen Spans für den Bucket und eine Ansicht mit dem Namen _AllSpans für das Dataset. Diese Ansicht enthält alle Daten im Dataset.

Weitere Informationen finden Sie unter:

Speichermodell für Beobachtbarkeit

Das Speichermodell der Observability API basiert auf der folgenden Architektur:

Beobachtbarkeits-Buckets
Ein Beobachtbarkeits-Bucket ist die Verwaltungseinheit für Datasets, in denen Daten gespeichert werden. Ein Beobachtbarkeits-Bucket befindet sich an einem bestimmten Standort und hat eine Aufbewahrungsrichtlinie für Daten. Wenn ein Google Cloud Dienst die Observability API verwendet, um seine Daten zu speichern, erstellt das System einen Beobachtbarkeits-Bucket basierend auf dem Namen des Dienstes, ein Dataset zum Speichern von Daten und eine Ansicht, um Lesezugriff auf die gespeicherten Daten zu gewähren. Für den Cloud Trace-Dienst benennt das System den automatisch erstellten Bucket _Trace, das Dataset Spans und die Ansicht _AllSpans. Informationen zur Struktur eines Beobachtbarkeits-Buckets finden Sie unter Bucket.
Datasets
In einem Dataset werden Daten gespeichert. Das System erstellt automatisch ein Dataset, wenn es einen Beobachtbarkeits-Bucket erstellt, der das Dataset verwaltet. Wenn das System beispielsweise den Bucket _Trace erstellt, wird auch ein Dataset mit dem Namen Spans erstellt, in dem Ihre Trace-Daten gespeichert werden. Informationen zur Struktur eines Datasets finden Sie unter Dataset.
Ansichten für Datasets
Jedes Dataset enthält eine oder mehrere Ansichten. Eine Ansicht bietet Lesezugriff auf eine Teilmenge der Einträge im Dataset. Das System erstellt eine Ansicht, wenn es ein Dataset erstellt. Diese Ansicht enthält alle Daten im Dataset. Der Name der Ansicht hängt vom Dienst ab. Für den Cloud Trace-Dienst erstellt das System beispielsweise eine Ansicht mit dem Namen _AllSpans für das Spans Dataset. Informationen zur Struktur einer Ansicht finden Sie unter View.
Links zu Datasets

Jedes Dataset kann maximal einen Link enthalten. Wenn Sie einen Link für ein Dataset erstellen, erstellt das System ein verknüpftes BigQuery-Dataset. Sie können dann die Daten in Ihrem Dataset mit BigQuery oder anderen Diensten abfragen, die die BigQuery API verwenden. Informationen zur Struktur eines Links finden Sie unter Link.

Das System erstellt nicht automatisch Links zu Datasets.

Ihre Trace-Daten befinden sich beispielsweise in einem Dataset „Spans“ im Beobachtbarkeits-Bucket „_Trace“. Das System erstellt für dieses Dataset eine Ansicht „_AllSpans“, die alle gespeicherten Spans enthält.

Datenstandort für Beobachtbarkeits-Buckets

Wenn Sie Compliance- oder behördliche Anforderungen haben, Ihre Daten an bestimmten Standorten zu speichern oder kundenverwaltete Verschlüsselungsschlüssel (CMEKs) zu verwenden, empfehlen wir Ihnen, sowohl Organisationsrichtlinien als auch Standardeinstellungen für Beobachtbarkeits-Buckets zu konfigurieren.

Für Organisationen, Ordner und Projekte können Sie mit den Standardeinstellungen für Beobachtbarkeits-Buckets Folgendes konfigurieren:

  • Einen Standardspeicherort.
  • Für jeden Standort einen standardmäßigen Cloud Key Management Service-Schlüssel.

Es gibt zwei verschiedene Möglichkeiten, wie das System Standardeinstellungen verwendet:

  • Wenn das System automatisch einen Beobachtbarkeits-Bucket erstellt, werden mit den Standardeinstellungen der Standort und der Verschlüsselungsschlüssel des Buckets bestimmt. Wenn Sie keine Standardeinstellungen definiert haben, wählt das System den Standort aus und der Bucket verwendet die Standardverschlüsselung von Google.

  • Wenn Sie die Erstellung eines Beobachtbarkeits-Buckets durch eine API-Anfrage initiieren, geben Sie den Standort an. Das System verwendet jedoch automatisch den Cloud KMS-Schlüssel, der durch die Standardeinstellungen definiert ist, um die Daten zu verschlüsseln, es sei denn, die Argumente der API-Anfrage geben den Schlüssel an.

Da die übergeordnete Ressource eines Beobachtbarkeits-Buckets immer ein Projekt ist, sucht das System beim Erstellen eines Buckets zuerst nach Standardeinstellungen auf Projektebene. Wenn diese nicht vorhanden sind, sucht das System in den übergeordneten Elementen der übergeordneten Ressource nach Standardeinstellungen. Wenn Sie beispielsweise Standardeinstellungen für einen Ordner definieren, gelten diese Einstellungen für untergeordnete Elemente des Ordners, mit Ausnahme der untergeordneten Elemente, für die Standardeinstellungen konfiguriert sind.

Sie können auch Organisationsrichtlinien verwenden, um die Standorte neuer Beobachtbarkeits-Buckets einzuschränken, die Verwendung von CMEKs zu erzwingen oder einzuschränken, welche Cloud KMS-Schlüssel für die Verschlüsselung verwendet werden können. Wenn Sie Organisationsrichtlinien konfigurieren, die die Verwendung von CMEKs erfordern, müssen Sie Standardeinstellungen für Beobachtbarkeits-Buckets konfigurieren. Andernfalls schlägt die Bereitstellung für vom System erstellte Beobachtbarkeits-Buckets fehl.

Weitere Informationen finden Sie unter Standardeinstellungen für Beobachtbarkeits-Buckets festlegen.

Beschränkungen

Folgendes ist nicht möglich:

  • Beobachtbarkeits-Buckets ändern oder löschen.
  • Datasets erstellen, löschen oder ändern.
  • Ansichten erstellen, löschen oder ändern.
  • Mit der Google Cloud Console Buckets, Datasets, Ansichten oder Links auflisten.

Nächste Schritte