Panoramica dell'archiviazione di Google Cloud Observability

Google Cloud Observability archivia e organizza i dati di telemetria di Cloud Logging, Cloud Monitoring e Cloud Trace in container di archiviazione strutturati. La comprensione del modello di archiviazione ti aiuta a configurare la residenza dei dati, applicare le policy di crittografia e collegare la telemetria ai servizi di analisi come BigQuery.

Dati di log

I dati di log risiedono nei bucket di log, ovvero i container che Logging utilizza per archiviare i dati di log. Ogni Google Cloud progetto, account di fatturazione, cartella e organizzazione contiene bucket di log denominati _Required e _Default.

Per impostazione predefinita, i dati di log risiedono nel Google Cloud progetto, nell'account di fatturazione, nella cartella, o nell'organizzazione in cui hanno origine. Tuttavia, puoi configurare Logging in modo che indirizzi i dati di log dalla risorsa di origine a un'altra località, ad esempio un altro progetto o un bucket di log centralizzato. Per saperne di più, consulta Voci di log dello store e Voci di log delle route.

Cloud Logging ti consente di regionalizzare i dati di log:

  • Le policy dell'organizzazione possono limitare le località dei nuovi bucket di log e richiedere che i bucket di log utilizzino chiavi di crittografia gestite dal cliente (CMEK).

  • Per le organizzazioni e le cartelle, le impostazioni predefinite delle risorse per Cloud Logging consentono di configurare quanto segue:

    • La località dei nuovi bucket di log _Required e _Default.
    • La chiave KMS per criptare i dati di log.
    • La configurazione del sink predefinito.

    I discendenti nella gerarchia delle risorse ereditano automaticamente queste impostazioni, a meno che non configurino anche le impostazioni predefinite delle risorse. Ad esempio, se configuri le impostazioni predefinite delle risorse per Cloud Logging per un'organizzazione, tutte le cartelle e i progetti nella gerarchia delle risorse dell'organizzazione ereditano automaticamente queste impostazioni. Tuttavia, se imposti le impostazioni predefinite delle risorse per Cloud Logging per una cartella in quell'organizzazione, vengono utilizzate le impostazioni a livello di cartella.

    Le impostazioni predefinite delle risorse per Cloud Logging si applicano solo alle nuove risorse, non a quelle esistenti. Per saperne di più, consulta Configurare le impostazioni predefinite delle risorse per Cloud Logging.

Dati delle metriche

I dati delle metriche risiedono nel Google Cloud progetto in cui hanno origine.

Per informazioni sulle policy di archiviazione, consulta Residenza dei dati per Monitoring.

Dati di Trace

I dati di Trace vengono archiviati in un set di dati gestito dal bucket di osservabilità denominato _Trace. Per contenere il set di dati, il bucket _Trace deve esistere. Il bucket _Trace può essere creato automaticamente o manualmente:

  • Creazione automatica: il sistema crea automaticamente il bucket in risposta alla ricezione dei dati di Trace da un'applicazione o da un Google Cloud servizio. Il sistema utilizza le impostazioni predefinite applicabili per i bucket di osservabilità per determinare la località e la chiave di crittografia del bucket. Se non hai definito le impostazioni predefinite, il sistema seleziona una località supportata e il bucket utilizza la crittografia predefinita di Google.

    I dati di Trace generati da Cloud Run Functions, Cloud Run e App Engine non causano la creazione del bucket di osservabilità da parte del sistema. Gli intervalli di questi servizi vengono archiviati solo se il bucket di osservabilità esiste.

  • Creazione manuale: puoi utilizzare l'API Observability per creare il _Trace bucket prima che il tuo Google Cloud progetto riceva i dati di Trace. Devi fornire la località del bucket. Puoi fornire una chiave di Cloud Key Management Service:

    • Se fornisci una chiave, il sistema la utilizza per criptare i dati archiviati.
    • Se non fornisci una chiave Cloud KMS, le impostazioni predefinite applicate alla risorsa padre del bucket determinano la chiave di crittografia. Se le impostazioni predefinite specificano una chiave Cloud KMS, questa chiave cripta i dati archiviati. In caso contrario, viene utilizzata la crittografia predefinita di Google.

Quando viene creato il bucket _Trace, il sistema crea anche un set di dati denominato Spans per il bucket e una visualizzazione denominata _AllSpans nel set di dati. Questa visualizzazione include tutti i dati nel set di dati.

Per ulteriori informazioni, consulta le seguenti risorse:

Modello di archiviazione di Observability

Il modello di archiviazione dell'API Observability si basa sulla seguente architettura:

Bucket di osservabilità
Un bucket di osservabilità è l'entità di gestione per i set di dati, che archiviano i dati. Un bucket di osservabilità si trova in una località specifica e ha una policy di conservazione dei dati. Quando un Google Cloud servizio utilizza l' API Observability per archiviare i dati, il sistema crea un bucket di osservabilità in base al nome del servizio, un set di dati per archiviare i dati e una visualizzazione per fornire l'accesso in lettura ai dati archiviati. Ad esempio, per il servizio Cloud Trace, il sistema denomina il bucket creato dal sistema _Trace, il set di dati Spans e la visualizzazione _AllSpans. Per scoprire di più sulla struttura di un bucket di osservabilità, consulta Bucket.
Set di dati
Un set di dati archivia i dati. Il sistema crea automaticamente un set di dati quando crea un bucket di osservabilità, che gestisce il set di dati. Ad esempio, quando il sistema crea il bucket _Trace, crea anche un set di dati denominato Spans, che archivia i dati di Trace. Per scoprire di più sulla struttura di un set di dati, consulta Dataset.
Visualizzazioni sui set di dati
Ogni set di dati ospita una o più visualizzazioni. Una visualizzazione fornisce l'accesso in lettura a un sottoinsieme di voci nel set di dati. Il sistema crea una visualizzazione quando crea un set di dati. Questa visualizzazione include tutti i dati nel set di dati. Il nome della visualizzazione dipende dal servizio. Ad esempio, per il servizio Cloud Trace, il sistema crea una visualizzazione denominata _AllSpans nel set di dati Spans. Per scoprire di più sulla struttura di una visualizzazione, consulta View.
Link sui set di dati

Ogni set di dati può contenere al massimo un link. Quando crei un link per un set di dati, il sistema crea un set di dati BigQuery collegato. Puoi quindi eseguire query sui dati nel set di dati utilizzando BigQuery o altri servizi che utilizzano l'API BigQuery. Per scoprire di più sulla struttura di un link, consulta Link.

Il sistema non crea automaticamente link sui set di dati.

Ad esempio, i dati di Trace risiedono in un set di dati "Spans" all'interno del bucket di osservabilità "_Trace". Il sistema crea una visualizzazione "_AllSpans" su questo set di dati che include tutti gli intervalli archiviati.

Residenza dei dati per i bucket di osservabilità

Se hai requisiti di conformità o normativi per archiviare i dati in località specifiche o utilizzare chiavi di crittografia gestite dal cliente (CMEK), ti consigliamo di configurare sia le policy dell'organizzazione sia le impostazioni predefinite per i bucket di osservabilità.

Per organizzazioni, cartelle e progetti, le impostazioni predefinite per i bucket di osservabilità consentono di configurare quanto segue:

  • Una località di archiviazione predefinita.
  • Per ogni località, una chiave di Cloud Key Management Service predefinita.

Esistono due modi diversi in cui il sistema utilizza le impostazioni predefinite:

  • Quando il sistema crea automaticamente un bucket di osservabilità, utilizza le impostazioni predefinite per determinare la località e la chiave di crittografia del bucket. Se non hai definito le impostazioni predefinite, il sistema seleziona la località e il bucket utilizza la crittografia predefinita di Google.

  • Quando avvii la creazione di un bucket di osservabilità inviando una richiesta API, fornisci la località. Tuttavia, il sistema utilizza automaticamente la chiave Cloud KMS definita dalle impostazioni predefinite per criptare i dati, a meno che gli argomenti della richiesta API non specifichino la chiave.

Poiché l'elemento principale di un bucket di osservabilità è sempre un progetto, quando crei un bucket, il sistema cerca prima le impostazioni predefinite a livello di progetto. Se non esistono, il sistema cerca le impostazioni predefinite negli antenati dell'elemento principale. Ad esempio, se definisci le impostazioni predefinite per una cartella, queste impostazioni si applicano ai discendenti della cartella, ad eccezione di quelli per cui sono state configurate le impostazioni predefinite.

Puoi anche utilizzare le policy dell'organizzazione per limitare le località dei nuovi bucket di osservabilità, richiedere l'utilizzo di CMEK o limitare le chiavi Cloud KMS che possono essere utilizzate per la crittografia. Se configuri le policy dell'organizzazione che richiedono l'utilizzo di CMEK, devi configurare le impostazioni predefinite per i bucket di osservabilità. In caso contrario, il provisioning dei bucket di osservabilità creati dal sistema non andrà a buon fine.

Per saperne di più, consulta Impostare i valori predefiniti per i bucket di osservabilità.

Limitazioni

Non puoi eseguire le seguenti operazioni:

  • Modificare o eliminare i bucket di osservabilità.
  • Creare, eliminare o modificare i set di dati.
  • Creare, eliminare o modificare le visualizzazioni.
  • Utilizzare la Google Cloud console per elencare bucket, set di dati, visualizzazioni o link.

Passaggi successivi