Questo documento descrive come Google Cloud Observability archivia i dati di telemetria. Include informazioni su come Cloud Logging, Cloud Monitoring e Cloud Trace archiviano i dati. Questo documento fornisce anche una panoramica concettuale dei bucket di osservabilità.
Dati di log
I dati di log si trovano nei bucket di log, i container che
Logging utilizza per archiviare i dati di log. Ogni Google Cloud progetto,
account di fatturazione, cartella e organizzazione contiene bucket di log denominati _Required
e _Default.
Per impostazione predefinita, i dati di log si trovano nel progetto, nell'account di fatturazione, nella cartella o nell'organizzazione da cui provengono. Google Cloud Tuttavia, puoi configurare Logging per indirizzare i dati di log dalla risorsa di origine a un'altra posizione, ad esempio un altro progetto o un bucket di log centralizzato. Per scoprire di più, consulta Memorizzare le voci di log e Eseguire il routing delle voci di log.
Cloud Logging ti consente di regionalizzare i dati di log:
- I criteri dell'organizzazione possono limitare le posizioni dei nuovi bucket di log e richiedere che i bucket di log utilizzino chiavi di crittografia gestite dal cliente (CMEK).
Per organizzazioni e cartelle, le impostazioni risorse predefinite per Cloud Logging ti consentono di configurare quanto segue:
- La posizione dei nuovi bucket di log
_Requirede_Default. - La chiave KMS per criptare i dati di log.
- La configurazione del sink predefinito.
I discendenti nella gerarchia delle risorse ereditano automaticamente queste impostazioni, a meno che non configurino anche le impostazioni predefinite delle risorse. Ad esempio, supponiamo di configurare le impostazioni predefinite delle risorse per Cloud Logging per un'organizzazione. Quindi, tutte le cartelle e i progetti nella gerarchia delle risorse dell'organizzazione ereditano automaticamente queste impostazioni. Tuttavia, se imposti le impostazioni predefinite delle risorse per Cloud Logging per una cartella in questa organizzazione, vengono utilizzate le impostazioni a livello di cartella.
Le impostazioni predefinite delle risorse per Cloud Logging si applicano solo alle nuove risorse, non a quelle esistenti. Per saperne di più, consulta Configurare le impostazioni predefinite delle risorse per Cloud Logging.
- La posizione dei nuovi bucket di log
Dati delle metriche
I dati delle metriche si trovano nel progetto Google Cloud da cui provengono.
Per informazioni sulle norme di archiviazione per i dati utilizzati da Monitoring, vedi Residenza dei dati per Monitoring.
Dati di Trace
I dati di Trace si trovano in un bucket di osservabilità denominato nello stesso progetto Google Cloud in cui hanno origine i dati. Il nome del bucket è _Trace. La sezione successiva
descrive i bucket di osservabilità. Per informazioni sul formato di archiviazione
dei singoli span, consulta Schema di traccia.
Puoi controllare dove vengono archiviati i dati di traccia e chi gestisce le chiavi di crittografia configurando le impostazioni predefinite per i bucket di osservabilità. Ad esempio, puoi utilizzare queste impostazioni per un'organizzazione per richiedere che i nuovi bucket di osservabilità nell'organizzazione utilizzino CMEK. Per saperne di più, consulta la sezione Residenza dei dati per i bucket di osservabilità di questa pagina.
Modello di archiviazione dell'osservabilità
Il modello di archiviazione dell'API Observability si basa sulla seguente architettura:
- Bucket di osservabilità
- Un bucket osservabilità è l'entità di gestione per i set di dati, che archiviano
i dati. Un bucket di osservabilità si trova in una posizione specifica e ha un criterio di conservazione dei dati. Quando un servizio utilizza l'API Observability per archiviare i propri dati, il sistema crea un bucket di osservabilità in base al nome del servizio, un set di dati per archiviare i dati e una visualizzazione per fornire l'accesso in lettura ai dati archiviati. Google Cloud
Ad esempio, per il servizio Cloud Trace, il sistema assegna al bucket creato dal sistema il nome
_Trace, al set di dati il nomeSpanse alla visualizzazione il nome_AllSpans. Per scoprire la struttura di un bucket di osservabilità, consultaBucket. - Set di dati
- Un set di dati archivia i dati. Il sistema crea automaticamente un set di dati quando
crea un bucket di osservabilità, che gestisce il set di dati. Ad esempio,
quando il sistema crea il bucket
_Trace, crea anche un set di dati denominatoSpans, che archivia i dati di traccia. Per scoprire di più sulla struttura di un set di dati, consultaDataset. - Visualizzazioni dei set di dati
- Ogni set di dati ospita una o più visualizzazioni. Una vista fornisce l'accesso in lettura a un
sottoinsieme di voci nel set di dati. Il sistema crea una visualizzazione quando
crea un set di dati. Questa visualizzazione include tutti i dati nel set di dati.
Il nome della visualizzazione dipende dal servizio. Ad esempio, per il servizio
Cloud Trace, il sistema crea una vista denominata
_AllSpansnel set di datiSpans. Per scoprire la struttura di una vista, consultaView. - Link sui set di dati
Ogni set di dati può contenere al massimo un link. Quando crei un collegamento per un set di dati, il sistema crea un set di dati BigQuery collegato. Puoi quindi eseguire query sui dati nel set di dati utilizzando BigQuery o altri servizi che utilizzano l'API BigQuery. Per scoprire di più sulla struttura di un link, consulta
Link.Il sistema non crea automaticamente link nei set di dati.
Ad esempio, i dati di traccia si trovano in un set di dati denominato Spans. Questo set di dati
è secondario rispetto al bucket osservabilità denominato _Trace. Nel set di dati Spans,
il sistema crea la visualizzazione denominata _AllSpans. Questa visualizzazione include tutti i dati
nel set di dati.
Residenza dei dati per i bucket di osservabilità
Se hai requisiti di conformità o normativi per archiviare i dati in posizioni specifiche o per utilizzare CMEK, ti consigliamo di configurare le impostazioni predefinite per i bucket di osservabilità:
Per organizzazioni, cartelle e progetti, le impostazioni predefinite per i bucket di osservabilità consentono di configurare quanto segue:
- Una posizione di archiviazione predefinita.
- Per ogni località, una chiave Cloud Key Management Service predefinita.
I discendenti nella gerarchia delle risorse utilizzano automaticamente queste impostazioni, ad eccezione di quelli per cui hai configurato le impostazioni predefinite.
Le impostazioni predefinite per i bucket di osservabilità si applicano solo alle nuove risorse, non a quelle esistenti. Per saperne di più, consulta Imposta i valori predefiniti per i bucket di osservabilità.
Le impostazioni predefinite per i bucket di osservabilità non si applicano ai bucket di log, che archiviano i dati di log. Per scoprire come impostare la località predefinita o richiedere CMEK per i bucket di log, consulta Configura le impostazioni predefinite delle risorse per Cloud Logging.
Limitazioni
Non puoi:
- Modificare o eliminare i bucket di osservabilità.
- Crea, elimina o modifica set di dati.
- Creare, eliminare o modificare le visualizzazioni.
- Utilizza la Google Cloud console per elencare bucket, set di dati, viste o link.
Passaggi successivi
- Scopri come gestire i bucket di osservabilità.
- Scopri come visualizzare e analizzare la telemetria.