Analizzare i log utilizzando Esplora log e Observability Analytics

Questo documento descrive come eseguire query, visualizzare e analizzare le voci di log utilizzando la Google Cloud console. Sono disponibili due interfacce: Esplora log e Observability Analytics. Puoi eseguire query, visualizzare e analizzare i log con entrambe le interfacce; tuttavia, utilizzano linguaggi di query diversi e hanno funzionalità diverse:

  • Per la risoluzione dei problemi e l'esplorazione dei dati di log, utilizza Esplora log.

  • Per unire i dati di log e di traccia o per generare insight e tendenze, utilizza Observability Analytics.

Puoi eseguire query sui log e salvare le query emettendo comandi dell'API Logging. Puoi anche eseguire query sui log utilizzando Google Cloud CLI.

Utilizzare Esplora log

Esplora log è progettato per aiutarti a risolvere i problemi e analizzare il rendimento dei tuoi servizi e delle tue applicazioni. Ad esempio, un istogramma mostra la percentuale di errori. Se noti un picco di errori o qualcosa di interessante, puoi individuare e visualizzare le voci di log corrispondenti. Quando una voce di log è associata a un gruppo di errori, la voce di log viene annotata con un menu di opzioni che ti consente di accedere a ulteriori informazioni sul gruppo di errori.

L'API Cloud Logging, Google Cloud CLI ed Esplora log supportano lo stesso linguaggio di query. Per semplificare la creazione di query quando utilizzi Esplora log, puoi creare query utilizzando i menu, inserendo testo e, in alcuni casi, utilizzando le opzioni incluse nella visualizzazione di una singola voce di log.

Esplora log non supporta le operazioni di aggregazione, come il conteggio del numero di voci di log che contengono un pattern specifico. Per eseguire operazioni di aggregazione, abilita l'analisi sul bucket di log e poi utilizza Observability Analytics.

Per informazioni dettagliate sulla ricerca e la visualizzazione dei log con Esplora log, vedi Visualizzare i log utilizzando Esplora log.

Esplorare Observability Analytics

Utilizzando Observability Analytics, puoi generare insight eseguendo query che raggruppano e aggregano i dati di log. Questi insight possono aiutarti a ridurre il tempo dedicato alla risoluzione dei problemi. Per visualizzare i risultati della query, utilizza una tabella, un grafico, o entrambi. I grafici possono aiutarti a identificare pattern e tendenze nei dati di log. Ad esempio, lo screenshot seguente mostra un risultato della query visualizzato come tabella e grafico:

Interfaccia utente per Observability Analytics.

Observability Analytics supporta quanto segue:

  • Raggruppamento e aggregazione dei dati di log.

    Ad esempio, puoi eseguire una query SQL che raggruppa le voci di log per ora e poi calcola, per ogni gruppo, la latenza media per le richieste HTTP inviate a un URL specifico.

  • Query SQL che utilizzano la sintassi pipe.

  • Query di visualizzazioni log e visualizzazioni di analisi.

    Le visualizzazioni log hanno uno schema definito dal sistema. Definisci lo schema per le visualizzazioni di analisi.

  • Unioni di dati di log e di traccia.

    Per informazioni sull'esecuzione di query sui dati di traccia, vedi Eseguire query e analizzare le tracce.

Cloud Logging ti consente anche di eseguire query sui dati di log da BigQuery, senza esportarli in BigQuery. Dopo aver eseguito l'upgrade del bucket di log per utilizzare Observability Analytics, crea un set di dati collegato. Puoi eseguire query sul set di dati collegato utilizzando i servizi BigQuery.

L'upgrade di un bucket di log non influisce sull'utilizzo di Esplora log. Esplora log richiede solo che i dati di log siano archiviati in un bucket di log.

Limitazioni

  • Per eseguire l'upgrade di un bucket di log esistente per utilizzare Observability Analytics, si applicano le seguenti limitazioni:

    • Il bucket di log è stato creato a livello di Google Cloud progetto.
    • Il bucket di log è sbloccato, a meno che non sia il bucket _Required.
    • Non sono presenti aggiornamenti in attesa per il bucket.

  • Le voci di log scritte prima dell'upgrade di un bucket non sono disponibili immediatamente. Tuttavia, al termine dell'operazione di backfill, puoi analizzare queste voci di log. La procedura di backfill potrebbe richiedere diversi giorni.

  • Non puoi utilizzare la pagina Observability Analytics per eseguire query sulle visualizzazioni log quando il bucket di log ha controlli di accesso a livello di campo configurati. Tuttavia, puoi emettere query tramite la pagina Esplora log ed eseguire query su un set di dati BigQuery collegato. Poiché BigQuery non rispetta i controlli di accesso a livello di campo, se esegui query su un set di dati collegato, puoi eseguire query su tutti i campi nelle voci di log.

  • Le voci di log duplicate non vengono rimosse prima dell'esecuzione di una query. Questo comportamento è diverso da quello che si verifica quando esegui query sulle voci di log utilizzando Esplora log, che rimuove le voci duplicate confrontando i nomi dei log, i timestamp e i campi ID di inserimento. Per ulteriori informazioni, vedi Risolvere i problemi: nei risultati di Observability Analytics sono presenti voci di log duplicate.

Limitazioni relative alle unioni

Per unire le visualizzazioni, si applicano le seguenti limitazioni:

  1. Le località delle visualizzazioni soddisfano una delle seguenti condizioni:

    • Tutte le visualizzazioni hanno la stessa località.
    • Tutte le visualizzazioni si trovano nella località global o us.

  2. Quando le risorse di archiviazione utilizzano chiavi di crittografia gestite dal cliente (CMEK), deve essere vera una delle seguenti condizioni:

    • Le risorse di archiviazione che utilizzano CMEK utilizzano la stessa chiave Cloud KMS.
    • Le risorse di archiviazione che utilizzano CMEK hanno un predecessore comune e questo predecessore specifica una chiave Cloud KMS predefinita che si trova nella stessa località delle risorse di archiviazione.

    Quando una o più risorse di archiviazione utilizzano CMEK, il sistema cripta i dati temporanei generati da l'unione con la chiave Cloud KMS comune o con la chiave Cloud KMS predefinita dell'antenato.

Supponiamo, ad esempio, di avere due visualizzazioni che si trovano nella stessa località. Puoi unire queste visualizzazioni quando è vera una delle seguenti condizioni:

  • Le risorse di archiviazione non utilizzano CMEK.
  • Una risorsa di archiviazione utilizza CMEK e l'altra no.
  • Entrambe le risorse di archiviazione utilizzano CMEK e la stessa chiave Cloud KMS.

  • Entrambe le risorse di archiviazione utilizzano CMEK, ma chiavi diverse. Tuttavia, le risorse condividono un predecessore che specifica una chiave Cloud KMS predefinita che si trova nella stessa località delle risorse di archiviazione.

    Supponiamo, ad esempio, che la gerarchia delle risorse per un bucket di log e un bucket di osservabilità includa la stessa organizzazione. Puoi unire le visualizzazioni su questi bucket quando, per l'organizzazione, hai configurato le impostazioni predefinite delle risorse per Cloud Logging e per i bucket di osservabilità con la stessa chiave Cloud KMS predefinita per la località di archiviazione.

Prezzi

Per informazioni sui prezzi, consulta la pagina Prezzi di Google Cloud Observability. Se instradi i dati di log ad altri Google Cloud servizi, consulta i seguenti documenti:

Non sono previsti costi di importazione o archiviazione di BigQuery quando esegui l'upgrade di un bucket per utilizzare Observability Analytics e poi crei un set di dati collegato. Quando crei un set di dati collegato per un bucket di log, non importi i dati di log in BigQuery. Al contrario, ottieni l'accesso in lettura ai dati di log archiviati nel bucket di log tramite il set di dati collegato.

Si applicano i costi di analisi BigQuery quando esegui query SQL sui set di dati collegati di BigQuery, incluso l'utilizzo della pagina BigQuery Studio , dell'API BigQuery e dello strumento a riga di comando BigQuery.

Blog

Per ulteriori informazioni su Observability Analytics, consulta i seguenti post del blog:

Passaggi successivi