Analizzare i log utilizzando Esplora log e Analisi dei log

Questo documento descrive come eseguire query, visualizzare e analizzare le voci di log utilizzando la console Google Cloud . Sono disponibili due interfacce: Esplora log e Log Analytics. Puoi eseguire query, visualizzare e analizzare i log con entrambe le interfacce; tuttavia, utilizzano linguaggi di query diversi e hanno funzionalità diverse:

  • Per la risoluzione dei problemi e l'esplorazione dei dati di log, utilizza Esplora log.

  • Per unire i dati di log e di traccia o per generare insight e tendenze, utilizza l'analisi dei log.

Puoi eseguire query sui log e salvarle inviando comandi dell'API Logging. Puoi anche eseguire query sui log utilizzando Google Cloud CLI.

Utilizzare Esplora log

Esplora log è progettato per aiutarti a risolvere i problemi e analizzare le prestazioni dei tuoi servizi e delle tue applicazioni. Ad esempio, un istogramma mostra il tasso di errori. Se noti un picco di errori o qualcosa di interessante, puoi individuare e visualizzare le voci di log corrispondenti. Quando una voce di log è associata a un gruppo di errori, viene annotata con un menu di opzioni che ti consentono di accedere a ulteriori informazioni sul gruppo di errori.

Lo stesso linguaggio di query è supportato dall'API Cloud Logging, da Google Cloud CLI e da Esplora log. Per semplificare la creazione di query quando utilizzi Esplora log, puoi creare query utilizzando i menu, inserendo testo e, in alcuni casi, utilizzando le opzioni incluse nella visualizzazione di una singola voce di log.

Logs Explorer non supporta le operazioni di aggregazione, come il conteggio del numero di voci di log che contengono un pattern specifico. Per eseguire operazioni di aggregazione, attiva l'analisi sul bucket di log e poi utilizza Analisi dei log.

Per informazioni dettagliate sulla ricerca e la visualizzazione dei log con Esplora log, vedi Visualizza i log utilizzando Esplora log.

Esplora Analisi dei log

Con l'analisi dei log puoi generare insight eseguendo query che raggruppano e aggregano i dati di log. Queste informazioni possono aiutarti a ridurre il tempo dedicato alla risoluzione dei problemi. Per visualizzare i risultati della query, utilizza una tabella, un grafico o entrambi. I grafici possono aiutarti a identificare pattern e tendenze nei dati di log. Ad esempio, lo screenshot seguente mostra un risultato della query visualizzato come tabella e grafico:

Interfaccia utente per Analisi dei log.

Log Analytics supporta quanto segue:

  • Raggruppamento e aggregazione dei dati di log.

    Ad esempio, puoi eseguire una query SQL che raggruppa le voci di log per ora e poi calcola, per ogni gruppo, la latenza media per le richieste HTTP inviate a un URL specifico.

  • Query SQL che utilizzano la sintassi pipe.

  • Query delle visualizzazioni di log e delle visualizzazioni di analisi.

    Le visualizzazioni log hanno uno schema definito dal sistema. Definisci lo schema per le visualizzazioni di Analytics.

  • Unioni di dati di log e tracce.

    Per informazioni sull'esecuzione di query sui dati di traccia, consulta Eseguire query e analizzare le tracce.

Cloud Logging ti consente anche di eseguire query sui dati di log da BigQuery, senza esportarli in BigQuery. Dopo aver eseguito l'upgrade del bucket di log per utilizzare Analisi dei log, crea un set di dati collegato. Puoi eseguire query sul set di dati collegato utilizzando i servizi BigQuery.

L'upgrade di un bucket di log non influisce sull'utilizzo di Esplora log. Esplora log richiede solo che i dati di log siano archiviati in un bucket di log.

Limitazioni

  • Per eseguire l'upgrade di un bucket di log esistente per utilizzare Analisi dei log, si applicano le seguenti limitazioni:

    • Il bucket di log è stato creato a livello di progetto Google Cloud .
    • Il bucket di log è sbloccato, a meno che non si tratti del bucket _Required.
    • Non sono presenti aggiornamenti in attesa per il bucket.

  • Le voci di log scritte prima dell'upgrade di un bucket non sono immediatamente disponibili. Tuttavia, al termine dell'operazione di backfill, puoi analizzare queste voci di log. La procedura di backfill potrebbe richiedere diversi giorni.

  • Non puoi utilizzare la pagina Analisi dei log per eseguire query sulle visualizzazioni dei log quando il bucket di log ha configurato i controlli dell'accesso a livello di campo. Tuttavia, puoi inviare query tramite la pagina Esplora log e puoi eseguire query su un set di dati BigQuery collegato. Poiché BigQuery non rispetta i controlli di accesso a livello di campo, se esegui una query su un set di dati collegato, puoi eseguire query su tutti i campi nelle voci di log.

  • Se esegui query su più viste dei log, queste devono essere archiviate nella stessa posizione. Ad esempio, se due viste si trovano nella posizione us-east1, una query può eseguire query su entrambe le viste. Puoi anche eseguire query su due viste che si trovano nella regione multiregionale us. Tuttavia, se la posizione di una visualizzazione è global, questa può trovarsi in qualsiasi posizione fisica. Pertanto, i join tra due viste che hanno la posizione di global potrebbero non riuscire.

  • Se esegui query su più visualizzazioni log e i relativi bucket log sottostanti sono configurati con chiavi Cloud KMS diverse, la query non va a buon fine a meno che non vengano soddisfatti i seguenti vincoli:

    • Una cartella o un'organizzazione che è una risorsa principale dei bucket di log è configurata con una chiave predefinita.
    • La chiave predefinita si trova nella stessa posizione dei bucket log.

    Quando i vincoli precedenti sono soddisfatti, la chiave Cloud KMS del progetto padre cripta tutti i dati temporanei generati da una query Log Analytics.

  • Le voci di log duplicate non vengono rimosse prima dell'esecuzione di una query. Questo comportamento è diverso da quello che si verifica quando esegui query sulle voci di log utilizzando Esplora log, che rimuove le voci duplicate confrontando i nomi dei log, i timestamp e i campi ID inserimento. Per saperne di più, vedi Risoluzione dei problemi: nei risultati di Log Analytics sono presenti voci di log duplicate.

Prezzi

Per informazioni sui prezzi, consulta la pagina Prezzi di Google Cloud Observability. Se indirizzi i dati di log ad altri servizi, consulta i seguenti documenti: Google Cloud

Non sono previsti costi di importazione o archiviazione BigQuery quando esegui l'upgrade di un bucket per utilizzare l'analisi dei log e poi crei un set di dati collegato. Quando crei un set di dati collegato per un bucket di log, non importi i dati di log in BigQuery. Al contrario, ottieni l'accesso in lettura ai dati di log archiviati nel bucket dei log tramite il set di dati collegato.

Si applicano i costi di analisi BigQuery quando esegui query SQL sui set di dati collegati a BigQuery, il che include l'utilizzo della pagina BigQuery Studio, dell'API BigQuery e dello strumento a riga di comando BigQuery.

Blog

Per ulteriori informazioni su Analisi dei log, consulta i seguenti post del blog:

Passaggi successivi