Analizzare i log utilizzando Esplora log e Analisi dei log

Questo documento descrive come eseguire query, visualizzare e analizzare le voci di log utilizzando la console Google Cloud . Sono disponibili due interfacce: Esplora log e Log Analytics. Puoi eseguire query, visualizzare e analizzare i log con entrambe le interfacce; tuttavia, utilizzano linguaggi di query diversi e hanno funzionalità diverse:

  • Per la risoluzione dei problemi e l'esplorazione dei dati di log, utilizza Esplora log.

  • Per unire i dati di log e di traccia o per generare insight e tendenze, utilizza l'analisi dei log.

Puoi eseguire query sui log e salvarle emettendo comandi dell'API Logging. Puoi anche eseguire query sui log utilizzando Google Cloud CLI.

Utilizzare Esplora log

Esplora log è progettato per aiutarti a risolvere i problemi e analizzare le prestazioni dei tuoi servizi e delle tue applicazioni. Ad esempio, un istogramma mostra il tasso di errori. Se noti un picco di errori o qualcosa di interessante, puoi individuare e visualizzare le voci di log corrispondenti. Quando una voce di log è associata a un gruppo di errori, viene annotata con un menu di opzioni che ti consentono di accedere a ulteriori informazioni sul gruppo di errori.

Lo stesso linguaggio di query è supportato dall'API Cloud Logging, da Google Cloud CLI e da Esplora log. Per semplificare la creazione di query quando utilizzi Esplora log, puoi creare query utilizzando i menu, inserendo testo e, in alcuni casi, utilizzando le opzioni incluse nella visualizzazione di una singola voce di log.

Logs Explorer non supporta le operazioni di aggregazione, come il conteggio del numero di voci di log che contengono un pattern specifico. Per eseguire operazioni di aggregazione, attiva l'analisi sul bucket di log e poi utilizza Analisi dei log.

Per informazioni dettagliate sulla ricerca e la visualizzazione dei log con Esplora log, vedi Visualizza i log utilizzando Esplora log.

Esplora Analisi dei log

Con l'analisi dei log puoi generare insight eseguendo query che raggruppano e aggregano i dati di log. Queste informazioni possono aiutarti a ridurre il tempo dedicato alla risoluzione dei problemi. Per visualizzare i risultati della query, utilizza una tabella, un grafico o entrambi. I grafici possono aiutarti a identificare pattern e tendenze nei dati di log. Ad esempio, lo screenshot seguente mostra un risultato della query visualizzato come tabella e grafico:

Interfaccia utente per Analisi dei log.

Log Analytics supporta quanto segue:

  • Raggruppamento e aggregazione dei dati di log.

    Ad esempio, puoi eseguire una query SQL che raggruppa le voci di log per ora e poi calcola, per ogni gruppo, la latenza media per le richieste HTTP inviate a un URL specifico.

  • Query SQL che utilizzano la sintassi pipe.

  • Query di visualizzazioni dei log e visualizzazioni di analisi.

    Le visualizzazioni log hanno uno schema definito dal sistema. Definisci lo schema per le viste Analytics.

  • Unioni di dati di log e tracce.

    Per informazioni sull'esecuzione di query sui dati di traccia, consulta Eseguire query e analizzare le tracce.

Cloud Logging ti consente anche di eseguire query sui dati di log da BigQuery, senza esportarli in BigQuery. Dopo aver eseguito l'upgrade del bucket di log per utilizzare Analisi dei log, crea un set di dati collegato. Puoi eseguire query sul set di dati collegato utilizzando i servizi BigQuery.

L'upgrade di un bucket di log non influisce sull'utilizzo di Esplora log. Esplora log richiede solo che i dati di log siano archiviati in un bucket di log.

Limitazioni

  • Per eseguire l'upgrade di un bucket di log esistente per utilizzare Analisi dei log, si applicano le seguenti limitazioni:

    • Il bucket di log è stato creato a livello di progetto Google Cloud .
    • Il bucket di log è sbloccato, a meno che non si tratti del bucket _Required.
    • Non sono presenti aggiornamenti in attesa per il bucket.

  • Le voci di log scritte prima dell'upgrade di un bucket non sono immediatamente disponibili. Tuttavia, al termine dell'operazione di backfill, puoi analizzare queste voci di log. La procedura di backfill potrebbe richiedere diversi giorni.

  • Non puoi utilizzare la pagina Analisi dei log per eseguire query sulle visualizzazioni dei log quando il bucket di log ha configurato i controlli dell'accesso a livello di campo. Tuttavia, puoi inviare query tramite la pagina Esplora log e puoi eseguire query su un set di dati BigQuery collegato. Poiché BigQuery non rispetta i controlli di accesso a livello di campo, se esegui una query su un set di dati collegato, puoi eseguire query su tutti i campi nelle voci di log.

  • Le voci di log duplicate non vengono rimosse prima dell'esecuzione di una query. Questo comportamento è diverso da quello che si verifica quando esegui query sulle voci di log utilizzando Esplora log, che rimuove le voci duplicate confrontando i nomi dei log, i timestamp e i campi ID inserimento. Per saperne di più, vedi Risoluzione dei problemi: nei risultati di Log Analytics sono presenti voci di log duplicate.

Limitazioni dei join

Per unire le visualizzazioni, si applicano le seguenti limitazioni:

  1. Le posizioni delle visualizzazioni soddisfano uno dei seguenti requisiti:

    • Tutte le visualizzazioni hanno la stessa posizione.
    • Tutte le visualizzazioni si trovano nella posizione global o us.

  2. Quando le risorse di archiviazione utilizzano le chiavi di crittografia gestite dal cliente (CMEK), deve essere vera una delle seguenti condizioni:

    • Le risorse di archiviazione che utilizzano CMEK utilizzano la stessa chiave Cloud KMS.
    • Le risorse di archiviazione che utilizzano CMEK hanno un antenato comune e questo antenato specifica una chiave Cloud KMS predefinita che si trova nella stessa località delle risorse di archiviazione.

    Quando una o più risorse di archiviazione utilizzano CMEK, il sistema cripta i dati temporanei generati dall'unione con la chiave Cloud KMS comune o con la chiave Cloud KMS predefinita dell'elemento principale.

Ad esempio, supponiamo di avere due viste che si trovano nella stessa posizione. Puoi unire queste visualizzazioni quando si verifica una delle seguenti condizioni:

  • Le risorse di archiviazione non utilizzano CMEK.
  • Una risorsa di archiviazione utilizza CMEK e l'altra no.
  • Entrambe le risorse di archiviazione utilizzano CMEK e la stessa chiave Cloud KMS.

  • Entrambe le risorse di archiviazione utilizzano CMEK, ma chiavi diverse. Tuttavia, le risorse condividono un antenato che specifica una chiave Cloud KMS predefinita che si trova nella stessa posizione delle risorse di archiviazione.

    Ad esempio, supponiamo che la gerarchia delle risorse per un bucket di log e un bucket di osservabilità includa la stessa organizzazione. Puoi unire le visualizzazioni di questi bucket quando, per l'organizzazione, hai configurato le impostazioni predefinite delle risorse per Cloud Logging e per i bucket di osservabilità con la stessa chiave Cloud KMS predefinita per la posizione di archiviazione.

Prezzi

Per informazioni sui prezzi, consulta la pagina Prezzi di Google Cloud Observability. Se indirizzi i dati di log ad altri servizi Google Cloud , consulta i seguenti documenti:

Non sono previsti costi di importazione o archiviazione BigQuery quando esegui l'upgrade di un bucket per utilizzare l'analisi dei log e poi crei un set di dati collegato. Quando crei un set di dati collegato per un bucket di log, non importi i dati di log in BigQuery. Ricevi invece l'accesso in lettura ai dati di log archiviati nel bucket dei log tramite il set di dati collegato.

Si applicano i costi di analisi BigQuery quando esegui query SQL sui set di dati collegati a BigQuery, il che include l'utilizzo della pagina BigQuery Studio, dell'API BigQuery e dello strumento a riga di comando BigQuery.

Blog

Per ulteriori informazioni su Analisi dei log, consulta i seguenti post del blog:

Passaggi successivi