Analizzare i dati di traccia con BigQuery

Questo documento descrive come creare un set di dati BigQuery collegato per i dati di traccia e come eseguire query su questo set di dati. Un set di dati collegato ti consente di creare ed eseguire query che uniscono i dati di osservabilità con altri dati aziendali. Ad esempio, puoi eseguire query su un set di dati collegato da BigQuery Studio e da Looker Studio. Puoi anche eseguire le query di Analisi dei log sul backend BigQuery.

Per iniziare a utilizzare Analisi dei log, consulta Eseguire query e analizzare le tracce.

Quando hai bisogno di un set di dati collegato

Non hai bisogno di un set di dati BigQuery collegato quando vuoi eseguire query sui dati di traccia o sui dati di traccia e log. Per questi scenari, puoi utilizzare la pagina Analisi dei log. Per informazioni sull'esecuzione di query sui dati di log, consulta Esegui query e analizza i log con Analisi dei log.

Hai bisogno di un set di dati BigQuery collegato quando vuoi eseguire una delle seguenti operazioni:

Prima di iniziare

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

Questa sezione descrive le API che devono essere abilitate, i ruoli necessari per creare un set di dati collegato e come creare un set di dati collegato.

Prerequisiti

  1. Completa i passaggi descritti nella sezione Prima di iniziare.

  2. Per ottenere le autorizzazioni necessarie per creare un link in un set di dati di osservabilità, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

    Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

REST

Per creare un link a un set di dati BigQuery, invia una richiesta all'endpoint projects.locations.buckets.datasets.links.create.

Devi specificare il parametro padre, che ha il seguente formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

I campi nell'espressione precedente hanno il seguente significato:

  • PROJECT_ID: l'identificatore del progetto.
  • LOCATION: la posizione del bucket di osservabilità.
  • BUCKET_ID: l'ID del bucket di osservabilità. Ad esempio, questo ID potrebbe essere _Trace.
  • DATASET_ID: l'ID del set di dati su cui viene eseguita la query. Ad esempio, questo ID potrebbe essere Spans.

Questo comando richiede un parametro di query e un corpo della richiesta:

  • Il parametro della query, linkId, deve essere specificato e impostato sul nome del set di dati BigQuery. Ad esempio, linkId="my_link". Il nome del set di dati BigQuery deve essere univoco per il tuo progetto Google Cloud e deve essere limitato a 100 caratteri e può includere solo lettere, cifre e trattini bassi.

  • Il corpo della richiesta è un oggetto Link. Il valore del campo name ha il seguente formato:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    Il valore che fornisci per il campo name deve corrispondere al set di dati BigQuery collegato a cui fa riferimento il parametro della query.

    Il campo LINK_ID è il nome del set di dati BigQuery.

La risposta è un oggetto Operation. Questo oggetto contiene informazioni sullo stato di avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene i dati di stato.

Per un elenco completo degli endpoint API Observability, consulta la documentazione di riferimento dell'API Observability.

Eseguire query sui dati di traccia da BigQuery Studio

Questa sezione descrive come eseguire query sui dati di traccia dalla pagina BigQuery Studio.

Per informazioni sui costi associati all'utilizzo di BigQuery, consulta la pagina Prezzi di BigQuery.

Prerequisiti

  1. Completa i passaggi descritti nella sezione Prima di iniziare.

  2. Per ottenere le autorizzazioni necessarie per eseguire query su un set di dati collegato da BigQuery, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore dati BigQuery (roles/bigquery.dataViewer) nel tuo progetto o nel set di dati collegato. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

  3. Verifica che esista il set di dati BigQuery collegato per il bucket di osservabilità denominato _Trace. Se il set di dati collegato non esiste, crealo.

Utilizzare BigQuery Studio

Per aprire BigQuery dalla pagina Analisi dei log e poi eseguire query sui dati di traccia, procedi nel seguente modo:

  1. Nella console Google Cloud , vai alla pagina Analisi dei log:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Inserisci o carica una query. Per saperne di più, consulta Eseguire query e analizzare le tracce.

  3. Nella barra degli strumenti, espandi il menu etichettato Esegui query o Esegui su BigQuery e seleziona Apri in BigQuery.

    Si apre la pagina BigQuery Studio. In questa pagina, l'istruzione FROM specifica il set di dati collegato utilizzando la sintassi del percorso della tabella BigQuery. Puoi eseguire qualsiasi azione supportata sulla query, ad esempio modificarla.

    Se l'opzione Apri in BigQuery è disattivata, significa che non esiste un set di dati collegato o che non disponi delle autorizzazioni necessarie per aprire e visualizzare la query in BigQuery.

  4. Nella pagina BigQuery Studio, fai clic su Esegui query.

Esegui query sul motore BigQuery

Per impostazione predefinita, la pagina Analisi dei log esegue le query che scrivi nel motore di query predefinito. Le query che esegui competono con tutte le altre query per gli slot. Pertanto, è possibile che l'esecuzione di una query venga ritardata a causa della mancata disponibilità di slot. Il motore di query predefinito può eseguire query solo su viste di osservabilità, viste sui bucket di log e viste di analisi.

Quando crei un set di dati collegato, la pagina Log Analytics ti consente di scegliere tra il motore di query predefinito e il motore BigQuery. Se hai slot BigQuery riservati e se scegli l'opzione per eseguire la query sul motore BigQuery, vengono utilizzati gli slot riservati. Le query eseguite sul motore BigQuery possono interrogare le visualizzazioni di osservabilità, le visualizzazioni dei bucket di log e le visualizzazioni di analisi. Queste query possono anche unire i dati di osservabilità a una tabella BigQuery.

Esistono due casi d'uso principali per l'esecuzione di query sul motore BigQuery:

  • Crei criteri di avviso basati su SQL. Le query per queste policy devono essere eseguite sul motore BigQuery.

  • Vuoi salvare un grafico in una dashboard in cui il grafico mostra il risultato di un'unione tra i dati di osservabilità e altri dati aziendali.

    La clausola FROM deve specificare una vista su un set di dati di osservabilità o una vista su un bucket log e deve essere presente anche un set di dati collegato per i dati su cui viene eseguita la query. Per unire i dati di osservabilità ad altri dati aziendali, aggiungi un'istruzione JOIN che specifica una tabella BigQuery. Devi disporre delle autorizzazioni IAM necessarie per eseguire query sulla tabella BigQuery.

Per informazioni sui costi associati all'utilizzo di BigQuery, consulta la pagina Prezzi di BigQuery.

Prerequisiti

  1. Completa i passaggi descritti nella sezione Prima di iniziare.

  2. Per ottenere le autorizzazioni necessarie per eseguire query da Log Analytics utilizzando gli slot BigQuery, chiedi all'amministratore di concederti i seguenti ruoli IAM:

    • Observability View Accessor (roles/observability.viewAccessor) sulle visualizzazioni di osservabilità che vuoi interrogare. Questo ruolo supporta le condizioni IAM, che consentono di limitare la concessione a una visualizzazione specifica. Se non colleghi una condizione alla concessione del ruolo, l'entità può accedere a tutte le visualizzazioni di osservabilità.
    • Visualizzatore log (roles/logging.viewer) sul tuo progetto
    • Utente BigQuery (roles/bigquery.user) sul tuo progetto
    • Utente job BigQuery (roles/bigquery.jobUser) sul tuo progetto

    Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

  3. Verifica che esista il set di dati BigQuery collegato per il bucket di osservabilità denominato _Trace. Se il set di dati collegato non esiste, crealo.

Se prevedi di configurare la pagina Analisi dei log per eseguire query sugli slot BigQuery e se utilizzi progetti con i controlli di servizio VPC (Virtual Private Cloud), verifica di utilizzare BigQuery Enterprise Edition. Per ulteriori informazioni, vedi Informazioni sulle versioni di BigQuery.

Utilizzare il motore BigQuery

Per eseguire una query sul motore BigQuery quando utilizzi la pagina Analisi dei log, procedi nel seguente modo:

  1. Nella console Google Cloud , vai alla pagina Analisi dei log:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Inserisci o carica una query. Per saperne di più, consulta Eseguire query e analizzare le tracce.

  3. Vai alla barra degli strumenti e verifica che venga visualizzato un pulsante con l'etichetta Esegui in BigQuery.

    Se la barra degli strumenti mostra Esegui query, fai clic su Impostazioni e seleziona BigQuery.

    Un pulsante Esegui su BigQuery disattivato indica che non esiste un set di dati collegato. Per risolvere questo errore, crea il set di dati BigQuery collegato.

  4. Fai clic su Esegui in BigQuery.

Passaggi successivi