Analizzare i dati di traccia con BigQuery

Questo documento descrive come creare un set di dati BigQuery collegato per i dati di traccia e come eseguire query su questo set di dati. Un set di dati collegato ti consente di creare ed eseguire query che uniscono i dati di osservabilità con altri dati aziendali. Ad esempio, puoi eseguire query su un set di dati collegato da BigQuery Studio e da Data Studio. Puoi anche eseguire le query di Observability Analytics sul backend di BigQuery.

Per iniziare a utilizzare Observability Analytics, consulta Eseguire query e analizzare le tracce.

Quando è necessario un set di dati collegato

Non hai bisogno di un set di dati BigQuery collegato quando vuoi eseguire query sui dati di traccia o sui dati di traccia e di log. Per questi scenari, puoi utilizzare la pagina Observability Analytics. Per informazioni sull'esecuzione di query sui dati di log, consulta Eseguire query e analizzare i log con Observability Analytics.

Hai bisogno di un set di dati BigQuery collegato quando vuoi eseguire una delle seguenti operazioni:

Azioni di sistema che si verificano quando crei un set di dati collegato

Quando crei un set di dati collegato, avvii un'operazione a lunga esecuzione. Nell'ambito di questa operazione si verificano diverse azioni:

  • Gli audit log registrano la richiesta di creazione di un link e il completamento dell'operazione.

  • Se il service account Monitoring non esiste, Google Cloud Observability lo crea.

    L'API Cloud Monitoring deve essere abilitata per la creazione di questo account di servizio.

  • Google Cloud Observability richiede un account di servizio prima di poter creare un set di dati collegato. Se necessario, viene creato un account di servizio:

  • Un audit log registra la richiesta del gestore degli agent di servizio di concedere al service account Monitoring il ruolo IAM di agente di servizio Monitoring.

Prima di iniziare

  1. Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Questa sezione descrive le API che devono essere abilitate, i ruoli necessari per creare un set di dati collegato e come creare un set di dati collegato.

Prerequisiti

  1. Completa i passaggi descritti nella sezione Prima di iniziare.

  2. Per ottenere le autorizzazioni necessarie per creare un link a un set di dati di osservabilità, chiedi all'amministratore di concederti i seguenti ruoli IAM per il progetto:

    Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

gcloud

Prima di utilizzare i dati dei comandi riportati di seguito, effettua le seguenti sostituzioni:

  • LINK_ID: il nome del set di dati BigQuery.
  • DATASET_ID: l'ID del set di dati. I dati di traccia vengono archiviati in un set di dati denominato Spans.
  • BUCKET_ID: l'ID del bucket di osservabilità. Ad esempio, questo ID potrebbe essere _Trace.
  • LOCATION: la località dei bucket di osservabilità.
  • PROJECT_ID: l'identificatore del progetto.

Esegui il gcloud beta observability buckets datasets links create comando:

Linux, macOS o Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

Il comando create avvia un'operazione a lunga esecuzione. Di seguito è riportato un esempio di risposta quando il comando viene eseguito correttamente: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Per creare un link a un set di dati BigQuery, invia una richiesta all' projects.locations.buckets.datasets.links.create endpoint.

Devi specificare il parametro parent, che ha il seguente formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

I campi nell'espressione precedente hanno il seguente significato:

  • PROJECT_ID: l'identificatore del progetto.
  • LOCATION: la località del bucket di osservabilità.
  • BUCKET_ID: l'ID del bucket di osservabilità. Ad esempio, questo ID potrebbe essere _Trace.
  • DATASET_ID: l'ID del set di dati su cui viene eseguita la query. Ad esempio, questo ID potrebbe essere Spans.

Questo comando richiede un parametro di query e un corpo della richiesta:

  • Il parametro di query, linkId, deve essere specificato e impostato sul nome del set di dati BigQuery. Ad esempio, linkId="my_link". Il nome del set di dati BigQuery deve essere univoco per il tuo Google Cloud progetto, deve essere limitato a 100 caratteri e può includere solo lettere, cifre e trattini bassi.

  • Il corpo della richiesta è un Link oggetto. Il valore del campo name ha il seguente formato:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    Il valore fornito per il campo name deve corrispondere al set di dati BigQuery collegato a cui fa riferimento il parametro di query.

    Il campo LINK_ID è il nome del set di dati BigQuery.

La risposta è un Operation oggetto. Questo oggetto contiene informazioni sullo stato di avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene i dati di stato.

Per un elenco completo degli endpoint dell'API Observability, consulta la documentazione di riferimento dell'API Observability.

Eseguire query sui dati di traccia da BigQuery Studio

Questa sezione descrive come eseguire query sui dati di traccia dalla pagina BigQuery Studio.

Per scoprire i costi associati all'utilizzo di BigQuery, consulta Prezzi di BigQuery.

Prerequisiti

  1. Completa i passaggi descritti nella sezione Prima di iniziare.

  2. Per ottenere le autorizzazioni necessarie per eseguire query su un set di dati collegato da BigQuery, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore dati BigQuery (roles/bigquery.dataViewer) nel progetto o nel set di dati collegato. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

  3. Verifica che esista il set di dati BigQuery collegato per il bucket di osservabilità denominato _Trace. Se il set di dati collegato non esiste, crealo.

Utilizzare BigQuery Studio

Per aprire BigQuery dalla pagina Observability Analytics ed eseguire query sui dati di traccia, procedi nel seguente modo:

  1. Nella Google Cloud console, vai alla Observability Analytics pagina:

    Vai a Observability Analytics

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Inserisci o carica una query. Per ulteriori informazioni, consulta Eseguire query e analizzare le tracce.

  3. Nella barra degli strumenti, espandi il menu con l'etichetta Esegui query o Esegui in BigQuery e seleziona Apri in BigQuery.

    Si apre la pagina BigQuery Studio. In questa pagina, l'istruzione FROM specifica il set di dati collegato utilizzando la sintassi del percorso della tabella BigQuery. Puoi eseguire qualsiasi azione supportata sulla query, ad esempio modificarla.

    Se l'opzione Apri in BigQuery è disattivata, significa che non esiste un set di dati collegato o che non hai le autorizzazioni necessarie per aprire e visualizzare la query in BigQuery.

  4. Nella pagina BigQuery Studio, fai clic su Esegui query.

Eseguire query sul motore BigQuery

Per impostazione predefinita, la pagina Observability Analytics esegue le query che scrivi sul motore di query predefinito. Le query che esegui competono con tutte le altre query per gli slot. Pertanto, è possibile che l'esecuzione di una query venga ritardata a causa della mancata disponibilità degli slot. Il motore di query predefinito può eseguire query solo su viste di osservabilità, viste su bucket di log e viste di analisi.

Quando crei un set di dati collegato, la pagina Observability Analytics ti consente di scegliere tra il motore di query predefinito e il motore BigQuery. Se hai prenotato gli slot BigQuery e se scegli l'opzione per eseguire la query sul motore BigQuery, allora vengono utilizzati gli slot prenotati. Le query eseguite sul motore BigQuery possono eseguire query su viste di osservabilità, viste su bucket di log e viste di analisi. Queste query possono anche unire i dati di osservabilità a una tabella BigQuery.

Esistono due casi d'uso principali per l'esecuzione di query sul motore BigQuery:

  • Crei criteri di avviso basati su SQL. Le query per questi criteri devono essere eseguite sul motore BigQuery.

  • Vuoi salvare un grafico in una dashboard in cui il grafico mostra il risultato di un'unione tra i dati di osservabilità e altri dati aziendali.

    La clausola FROM deve specificare una vista su un set di dati di osservabilità o una vista su un bucket di log e deve esistere anche un set di dati collegato per i dati su cui viene eseguita la query. Per unire i dati di osservabilità ad altri dati aziendali, aggiungi un'istruzione JOIN che specifica una tabella BigQuery. Devi disporre delle autorizzazioni IAM necessarie per eseguire query sulla tabella BigQuery.

Per scoprire i costi associati all'utilizzo di BigQuery, consulta Prezzi di BigQuery.

Prerequisiti

  1. Completa i passaggi descritti nella sezione Prima di iniziare.

  2. Per ottenere le autorizzazioni necessarie per eseguire query da Observability Analytics utilizzando gli slot BigQuery, chiedi all'amministratore di concederti i seguenti ruoli IAM:

    • Observability View Accessor (roles/observability.viewAccessor) nelle viste di osservabilità su cui vuoi eseguire query. Questo ruolo supporta le condizioni IAM, che ti consentono di limitare la concessione a una vista specifica. Se non associ una condizione alla concessione del ruolo, l'entità può accedere a tutte le viste di osservabilità.
    • Visualizzatore log (roles/logging.viewer) nel progetto
    • Utente BigQuery (roles/bigquery.user) nel progetto
    • Utente job BigQuery (roles/bigquery.jobUser) nel progetto

    Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

  3. Verifica che esista il set di dati BigQuery collegato per il bucket di osservabilità denominato _Trace. Se il set di dati collegato non esiste, crealo.

Se prevedi di configurare la pagina Observability Analytics per eseguire query sugli slot BigQuery e se utilizzi progetti con i controlli di servizio Virtual Private Cloud (VPC), verifica di utilizzare la versione Enterprise di BigQuery. Per ulteriori informazioni, vedi Informazioni sulle versioni di BigQuery.

Utilizzare il motore BigQuery

Per eseguire una query sul motore BigQuery quando utilizzi la pagina Observability Analytics, procedi nel seguente modo:

  1. Nella Google Cloud console, vai alla Observability Analytics pagina:

    Vai a Observability Analytics

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Inserisci o carica una query. Per ulteriori informazioni, consulta Eseguire query e analizzare le tracce.

  3. Vai alla barra degli strumenti e verifica che venga visualizzato un pulsante con l'etichetta Esegui in BigQuery.

    Se la barra degli strumenti mostra Esegui query, allora fai clic su Impostazioni e seleziona BigQuery.

    Un pulsante Esegui in BigQuery disattivato indica che non esiste un set di dati collegato. Per risolvere questo problema, crea il set di dati BigQuery collegato.

  4. Fai clic su Esegui in BigQuery.

Passaggi successivi