Questo documento descrive come creare un set di dati BigQuery collegato nel set di dati di osservabilità. Puoi quindi utilizzare i servizi BigQuery come BigQuery Studio e l'API BigQuery per eseguire query sul set di dati collegato.
Per iniziare a utilizzare Observability Analytics, consulta Eseguire query e analizzare le tracce.
Quando è necessario un set di dati collegato
Non hai bisogno di un set di dati BigQuery collegato quando vuoi eseguire query sui dati di traccia o sui dati di traccia e log. In questi scenari, puoi utilizzare la pagina Observability Analytics. Per informazioni sull'esecuzione di query sui dati di log, consulta Eseguire query e analizzare i log con Observability Analytics.
Hai bisogno di un set di dati BigQuery collegato quando vuoi eseguire una delle seguenti operazioni:
- Unire i dati di traccia con altri set di dati BigQuery.
- Eseguire query sui dati di traccia da un altro servizio come BigQuery Studio o Data Studio.
- Eseguire query dalla pagina Observability Analytics sul motore BigQuery.
- Monitorare i risultati delle query SQL con una policy di avviso.
Creare un set di dati BigQuery collegato
Questa sezione descrive come creare un set di dati BigQuery collegato, che consente ai servizi BigQuery di eseguire query sui dati di traccia. Puoi creare un set di dati BigQuery collegato in un set di dati di osservabilità.
Quando crei un set di dati collegato, avvii un'operazione a lunga esecuzione. Nell'ambito di questa operazione si verificano diverse azioni:
- Gli audit log registrano la richiesta di creazione di un link e il completamento dell'operazione.
Se il service account di Monitoring non esiste, Google Cloud Observability lo crea.
L'API Cloud Monitoring deve essere abilitata per la creazione di questo account di servizio.
Google Cloud Observability richiede un account di servizio prima di poter creare un set di dati collegato. Se necessario, viene creato un account di servizio:
Akun Layanan Cloud Observability: Wajib untuk link ke set data observabilitas.
Service account di Cloud Logging: obbligatorio per un link a un bucket di log.
Un audit log registra la richiesta del gestore dell'agente di servizio di concedere al service account di Monitoring il ruolo IAM di agente di servizio di Monitoring.
Prima di iniziare
- Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per eseguire, testare e implementare i carichi di lavoro.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Cloud Monitoring and Observability APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Cloud Monitoring and Observability APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.-
Per ottenere le autorizzazioni necessarie per creare un link a un set di dati di osservabilità, chiedi all'amministratore di concederti il ruolo IAM Editor di osservabilità (
roles/observability.editor) nel tuo progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Crea set di dati
gcloud
Prima di utilizzare i dati dei comandi riportati di seguito, effettua le seguenti sostituzioni:
- LINK_ID: il nome del set di dati BigQuery.
- DATASET_ID: l'ID del set di dati. I dati di traccia vengono archiviati in un set di dati denominato
Spans. - BUCKET_ID: l'ID del bucket di osservabilità. Ad esempio, questo ID potrebbe essere
_Trace. - LOCATION: la località dei bucket di osservabilità.
- PROJECT_ID: l'identificatore del progetto.
Esegui il
gcloud beta observability buckets datasets links create
comando:
Linux, macOS o Cloud Shell
gcloud beta observability buckets datasets links create \ projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \ --dataset=DATASET_ID\ --bucket=BUCKET_ID \ --location=LOCATION \ --project=PROJECT_ID
Windows (PowerShell)
gcloud beta observability buckets datasets links create ` projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ` --dataset=DATASET_ID` --bucket=BUCKET_ID ` --location=LOCATION ` --project=PROJECT_ID
Windows (cmd.exe)
gcloud beta observability buckets datasets links create ^ projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^ --dataset=DATASET_ID^ --bucket=BUCKET_ID ^ --location=LOCATION ^ --project=PROJECT_ID
Il comando create avvia un'operazione a lunga esecuzione. Di seguito è riportato un esempio di risposta quando il comando viene eseguito correttamente:
Create request issued for: [mydataset] Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done. Created link [mydataset].
REST
Per creare un link a un set di dati BigQuery, invia una richiesta all'
projects.locations.buckets.datasets.links.create
endpoint.
Devi specificare il parametro parent, che ha il seguente formato:
projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID
I campi nell'espressione precedente hanno il seguente significato:
- PROJECT_ID: l'identificatore del progetto.
- LOCATION: la località del bucket di osservabilità.
- BUCKET_ID: l'ID del bucket di osservabilità. Ad esempio, questo ID potrebbe essere
_Trace. - DATASET_ID: l'ID del set di dati su cui viene eseguita la query. Ad esempio, questo ID potrebbe essere
Spans.
Questo comando richiede un parametro di query e un corpo della richiesta:
Il parametro di query,
linkId, deve essere specificato e impostato sul nome del set di dati BigQuery. Ad esempio,linkId="my_link". Il nome del set di dati BigQuery deve essere univoco per il tuo Google Cloud progetto, deve essere limitato a 100 caratteri e può includere solo lettere, cifre e trattini bassi.Il corpo della richiesta è un
Linkoggetto. Il valore del camponameha il seguente formato:projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_IDIl valore fornito per il campo
namedeve corrispondere al set di dati BigQuery collegato a cui fa riferimento il parametro di query.Il campo LINK_ID è il nome del set di dati BigQuery.
La risposta è un Operation oggetto.
Questo oggetto contiene informazioni sullo stato di avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene i dati di stato.
Per un elenco completo degli endpoint dell'API Observability, consulta la documentazione di riferimento dell'API Observability.
Se riscontri errori di autorizzazione durante la creazione di un set di dati collegato, consulta Risolvere gli errori di autorizzazione.