Créer un ensemble de données BigQuery associé

Ce document explique comment créer un ensemble de données BigQuery associé à votre ensemble de données d'observabilité. Vous pouvez ensuite utiliser les services BigQuery, tels que BigQuery Studio et l'API BigQuery, pour interroger l'ensemble de données associé.

Pour commencer à utiliser l'analyse de l'observabilité, consultez Interroger et analyser des traces.

Quand avez-vous besoin d'un ensemble de données associé ?

Vous n'avez pas besoin d'un ensemble de données BigQuery associé lorsque vous souhaitez interroger vos données de trace, ou vos données de trace et de journaux. Dans ce cas, vous pouvez utiliser la page Analyse de l'observabilité. Pour en savoir plus sur l'interrogation des données de journaux, consultez Interroger et analyser les journaux avec Observability Analytics.

Vous avez besoin d'un ensemble de données BigQuery associé lorsque vous souhaitez effectuer l'une des opérations suivantes :

Créer un ensemble de données BigQuery associé

Cette section explique comment créer un ensemble de données BigQuery associé, ce qui permet aux services BigQuery d'interroger vos données de trace. Vous pouvez créer un ensemble de données BigQuery associé sur un ensemble de données d'observabilité.

Lorsque vous créez un ensemble de données associé, vous lancez une opération de longue durée. Plusieurs actions se produisent lors de cette opération :

  • Les journaux d'audit enregistrent la demande de création d'un lien et l'exécution de l'opération.

  • Lorsque le compte de service Monitoring n'existe pas, Google Cloud Observability le crée.

    Pour créer ce compte de service, vous devez activer l'API Cloud Monitoring.

  • Google Cloud Observability nécessite un compte de service avant de pouvoir créer un ensemble de données associé. Si nécessaire, un compte de service est créé :

  • Un journal d'audit enregistre la demande du gestionnaire d'agents de service visant à accorder au compte de service Monitoring le rôle IAM Agent de service Monitoring.

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

  8. Pour obtenir les autorisations nécessaires pour créer un lien vers un ensemble de données d'observabilité, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Observabilité (roles/observability.editor) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un ensemble de données

gcloud

Avant d'utiliser les données de la commande ci-dessous, effectuez les remplacements suivants :

  • LINK_ID : nom de l'ensemble de données BigQuery.
  • DATASET_ID : ID de l'ensemble de données. Vos données de trace sont stockées dans un ensemble de données nommé Spans.
  • BUCKET_ID : ID du bucket d'observabilité. Par exemple, cet ID peut être _Trace.
  • LOCATION : emplacement des buckets d'observabilité.
  • PROJECT_ID : identifiant du projet.

Exécutez la commande gcloud beta observability buckets datasets links create  :

Linux, macOS ou Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

La commande "create" lance une opération de longue durée. Voici un exemple de réponse lorsque la commande aboutit : 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Pour créer un lien vers un ensemble de données BigQuery, envoyez une requête au point de terminaison projects.locations.buckets.datasets.links.create.

Vous devez spécifier le paramètre parent, qui se présente comme suit :

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Les champs de l'expression précédente ont la signification suivante :

  • PROJECT_ID : identifiant du projet.
  • LOCATION : emplacement du bucket d'observabilité.
  • BUCKET_ID : ID du bucket d'observabilité. Par exemple, cet ID peut être _Trace.
  • DATASET_ID : ID de l'ensemble de données interrogé. Par exemple, cet ID peut être Spans.

Cette commande nécessite un paramètre de requête et un corps de requête :

  • Le paramètre de requête linkId doit être spécifié et défini sur le nom de l'ensemble de données BigQuery. Exemple :linkId="my_link" Le nom de l'ensemble de données BigQuery doit être unique pour votre projet Google Cloud . Il doit être limité à 100 caractères et ne peut inclure que des lettres, des chiffres et des traits de soulignement.

  • Le corps de la requête est un objet Link. La valeur du champ name a le format suivant :

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    La valeur que vous fournissez pour le champ name doit correspondre à l'ensemble de données BigQuery associé référencé par le paramètre de requête.

    Le champ LINK_ID correspond au nom de l'ensemble de données BigQuery.

La réponse est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient des données d'état.

Pour obtenir la liste complète des points de terminaison de l'API Observability, consultez la documentation de référence de l'API Observability.

Si vous rencontrez des erreurs d'autorisation lors de la création d'un ensemble de données associé, consultez Résoudre les erreurs d'autorisation.

Étapes suivantes