Analyser les données de trace avec BigQuery

Ce document explique comment créer un ensemble de données BigQuery associé pour vos données de trace et comment interroger cet ensemble de données. Un ensemble de données associé vous permet de créer et d'exécuter des requêtes qui joignent vos données d'observabilité à d'autres données d'entreprise. Par exemple, vous pouvez interroger un ensemble de données associé à partir de BigQuery Studio et de Looker Studio. Vous pouvez également exécuter vos requêtes Analyse de journaux sur le backend BigQuery.

Pour commencer à utiliser l'Analyse de journaux, consultez Interroger et analyser des traces.

Quand avez-vous besoin d'un ensemble de données associé ?

Vous n'avez pas besoin d'un ensemble de données BigQuery associé lorsque vous souhaitez interroger vos données de trace ou vos données de trace et de journaux. Dans ces cas, vous pouvez utiliser la page Analyse de journaux. Pour en savoir plus sur l'interrogation des données de journaux, consultez Interroger et analyser des journaux avec l'Analyse de journaux.

Vous avez besoin d'un ensemble de données BigQuery associé lorsque vous souhaitez effectuer l'une des opérations suivantes :

Avant de commencer

  1. Connectez-vous à votre Google Cloud compte. Si vous n'avez jamais utilisé Google Cloud, créez un compte pour évaluer les performances de nos produits dans des scénarios réels. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

Cette section décrit les API qui doivent être activées, les rôles requis pour créer un ensemble de données associé et comment créer un ensemble de données associé.

Prérequis

  1. Suivez les étapes de la section Avant de commencer.

  2. Pour obtenir les autorisations nécessaires pour créer un lien sur un ensemble de données d'observabilité, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

    Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

REST

Pour créer un lien vers un ensemble de données BigQuery, envoyez une requête au projects.locations.buckets.datasets.links.create point de terminaison.

Vous devez spécifier le paramètre parent, qui se présente comme suit :

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Les champs de l'expression précédente ont la signification suivante :

  • PROJECT_ID : identifiant du projet.
  • LOCATION : l'emplacement du bucket d'observabilité.
  • BUCKET_ID : ID du bucket d'observabilité. Par exemple, cet ID peut être _Trace.
  • DATASET_ID : ID de l'ensemble de données interrogé. Par exemple, cet ID peut être Spans.

Cette commande nécessite un paramètre de requête et un corps de requête :

  • Le paramètre de requête linkId doit être spécifié et défini sur le nom de l'ensemble de données BigQuery. Par exemple, linkId="my_link". Le nom de l'ensemble de données BigQuery doit être unique pour votre Google Cloud projet, ne doit pas dépasser 100 caractères et ne peut inclure que des lettres, des chiffres et des traits de soulignement.

  • Le corps de la requête est un Link objet. La valeur du champ name se présente comme suit :

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    La valeur que vous fournissez pour le champ name doit correspondre à l'ensemble de données BigQuery associé référencé par le paramètre de requête.

    Le champ LINK_ID correspond au nom de l'ensemble de données BigQuery.

La réponse est un Operation objet. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient des données d'état.

Pour obtenir la liste complète des points de terminaison de l'API Observability, consultez la documentation de référence de l'API Observability.

Interroger des données de trace à partir de BigQuery Studio

Cette section explique comment interroger vos données de trace à partir de la page BigQuery Studio.

Pour en savoir plus sur les coûts associés à l'utilisation de BigQuery, consultez Tarifs de BigQuery.

Prérequis

  1. Suivez les étapes de la section Avant de commencer.

  2. Pour obtenir les autorisations nécessaires pour interroger un ensemble de données associé à partir de BigQuery, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) sur votre projet ou votre ensemble de données associé. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

  3. Vérifiez que l'ensemble de données BigQuery associé au bucket d'observabilité nommé _Trace existe. Si l'ensemble de données associé n'existe pas, créez-le.

Utiliser BigQuery Studio

Pour ouvrir BigQuery à partir de la page Analyse de journaux, puis interroger vos données de trace, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la Analyse de journaux page :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Saisissez ou chargez une requête. Pour en savoir plus, consultez Interroger et analyser des traces.

  3. Dans la barre d'outils, développez le menu intitulé Exécuter la requête ou Exécuter sur BigQuery, puis sélectionnez Ouvrir dans BigQuery.

    La page BigQuery Studio s'ouvre. Sur cette page, l'instruction FROM spécifie l'ensemble de données associé à l'aide de la syntaxe du chemin d'accès à la table BigQuery . Vous pouvez effectuer toutes les actions compatibles sur la requête, par exemple la modifier.

    Si l'option Ouvrir dans BigQuery est désactivée, cela signifie qu'aucun ensemble de données associé n'existe ou que vous ne disposez pas des autorisations nécessaires pour ouvrir et afficher la requête dans BigQuery.

  4. Sur la page BigQuery Studio, cliquez sur Exécuter la requête.

Exécuter des requêtes sur le moteur BigQuery

Par défaut, la page Analyse de journaux exécute les requêtes que vous écrivez sur le moteur de requêtes par défaut. Les requêtes que vous exécutez sont en concurrence avec toutes les autres requêtes pour les emplacements. Par conséquent, il est possible que l'exécution d'une requête soit retardée en raison du manque d'emplacements. Le moteur de requêtes par défaut ne peut interroger que les vues d'observabilité, les vues sur les buckets de journaux et les vues d'analyse.

Lorsque vous créez un ensemble de données associé, la page Analyse de journaux vous permet de choisir entre le moteur de requêtes par défaut et le moteur BigQuery. Si vous avez réservé des emplacements BigQuery et que vous choisissez d'exécuter la requête sur le moteur BigQuery, alors vos emplacements réservés sont utilisés. Les requêtes exécutées sur le moteur BigQuery peuvent interroger les vues d'observabilité, les vues sur les buckets de journaux et les vues d'analyse. Ces requêtes peuvent également joindre vos données d'observabilité à une table BigQuery.

Il existe deux cas d'utilisation principaux pour l'exécution de requêtes sur le moteur BigQuery :

  • Vous créez des règles d'alerte basées sur SQL. Les requêtes de ces règles doivent être exécutées sur le moteur BigQuery.

  • Vous souhaitez enregistrer un graphique dans un tableau de bord où il affiche le résultat d'une jointure entre des données d'observabilité et d'autres données d'entreprise.

    La clause FROM doit spécifier une vue sur un ensemble de données d'observabilité ou une vue sur un bucket de journaux, et il doit également exister un ensemble de données associé pour les données interrogées. Pour joindre vos données d'observabilité à d'autres données d'entreprise, ajoutez une instruction JOIN qui spécifie une table BigQuery. Vous devez disposer des autorisations IAM requises pour interroger la table BigQuery.

Pour en savoir plus sur les coûts associés à l'utilisation de BigQuery, consultez Tarifs de BigQuery.

Prérequis

  1. Suivez les étapes de la section Avant de commencer.

  2. Pour obtenir les autorisations nécessaires pour exécuter des requêtes à partir de l'Analyse de journaux à l'aide d'emplacements BigQuery, demandez à votre administrateur de vous accorder les rôles IAM suivants :

    • Accesseur de vue d'observabilité (roles/observability.viewAccessor) sur les vues d'observabilité que vous souhaitez interroger. Ce rôle est compatible avec les conditions IAM, qui vous permettent de limiter l'octroi à une vue spécifique. Si vous n'associez pas de condition à l'octroi de rôle, le compte principal peut accéder à toutes les vues d'observabilité.
    • Lecteur de journaux (roles/logging.viewer) sur votre projet
    • Utilisateur BigQuery (roles/bigquery.user) on your project
    • Utilisateur de tâche BigQuery (roles/bigquery.jobUser) sur votre projet

    Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

  3. Vérifiez que l'ensemble de données BigQuery associé au bucket d'observabilité nommé _Trace existe. Si l'ensemble de données associé n'existe pas, créez-le.

Si vous prévoyez de configurer la page Analyse de journaux pour exécuter des requêtes sur vos emplacements BigQuery et que vous utilisez des projets avec VPC Service Controls, vérifiez que vous utilisez l'édition Enterprise de BigQuery. Pour en savoir plus, consultez Comprendre les éditions BigQuery.

Utiliser le moteur BigQuery

Pour exécuter une requête sur le moteur BigQuery lorsque vous utilisez la page Analyse de journaux, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la Analyse de journaux page :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Saisissez ou chargez une requête. Pour en savoir plus, consultez Interroger et analyser des traces.

  3. Accédez à la barre d'outils et vérifiez qu'un bouton intitulé Exécuter sur BigQuery s'affiche.

    Si la barre d'outils affiche Exécuter la requête, alors cliquez sur Paramètres et sélectionnez BigQuery.

    Un bouton Exécuter sur BigQuery désactivé indique qu'aucun ensemble de données associé n'existe. Pour résoudre ce problème, créez l'ensemble de données BigQuery associé.

  4. Cliquez sur Exécuter sur BigQuery.

Étape suivante