Créer un ensemble de données BigQuery associé à un bucket de journaux

Un ensemble de données BigQuery associé sur un bucket de journaux vous permet d'interroger et d'analyser vos données de journaux à l'aide de services BigQuery tels que BigQuery Studio et Data Studio. Comme un ensemble de données BigQuery associé est un pointeur en lecture seule vers votre bucket de journaux, vous pouvez joindre des données de journaux à d'autres ensembles de données et créer des règles d'alerte basées sur SQL sans dupliquer les données ni payer pour un stockage BigQuery distinct.

Vous ne pouvez pas créer d'ensemble de données BigQuery associé pour une vue d'analyse. Si vous ne connaissez pas l'Analyse de l'observabilité, consultez la présentation de l'Analyse de l'observabilité.

Quand avez-vous besoin d'un ensemble de données BigQuery associé ?

Vous n'avez pas besoin d'un ensemble de données BigQuery associé lorsque vous souhaitez interroger vos données de journaux ou vos données de journaux et de traces. Dans ce cas, vous pouvez utiliser la page Analyse de l'observabilité. Vous pouvez également enregistrer et partager vos requêtes, et enregistrer la requête dans un tableau de bord personnalisé. Pour en savoir plus sur l'interrogation de vos données de trace, consultez Interroger et analyser des traces.

Vous avez besoin d'un ensemble de données BigQuery associé lorsque vous souhaitez effectuer l'une des opérations suivantes :

Un ensemble de données BigQuery associé à un bucket de journaux permet à BigQuery de lire les données de ce bucket.

Mappage des buckets de journaux et des vues de journaux aux objets BigQuery

Lorsque vous créez un ensemble de données BigQuery associé pour un bucket de journaux, un nouvel ensemble de données devient disponible pour BigQuery. Vous spécifiez le nom de l'ensemble de données BigQuery associé lors du processus d'association. Toutes les vues de journaux du bucket de journaux sont automatiquement mappées à des vues virtuelles dans l'ensemble de données. Le nom d'une vue virtuelle est identique à celui de la vue de journal correspondante.

Par exemple, supposons que le projet my_project dispose d'un bucket de journaux nommé example et que ce bucket de journaux dispose d'une vue de journaux nommée _AllLogs. Si vous créez un ensemble de données BigQuery associé pour ce bucket de journaux avec le nom my_dataset, la page Explorateur de BigQuery affiche une entrée my_project. Un enfant de l'entrée my_project est un ensemble de données nommé my_dataset, qui liste une vue virtuelle nommée _AllLogs.

Implications du contrôle des accès lors de l'utilisation d'ensembles de données BigQuery associés

Lorsqu'un compte principal interroge une vue sur un ensemble de données BigQuery associé, cette requête s'exécute via la couche d'autorisation BigQuery, et non via la couche d'autorisation Cloud Logging. Par conséquent, les rôles et autorisations BigQuery accordés au compte principal sur l'ensemble de données BigQuery associé déterminent s'il peut interroger l'ensemble de données.

Vous ne pouvez pas limiter un compte principal à une vue virtuelle spécifique dans un ensemble de données associé. Lorsqu'un compte principal a été autorisé à accéder à l'ensemble de données BigQuery associé, il peut interroger toutes les vues de cet ensemble de données.

Actions système qui se produisent lorsque vous créez un ensemble de données associé

Lorsque vous créez un lien sur un ensemble de données d'observabilité, voici ce qui se passe :

  • Google Cloud Observability peut créer les comptes de service suivants ou modifier leurs attributions de rôles IAM :

  • Les journaux d'audit enregistrent la demande de création d'un lien et la demande du gestionnaire d'agent de service d'accorder au compte de service Monitoring le rôle IAM d'agent de service Monitoring. Ces journaux enregistrent également la fin de l'opération de longue durée.

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Pour obtenir les autorisations nécessaires pour créer un ensemble de données associé, demandez à votre administrateur de vous accorder le rôle IAM Rédacteur de configuration des journaux (roles/logging.configWriter) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

  7. Assurez-vous que votre bucket de journaux a été mis à niveau pour utiliser Observability Analytics :

    1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

      Accéder à la page Stockage des journaux

      Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

    2. Si le bucket de journaux affiche Mettre à niveau, cliquez sur Mettre à niveau et remplissez la boîte de dialogue.

Lorsque vous souhaitez utiliser les capacités de BigQuery pour analyser vos données de journaux, mettez à niveau un bucket de journaux pour utiliser l'Analyse de l'observabilité, puis créez un ensemble de données associé. Avec cette configuration, Logging stocke vos données de journaux, mais BigQuery peut les lire.

Console Google Cloud

Pour créer un lien vers un ensemble de données BigQuery pour un bucket de journaux existant, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Localisez le bucket de journaux et vérifiez que la colonne Analyse de l'observabilité disponible affiche Ouvrir.

    Si cette colonne affiche Mettre à niveau, cela signifie que le bucket de journaux n'a pas été mis à niveau pour utiliser Analyse de l'observabilité. Configurez l'Analyse de l'observabilité :

    1. Cliquez sur Mettre à niveau.
    2. Cliquez sur Confirmer dans la boîte de dialogue.

    Une fois la mise à niveau terminée, passez à l'étape suivante.

  3. Sur le bucket de journaux, cliquez sur Plus, puis sur Modifier le bucket.

    La boîte de dialogue Modifier le bucket de journaux s'ouvre.

  4. Sélectionnez Créer un ensemble de données BigQuery associé à ce bucket, puis saisissez le nom du nouvel ensemble de données.

    Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud . Si vous saisissez le nom d'un ensemble de données existant, l'erreur suivante s'affiche : Dataset name must be unique in the selected region..

  5. Cliquez sur OK, puis sur Mettre à jour le bucket.

    Une fois que Logging affiche le nom de l'ensemble de données associé sur la page Stockage des journaux, il peut s'écouler plusieurs minutes avant que BigQuery ne reconnaisse l'ensemble de données.

gcloud

Pour créer un ensemble de données associé pour un bucket de journaux mis à niveau pour utiliser l'Analyse de l'observabilité, exécutez la commande gcloud logging links create :

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

Le LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données BigQuery, et la valeur de ce champ doit être unique pour votre projet Google Cloud .

La commande links create est asynchrone. La valeur renvoyée par une méthode asynchrone est un objet Operation, qui contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

L'exécution de la commande links create prend plusieurs minutes.

Par exemple, la commande suivante crée un ensemble de données associé nommé mylink pour le bucket de journaux nommé my-bucket :

gcloud logging links create mylink --bucket=my-bucket --location=global

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud . Si vous tentez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, l'erreur suivante s'affiche :

BigQuery dataset with name "LINK_ID" already exists.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser l'Analyse de l'observabilité, l'erreur suivante est signalée :

A link can only be created for an analytics-enabled bucket.

REST

Pour créer un ensemble de données BigQuery associé pour un bucket de journaux existant mis à niveau pour utiliser l'Analyse de l'observabilité, appelez la méthode asynchrone projects.locations.buckets.links.create de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

  1. Créez le corps de la requête pour la commande create. Le corps de la requête est au format d'un objet Link.
  2. Pour le paramètre de requête de la commande, utilisez linkId=LINK_ID. Le LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données BigQuery. La valeur de ce champ doit être unique pour votre projet Google Cloud .

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

L'exécution de la méthode links.create prend plusieurs minutes.

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud . Si vous tentez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, l'erreur suivante s'affiche :

BigQuery dataset with name "LINK_ID" already exists.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser l'Analyse de l'observabilité, l'erreur suivante est signalée :

A link can only be created for an analytics-enabled bucket.

Étapes suivantes