Configurer des buckets de journaux

Vous pouvez créer, afficher et gérer des buckets Cloud Logging pour stocker et centraliser vos données de journaux à l'aide de la console Google Cloud , de Google Cloud CLI ou de l'API Logging. Vous pouvez également configurer des durées de conservation et verrouiller des buckets pour répondre aux exigences de conformité.

Pour analyser vos données de journaux avec Analyse de l'observabilité, qui fournit une interface SQL, mettez à niveau vos buckets de journaux. Cette interface vous permet d'interroger les données de journaux, et de joindre les données de journaux et de traces.

Pour analyser vos données de journaux avec les services BigQuery, créez des ensembles de données BigQuery associés sur vos buckets de journaux. Ces ensembles de données sont en lecture seule et sont interrogés de la même manière que n'importe quel autre ensemble de données BigQuery. Vous pouvez également acheminer les entrées de journal directement vers BigQuery.

Pour en savoir plus sur ce concept, consultez Stocker des entrées de journal.

Avant de commencer

Configurez votre projet et vos rôles IAM, puis sélectionnez l'interface que vous prévoyez d'utiliser.

Configurer votre projet et vos rôles

Pour faire vos premiers pas avec les buckets, procédez comme suit :

Sélectionnez l'interface que vous prévoyez d'utiliser

Console Google Cloud

Lorsque vous utilisez la console Google Cloud pour accéder aux services et aux API Google Cloud , vous n'avez pas besoin de configurer l'authentification.

gcloud

Dans la console Google Cloud , activez Cloud Shell.

Activer Cloud Shell

En bas de la console Google Cloud , une session Cloud Shell démarre et affiche une invite de ligne de commande. Cloud Shell est un environnement de shell dans lequel la Google Cloud CLI est déjà installée, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.

REST

Pour utiliser les exemples API REST de cette page dans un environnement de développement local, vous devez utiliser les identifiants que vous fournissez à la gcloud CLI.

    Installez la Google Cloud CLI.

    Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour en savoir plus, consultez la section S'authentifier pour utiliser REST dans la documentation sur l'authentification Google Cloud .

Créer un bucket

Ces instructions supposent que vous utilisez le chiffrement géré par Google. Si vous préférez utiliser des clés de chiffrement gérées par le client (CMEK), consultez Configurer des CMEK pour le stockage des journaux.

Vous pouvez créer jusqu'à 100 buckets par projetGoogle Cloud . Vous ne pouvez pas créer de buckets de journaux dans des dossiers ou des organisations.

Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Google Cloud , procédez comme suit :

Console Google Cloud

Pour créer un bucket de journaux dans votre projet Google Cloud , procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Cliquez sur Créer un bucket de journaux.

  3. Saisissez un nom et une description pour votre bucket.

  4. Facultatif : mettez à niveau votre bucket pour utiliser Analyse de l'observabilité.

    1. Sélectionnez Effectuez la mise à niveau pour utiliser l'Analyse de l'observabilité.

      Lorsque vous mettez à niveau un bucket pour utiliser l'Analyse de l'observabilité, vous pouvez interroger vos journaux sur la page Analyse de l'observabilité à l'aide de requêtes SQL. Vous pouvez également continuer à afficher vos journaux à l'aide de l'explorateur de journaux.

    2. Facultatif : Pour afficher vos journaux dans BigQuery, sélectionnez Créer un ensemble de données BigQuery associé à ce bucket, puis saisissez un nom d'ensemble de données unique.

      Lorsque vous sélectionnez cette option, BigQuery peut lire les données stockées dans votre bucket de journaux. Vous pouvez désormais exécuter des requêtes dans l'interface BigQuery, où vous pouvez joindre vos données de journaux, et accéder aux données d'autres outils tels que Data Studio et Looker.

  5. Pour sélectionner la région de stockage de vos journaux, cliquez sur le menu Sélectionner la région du bucket de journaux, puis sélectionnez une région.

  6. (Facultatif) Pour définir une durée de conservation personnalisée pour les journaux du bucket, cliquez sur Suivant.

    Dans le champ Durée de conservation, saisissez le nombre de jours (compris entre 1 jour et3650 days) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est de 30 days.

    Vous pouvez également modifier la durée de conservation de votre bucket de journaux après l'avoir créé.

  7. Cliquez sur Créer un bucket.

    Une fois le bucket de journaux créé, Logging met à niveau le bucket et crée le lien de l'ensemble de données, si ces options ont été sélectionnées.

    Ces étapes peuvent prendre un certain temps.

gcloud

Pour créer uniquement un bucket de journaux, exécutez la commande gcloud logging buckets create. Si vous souhaitez mettre à niveau le bucket de journaux pour utiliser l'Analyse de l'observabilité, incluez les options --enable-analytics et --async, et assurez-vous de définir la variable LOCATION sur une région prise en charge :

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

L'option --async force la commande à être asynchrone. Le résultat d'une méthode asynchrone est un objet Operation, qui contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient des informations sur la réussite ou l'échec de la requête. Pour en savoir plus, consultez Méthodes d'API asynchrones.

Si vous ne souhaitez pas mettre à niveau le bucket de journaux pour utiliser l'Analyse de l'observabilité, omettez les options --enable-analytics et --async.

Par exemple, si vous souhaitez créer un bucket avec l'élément BUCKET_ID my-bucket dans la région global, votre commande se présente comme suit :

gcloud logging buckets create my-bucket --location global --description "My first bucket"

Par exemple, pour créer un bucket avec le my-upgraded-bucket BUCKET_ID dans l'emplacement global, puis mettre à niveau le bucket de journaux pour utiliser l'Analyse de l'observabilité, votre commande se présenterait comme suit :

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

Pour créer un bucket, utilisez la méthode projects.locations.buckets.create ou projects.locations.buckets.createAsync. Préparez les arguments de la méthode comme suit :

  1. Définissez le paramètre parent sur la ressource dans laquelle créer le bucket : projects/PROJECT_ID/locations/LOCATION

    La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux.

    Par exemple, si vous souhaitez créer un bucket pour le projet my-project dans la région global, votre paramètre parent se présentera comme suit : projects/my-project/locations/global.

  2. Définissez le paramètre bucketId (par exemple, my-bucket).

  3. Effectuez l'une des opérations suivantes :

    • Pour créer un bucket de journaux, puis le mettre à niveau pour utiliser l'Analyse de l'observabilité :

      1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.

      2. Appelez la méthode asynchrone projects.locations.buckets.createAsync pour créer le bucket.

        La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

        L'exécution de la méthode createAsync prend plusieurs minutes. Cette méthode ne génère pas de message d'erreur ni d'échec lorsque la valeur booléenne analyticsEnabled est définie sur true.

    • Sinon, appelez la méthode synchrone projects.locations.buckets.create pour créer le bucket.

Après avoir créé un bucket, créez un récepteur pour acheminer les entrées de journal vers votre bucket et configurez des vues de journaux pour contrôler qui peut accéder aux journaux de votre nouveau bucket et quels journaux sont accessibles. Vous pouvez également mettre à jour le bucket pour configurer la conservation personnalisée et les champs restreints.

Lister et afficher les détails des buckets de journaux

Cette section explique comment lister et afficher les détails des buckets de journaux d'un projet, d'un dossier ou d'une organisation.

Lister les buckets

Pour lister les buckets de journaux associés à un projet Google Cloud et afficher des détails tels que les paramètres de conservation, procédez comme suit :

Console Google Cloud

Dans la console Google Cloud , accédez à la page Stockage des journaux :

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

Un tableau nommé Buckets de journaux répertorie les buckets associés au projetGoogle Cloud actuel.

La table répertorie les attributs suivants pour chaque bucket de journaux :

  • Nom : nom du bucket de journaux.
  • Description : description du bucket.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • État : indique si le bucket est verrouillé ou non.

Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée d'un symbole d'avertissement .

gcloud

Exécutez la commande gcloud logging buckets list :

gcloud logging buckets list

Les attributs suivants s'affichent pour les buckets de journaux :

  • LOCATION : région dans laquelle les données du bucket sont stockées.
  • BUCKET_ID : nom du bucket de journaux.
  • RETENTION_DAYS : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • LIFECYCLE_STATE : indique si le bucket est en attente de suppression par Cloud Logging.
  • LOCKED : indique si le bucket est verrouillé ou non.
  • CREATE_TIME : horodatage indiquant la date de création du bucket.
  • UPDATE_TIME : horodatage indiquant la date de la dernière modification du bucket.

Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher les détails du bucket de journaux _Default dans la région global, exécutez la commande gcloud logging buckets describe :

gcloud logging buckets describe _Default --location=global

REST

Pour lister les buckets de journaux associés à un projet Google Cloud , utilisez projects.locations.buckets.list dans l'API Logging.

Afficher les détails d'un bucket

Les détails d'un bucket de journaux incluent le nom, la description, l'emplacement et la durée de conservation. Vous pouvez également afficher des informations sur la date de création et de dernière mise à jour du bucket de journaux, ainsi que le nom de l'ensemble de données BigQuery associé, le cas échéant.

Pour afficher les détails d'un seul bucket de journaux, procédez comme suit :

Console Google Cloud

Dans la console Google Cloud , accédez à la page Stockage des journaux :

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

Sur le bucket de journaux, cliquez sur Plus, puis sélectionnez Afficher les détails du bucket.

La boîte de dialogue liste les attributs suivants pour le bucket de journaux :

  • Nom : nom du bucket de journaux.
  • Description : description du bucket de journaux.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • Analyse de l'observabilité : indique si votre bucket est mis à niveau pour utiliser l'Analyse de l'observabilité.
  • Analyse BigQuery : indique si un ensemble de données BigQuery est associé à votre bucket.
  • Ensemble de données BigQuery : fournit un lien vers votre ensemble de données BigQuery, qui s'ouvre sur la page BigQuery Studio. La date d'activation de l'association à BigQuery est également indiquée.

gcloud

Exécutez la commande gcloud logging buckets describe.

Par exemple, la commande suivante affiche les détails du bucket _Default :

gcloud logging buckets describe _Default --location=global

Les attributs suivants s'affichent pour le bucket de journaux :

  • createTime : horodatage indiquant la date de création du bucket.
  • description : description du bucket de journaux.
  • lifecycleState : indique si le bucket est en attente de suppression par Cloud Logging.
  • name : nom du bucket de journaux.
  • retentionDays : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • updateTime : horodatage indiquant la date de la dernière modification du bucket.

REST

Pour afficher les détails d'un seul bucket de journaux, utilisez projects.locations.buckets.get dans l'API Logging.

Gérer les buckets

Cette section explique comment gérer vos buckets de journaux à l'aide de Google Cloud CLI ou de la console Google Cloud .

Mettre à jour un bucket

Pour mettre à jour les propriétés de votre bucket, telles que la description ou la durée de conservation, procédez comme suit :

Console Google Cloud

Pour mettre à jour les propriétés de votre bucket, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour le bucket que vous souhaitez modifier, cliquez sur Plus.

  3. Cliquez sur Modifier le bucket.

  4. Modifiez votre bucket comme désiré.

  5. Cliquez sur Mettre à jour le bucket.

gcloud

Pour mettre à jour les propriétés de votre bucket, exécutez la commande gcloud logging buckets update :

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemple :

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Pour mettre à jour les propriétés de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging.

Configurer une conservation personnalisée

Lorsque vous créez un bucket de journaux, vous pouvez personnaliser la période pendant laquelle Cloud Logging stocke les journaux dans le bucket. Vous pouvez également configurer la durée de conservation du bucket de journaux _Default lorsque ce bucket de journaux se trouve dans un projet.

Vous ne pouvez pas modifier la durée de conservation du bucket de journaux _Required. Vous ne pouvez pas non plus prolonger la durée de conservation d'un bucket de journaux qui se trouve dans un dossier ou une organisation. Toutefois, vous pouvez créer un récepteur de journaux pour acheminer les entrées de journal au niveau du dossier ou de l'organisation vers un bucket de journaux situé dans un projet, puis configurer la durée de conservation de ce bucket de journaux.

Si vous réduisez la durée de conservation d'un bucket de journaux, un délai de grâce de sept jours est appliqué, pendant lequel les journaux arrivés à expiration ne sont pas supprimés. Vous ne pouvez pas interroger ni afficher les journaux arrivés à expiration. Toutefois, pendant cette période de sept jours, vous pouvez restaurer l'accès complet en prolongeant la durée de conservation du bucket. Les journaux stockés pendant le délai de grâce sont pris en compte dans vos frais de conservation.

L'application de la conservation est un processus cohérent à terme. Si vous écrivez des entrées de journal dans un bucket de journaux alors qu'elles sont plus anciennes que la période de conservation du bucket, vous pourrez peut-être les voir brièvement. Par exemple, si vous envoyez des entrées de journal datant de 10 jours à un bucket de journaux dont la durée de conservation est de 7 jours, ces entrées de journal sont stockées, puis supprimées définitivement. Ces entrées de journal ne sont pas prises en compte dans vos coûts de conservation. Ils contribuent à vos coûts de stockage. Pour réduire vos coûts de stockage, n'écrivez pas d'entrées de journal plus anciennes que la durée de conservation de votre bucket.

Pour mettre à jour la durée de conservation d'un bucket de journaux personnalisé ou du bucket de journaux _Default d'un projet, procédez comme suit :

Console Google Cloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour le bucket que vous souhaitez modifier, cliquez sur Plus, puis sélectionnez Modifier le bucket.

  3. Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et3650 days) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux.

  4. Cliquez sur Mettre à jour le bucket. Votre nouvelle durée de conservation s'affiche dans la liste Bucket de journaux.

gcloud

Pour mettre à jour la durée de conservation d'un bucket de journaux défini par l'utilisateur ou du bucket de journaux _Default d'un projet, exécutez la commande gcloud logging buckets update après avoir défini une valeur pour RETENTION_DAYS :

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Par exemple, pour conserver les journaux du bucket _Default dans l'emplacement global pendant un an, votre commande se présenterait comme suit :

gcloud logging buckets update _Default --location=global --retention-days=365

Si vous prolongez la durée de conservation d'un bucket, les règles de conservation ne s'appliquent pas de façon rétroactive. Les journaux ne peuvent pas être récupérés après la fin de leur période de conservation spécifique.

Verrouiller un bucket

Lorsque vous verrouillez un bucket pour empêcher les mises à jour, vous verrouillez également sa règle de conservation. Une fois qu'une règle de conservation est verrouillée, vous ne pouvez pas supprimer le bucket tant que la durée de conservation de chaque entrée de journal qu'il contient n'est pas écoulée. Si vous souhaitez empêcher la suppression accidentelle d'un projet contenant un bucket de journaux verrouillé, ajoutez un privilège au projet. Pour en savoir plus, consultez Protéger les projets à l'aide de privilèges.

Pour empêcher toute personne de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit :

Console Google Cloud

La console Google Cloud ne permet pas de verrouiller un bucket de journaux.

gcloud

Pour verrouiller votre bucket, exécutez la commande gcloud logging buckets update avec l'option --locked :

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemple :

gcloud logging buckets update my-bucket --location=global --locked

REST

Pour verrouiller les attributs de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging. Définissez le paramètre locked sur true.

Supprimer un bucket

Vous pouvez supprimer les buckets de journaux qui remplissent l'une des conditions suivantes :

  • Le bucket de journaux est déverrouillé.
  • Le bucket de journaux est verrouillé et toutes les entrées de journal qu'il contient ont atteint la durée de conservation du bucket.

Vous ne pouvez pas supprimer un bucket de journaux dans les cas suivants :

  • Le bucket de journaux est verrouillé pour empêcher les mises à jour et stocke les entrées de journal qui n'ont pas atteint la durée de conservation du bucket.

  • Le bucket de journaux comporte un ou plusieurs liens. Pour déterminer s'il existe des liens sur votre bucket de journaux, vous pouvez utiliser la console Google Cloud ou exécuter la commande gcloud logging links list.

    Si nécessaire, supprimez les liens à l'aide de la commande gcloud logging links delete. Si vous supprimez un lien, vous supprimez également tous les artefacts associés, qui peuvent inclure un ensemble de données BigQuery associé.

Une fois que vous avez émis la commande de suppression, le bucket de journaux passe à l'état DELETE_REQUESTED et reste dans cet état pendant sept jours. Pendant cette période, Logging continue d'acheminer les journaux vers le bucket de journaux. Vous pouvez arrêter le routage des journaux vers le bucket de journaux en supprimant ou en modifiant les récepteurs de journaux qui acheminent les entrées de journal vers le bucket.

Vous ne pouvez pas créer un bucket de journaux portant le même nom qu'un bucket de journaux à l'état DELETE_REQUESTED.

Pour supprimer un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour supprimer un bucket de journaux, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Recherchez le bucket que vous souhaitez supprimer, puis cliquez sur Plus.

  3. Si la colonne Ensemble de données associé dans BigQuery affiche un lien, supprimez l'ensemble de données BigQuery associé :

    1. Cliquez sur Modifier le bucket.
    2. Décochez l'option Créer un ensemble de données BigQuery associé à ce bucket, cliquez sur OK, puis sur Mettre à jour le bucket.

      Une fois que vous êtes revenu sur la page Stockage des journaux, cliquez sur Plus pour le bucket que vous souhaitez supprimer, puis passez aux étapes suivantes.

  1. Cliquez sur Supprimer le bucket.

  2. Dans le panneau de confirmation, cliquez sur Supprimer.

  3. Sur la page Stockage des journaux, un indicateur signale que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.

gcloud

Pour supprimer un bucket de journaux, exécutez la commande gcloud logging buckets delete :

gcloud logging buckets delete BUCKET_ID --location=LOCATION

REST

Pour supprimer un bucket, utilisez projects.locations.buckets.delete dans l'API Logging.

Restaurer un bucket supprimé

Vous pouvez restaurer, c'est-à-dire annuler la suppression d'un bucket de journaux dont l'état est "en attente de suppression". Pour restaurer un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour le bucket que vous souhaitez restaurer, cliquez sur Plus, puis sélectionnez Restaurer le bucket supprimé.

  3. Dans le panneau de confirmation, cliquez sur Restaurer.

  4. Sur la page Stockage des journaux, l'indicateur de suppression en attente est supprimé de votre bucket de journaux.

gcloud

Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande gcloud logging buckets undelete :

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

Pour restaurer un bucket en attente de suppression, utilisez projects.locations.buckets.undelete dans l'API Logging.

Activer l'analyse de l'observabilité et les requêtes depuis BigQuery

Cette page explique comment effectuer les opérations suivantes :

  • Mettez à niveau votre bucket de journaux pour pouvoir analyser vos données de journaux à l'aide d'Analyse de l'observabilité, qui fournit une interface SQL.

  • Créer des liens sur des buckets de journaux. Un lien fournit une connexion entre un bucket de journaux et un ensemble de données BigQuery associé. Vous pouvez utiliser les services BigQuery pour interroger l'ensemble de données associé.

Mettre à niveau un bucket pour utiliser Analyse de l'observabilité

Après avoir mis à niveau un bucket pour utiliser l'Analyse de l'observabilité, toutes les nouvelles entrées de journal qui arrivent sont disponibles pour l'analyse dans l'interface de l'Analyse de l'observabilité. Vous ne pouvez pas annuler une opération de mise à niveau sur un bucket.

Pour mettre à niveau un bucket existant afin d'utiliser l'Analyse de l'observabilité, les restrictions suivantes s'appliquent :

  • Le bucket de journaux a été créé au niveau du projet Google Cloud .
  • Le bucket de journaux est déverrouillé, sauf s'il s'agit du bucket _Required.
  • Il n'y a pas de mise à jour en attente pour le bucket.

  • Pour les projets situés dans un périmètre VPC Service Controls :

    1. Le périmètre ne doit pas restreindre les services suivants :

      • logging.googleapis.com
      • cloudkms.googleapis.com : obligatoire pour les buckets de journaux qui utilisent des CMEK.

    2. Vous ne pouvez pas utiliser de règles d'entrée ou de sortie basées sur l'identité pour accorder un accès entre périmètres à la clé Cloud Key Management Service lorsque votre bucket de journaux et votre clé Cloud KMS se trouvent dans des périmètres VPC Service Controls différents.

La mise à niveau d'un bucket peut prendre jusqu'à 10 minutes. Pour en savoir plus, consultez Résoudre les problèmes de mise à niveau d'un bucket pour utiliser l'Analyse de l'observabilité.

Console Google Cloud

Pour mettre à niveau un bucket existant afin d'utiliser Analyse de l'observabilité, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Recherchez le bucket que vous souhaitez mettre à niveau.

  3. Lorsque la colonne Analyse de l'observabilité disponible affiche Mettre à niveau, vous pouvez mettre à niveau le bucket de journaux pour utiliser l'Analyse de l'observabilité. Cliquez sur Mettre à niveau.

    Une boîte de dialogue s'ouvre. Cliquez sur Confirmer.

gcloud

Pour mettre à niveau votre bucket de journaux afin d'utiliser l'Analyse de l'observabilité, exécutez la commande gcloud logging buckets update. Vous devez définir l'option --enable-analytics, et nous vous recommandons d'inclure également l'option --async :

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

L'option --async force la commande à être asynchrone. La réponse est un objet Operation. Interrogez la méthode projects.locations.operations.get jusqu'à ce que le champ Operation.done soit défini sur true. Les autres champs de la structure Operation fournissent des informations sur la réussite ou l'échec de la requête. Pour en savoir plus, consultez Méthodes d'API asynchrones.

REST

Pour mettre à niveau un bucket de journaux afin d'utiliser l'Analyse de l'observabilité, utilisez la méthode projects.locations.buckets.updateAsync de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

  1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.
  2. Pour le paramètre de requête de la commande, utilisez updateMask=analyticsEnabled.

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient des informations sur la réussite ou l'échec de la requête. Pour en savoir plus, consultez Méthodes d'API asynchrones.

L'exécution de la méthode updateAsync peut prendre plusieurs minutes.

Lorsque vous souhaitez utiliser les capacités de BigQuery pour analyser vos données de journaux, mettez à niveau un bucket de journaux pour utiliser l'Analyse de l'observabilité, puis créez un ensemble de données associé. Avec cette configuration, Logging stocke vos données de journaux, mais BigQuery peut les lire.

Console Google Cloud

Pour créer un lien vers un ensemble de données BigQuery pour un bucket de journaux existant, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Localisez le bucket de journaux et vérifiez que la colonne Analyse de l'observabilité disponible affiche Ouvrir.

    Si cette colonne affiche Mettre à niveau, cela signifie que le bucket de journaux n'a pas été mis à niveau pour utiliser Analyse de l'observabilité. Configurez l'Analyse de l'observabilité :

    1. Cliquez sur Mettre à niveau.
    2. Cliquez sur Confirmer dans la boîte de dialogue.

    Une fois la mise à niveau terminée, passez à l'étape suivante.

  3. Sur le bucket de journaux, cliquez sur Plus, puis sur Modifier le bucket.

    La boîte de dialogue Modifier le bucket de journaux s'ouvre.

  4. Sélectionnez Créer un ensemble de données BigQuery associé à ce bucket, puis saisissez le nom du nouvel ensemble de données.

    Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud . Si vous saisissez le nom d'un ensemble de données existant, l'erreur suivante s'affiche : Dataset name must be unique in the selected region..

  5. Cliquez sur OK, puis sur Mettre à jour le bucket.

    Une fois que Logging affiche le nom de l'ensemble de données associé sur la page Stockage des journaux, il peut s'écouler plusieurs minutes avant que BigQuery ne reconnaisse l'ensemble de données.

gcloud

Pour créer un ensemble de données associé pour un bucket de journaux mis à niveau pour utiliser l'Analyse de l'observabilité, exécutez la commande gcloud logging links create :

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

Le LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données BigQuery, et la valeur de ce champ doit être unique pour votre projet Google Cloud .

La commande links create est asynchrone. La valeur renvoyée par une méthode asynchrone est un objet Operation, qui contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

L'exécution de la commande links create prend plusieurs minutes.

Par exemple, la commande suivante crée un ensemble de données associé nommé mylink pour le bucket de journaux nommé my-bucket :

gcloud logging links create mylink --bucket=my-bucket --location=global

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud . Si vous tentez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, l'erreur suivante s'affiche :

BigQuery dataset with name "LINK_ID" already exists.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser l'Analyse de l'observabilité, l'erreur suivante est signalée :

A link can only be created for an analytics-enabled bucket.

REST

Pour créer un ensemble de données BigQuery associé pour un bucket de journaux existant mis à niveau pour utiliser l'Analyse de l'observabilité, appelez la méthode asynchrone projects.locations.buckets.links.create de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

  1. Créez le corps de la requête pour la commande create. Le corps de la requête est au format d'un objet Link.
  2. Pour le paramètre de requête de la commande, utilisez linkId=LINK_ID. Le LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données BigQuery. La valeur de ce champ doit être unique pour votre projet Google Cloud .

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

L'exécution de la méthode links.create prend plusieurs minutes.

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud . Si vous tentez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, l'erreur suivante s'affiche :

BigQuery dataset with name "LINK_ID" already exists.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser l'Analyse de l'observabilité, l'erreur suivante est signalée :

A link can only be created for an analytics-enabled bucket.

Interroger les méthodes d'API asynchrones

La réponse d'une méthode asynchrone telle que projects.locations.buckets.createAsync est un objet Operation.

Les applications qui appellent une méthode d'API asynchrone doivent interroger la méthode operation.get jusqu'à ce que la valeur du champ Operation.done soit true :

  • Si done est défini sur false, l'opération est en cours.

    Pour actualiser les informations d'état, envoyez une requête GET à la méthode operation.get.

  • Si done est défini sur true, l'opération est terminée et le champ error ou response est défini :

    • error: si défini, l'opération asynchrone a échoué. La valeur de ce champ est un objet Status qui contient un code d'erreur gRPC et un message d'erreur.
    • response: si défini, l'opération asynchrone est terminée et la valeur reflète le résultat.

Pour interroger une commande asynchrone à l'aide de Google Cloud CLI, exécutez la commande suivante :

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Pour en savoir plus, consultez la page gcloud logging operations describe.

Lire et écrire des entrées de journal

Vous n'écrivez pas directement de journaux dans un bucket de journaux. Vous écrivez plutôt des journaux dans une ressourceGoogle Cloud  : un projet, un dossier ou une organisation Google Cloud . Les récepteurs de la ressource parente acheminent ensuite les journaux vers les destinations, dont les buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsque les journaux correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux. Pour en savoir plus, consultez Entrées de journal de routage.

Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez avoir accès à une vue de journaux sur le bucket. Les vues de journaux vous permettent d'accorder à un utilisateur l'accès à un sous-ensemble des journaux stockés dans un bucket de journaux. Pour en savoir plus sur les vues de journaux, consultez Stocker des entrées de journal et Configurer des vues de journaux sur un bucket de journaux.

Pour lire les journaux d'un bucket de journaux, procédez comme suit :

Console Google Cloud

  1. Dans la console Google Cloud , accédez à la pageExplorateur de journaux :

    Accéder à l'explorateur de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour personnaliser les journaux affichés dans l'explorateur de journaux, cliquez sur Affiner le champ d'application, puis sélectionnez une option. Par exemple, vous pouvez afficher les journaux stockés dans un projet ou par vue de journal.

  3. Cliquez sur Appliquer. Le volet Résultats de la requête se recharge avec les journaux correspondant à l'option que vous avez sélectionnée.

Pour en savoir plus, consultez Présentation de l'explorateur de journaux : affiner le champ d'application.

gcloud

Pour lire les journaux d'un bucket de journaux, utilisez la commande gcloud logging read et ajoutez un LOG_FILTER pour sélectionner les données :

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

REST

Pour lire les journaux d'un bucket de journaux, utilisez la méthode entries.list. Définissez resourceNames pour spécifier le bucket et la vue de journaux appropriés, puis définissez filter pour sélectionner les données.

Pour en savoir plus sur la syntaxe de filtrage, consultez Langage de requête Logging.

Surveiller le volume

Cette section explique comment surveiller le volume de vos données de journaux.

Suivre le volume de journaux stockés dans des buckets de journaux

La page Stockage des journaux de la console Google Cloud suit le volume de données de journaux stockées dans les buckets de journaux :

Dans la console Google Cloud , accédez à la page Stockage des journaux :

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

La page Stockage des journaux affiche un récapitulatif des statistiques de votre projetGoogle Cloud  :

Le récapitulatif des statistiques indique la quantité de données de journaux stockées dans les buckets de journaux pour le projet sélectionné.

Les statistiques suivantes sont consignées :

  • Ingestion du mois en cours : quantité de données de journaux que votre projetGoogle Cloud a stockée dans des buckets de journaux depuis le premier jour du mois calendaire en cours.

  • Ingestion du mois précédent : quantité de données de journaux que votre projetGoogle Cloud a stockée dans des buckets de journaux au cours du dernier mois calendaire.

  • Ingestion estimée à la fin du mois : quantité estimée de données de journaux que votre projetGoogle Cloud stockera dans des buckets de journaux d'ici la fin du mois calendaire en cours, d'après l'utilisation actuelle.

  • Stockage facturable du mois en cours : quantité de données de journaux conservées pendant plus de 30 jours qui est facturée.

Les statistiques précédentes n'incluent pas les journaux du bucket _Required. Les journaux de ce bucket ne peuvent pas être exclus ni désactivés.

La page Routeur de journaux de la console Google Cloud vous fournit des outils permettant de réduire les frais de stockage des journaux dans les buckets de journaux ou de stockage qui dépassent votre allocation mensuelle. Vous pouvez procéder comme suit :

  • Désactivez le stockage des journaux au niveau du bucket.
  • Excluez certaines entrées de journal du stockage dans les buckets de journaux.

Pour en savoir plus, consultez la page Gérer les récepteurs.

Alerte sur les octets de journaux mensuels stockés dans des buckets de journaux

Pour créer une règle d'alerte, accédez à la page Stockage des journaux dans la consoleGoogle Cloud , cliquez sur Créer une alerte d'utilisation, puis remplissez la boîte de dialogue. La page Créer une règle d'alerte préremplit le champ du type de métrique avec logging.googleapis.com/billing/bytes_ingested.

Pour créer une règle d'alerte qui se déclenche lorsque le nombre d'octets de journaux écrits dans vos buckets de journaux dépasse la limite définie par l'utilisateur pour Cloud Logging, définissez les paramètres suivants :

ChampNouvelle condition
Valeur
Ressource et métrique Dans le menu Ressources, sélectionnez Global.
Dans le menu Catégories de métriques, sélectionnez Métrique basée sur les journaux.
Dans le menu Métriques, sélectionnez Octets de journaux ingérés par mois.
Filter Aucune.
Dans toutes les séries temporelles
Agrégation de séries temporelles		 sum
Fenêtre glissante 60 m
Fenêtrage glissant max
Champ Configurer le déclencheur d'alerte
Valeur
Type de condition Threshold
Déclencheur d'alerte Any time series violates
Position du seuil Above threshold
Valeur du seuil Vous définissez la valeur acceptable.
Fenêtre du nouveau test La valeur minimale acceptable est de 30 minutes.

Pour en savoir plus sur les règles d'alerte, consultez la page Présentation des alertes.

Résoudre les problèmes courants

Si vous rencontrez des problèmes lors de l'utilisation des buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.

Pourquoi ne puis-je pas supprimer ce bucket ?

Si vous essayez de supprimer un bucket, procédez comme suit :

  • Vérifiez que vous disposez des autorisations nécessaires pour supprimer le bucket. Pour obtenir la liste des autorisations dont vous avez besoin, consultez Contrôle des accès avec IAM.

  • Déterminez si le bucket est verrouillé en répertoriant les attributs du bucket. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux qu'il contient n'ont pas atteint la date limite de conservation du bucket.

  • Vérifiez que le bucket de journaux ne comporte aucun lien. Vous ne pouvez pas supprimer un bucket de journaux contenant des liens.

    L'erreur suivante s'affiche en réponse à une commande delete sur un bucket de journaux associé à un ensemble de données BigQuery :

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    Pour lister les liens associés à un bucket de journaux, exécutez la commande gcloud logging links list ou la méthode API projects.locations.buckets.links.list.

    Pour supprimer des liens, utilisez la commande gcloud logging links delete.

Quels comptes de service acheminent les journaux vers mon bucket ?

Pour déterminer si des comptes de service disposent d'autorisations IAM pour acheminer les journaux vers votre bucket, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page IAM :

    Accéder à IAM

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est IAM et administration.

  2. À partir de l'onglet Autorisations, affichez la liste par Rôles. Un tableau s'affiche avec tous les rôles et comptes principaux IAM associés à votre projetGoogle Cloud .

  3. Dans la tableFiltre zone de texte, saisissez Rédacteur de bucket de journaux.

    Tous les comptes principaux dotés du rôle Rédacteur de bucket de journaux s'affichent. Si un compte principal est un compte de service, son ID contient la chaîne gserviceaccount.com.

  4. Facultatif : Si vous souhaitez empêcher un compte de service d'acheminer des journaux vers votre projet Google Cloud , cochez la case du compte de service, puis cliquez sur Supprimer.

Pourquoi est-ce que je vois des journaux pour un projet Google Cloud alors que je les ai exclus de mon récepteur _Default ?

Vous pouvez afficher les journaux d'un bucket de journaux dans un projet Google Cloud centralisé, qui agrège les journaux de l'ensemble de votre organisation.

Si vous utilisez l'explorateur de journaux pour accéder à ces journaux et que vous voyez des journaux que vous avez exclus du récepteur _Default, il est possible que votre vue soit définie au niveau du projetGoogle Cloud .

Pour résoudre ce problème, sélectionnez Vue de journaux dans le menu Affiner le champ d'application, puis sélectionnez la vue de journaux associée au bucket _Default dans votre projetGoogle Cloud . Vous ne devriez plus voir les journaux exclus.

Étapes suivantes

Pour en savoir plus sur les méthodes de l'API Logs Bucket, consultez la documentation de référence sur LogBucket.

Si vous gérez une organisation ou un dossier, vous pouvez spécifier l'emplacement des buckets de journaux _Default et _Required des ressources enfants. Vous pouvez également configurer l'utilisation des CMEK par les buckets de journaux et le comportement du récepteur de journaux _Default. Pour en savoir plus, consultez la page Configurer les paramètres par défaut pour les organisations et les dossiers.

Pour en savoir plus sur la gestion des cas d'utilisation courants des buckets de journaux, consultez les articles suivants :