Analyser les journaux à l'aide de l'explorateur de journaux et de l'analyse de journaux

Ce document explique comment interroger, afficher et analyser des entrées de journal à l'aide de la Google Cloud console. Deux interfaces sont à votre disposition : l' explorateur de journaux et l'analyse de journaux. Vous pouvez interroger, afficher et analyser des journaux avec les deux interfaces. Toutefois, elles utilisent des langages de requête différents et elles offrent des fonctionnalités différentes :

  • Pour résoudre les problèmes et explorer les données de journaux, utilisez l' explorateur de journaux.

  • Pour joindre vos données de journaux et de trace, ou pour générer des insights et des tendances, utilisez l'analyse de journaux.

Vous pouvez interroger vos journaux et enregistrer vos requêtes en exécutant des commandes de l' API Logging. Vous pouvez également interroger vos journaux à l'aide de Google Cloud CLI.

Utiliser l'Explorateur de journaux

L'explorateur de journaux est conçu pour vous aider à résoudre les problèmes et à analyser les performances de vos services et applications. Par exemple, un histogramme affiche le taux d'erreurs. Si vous constatez un pic d'erreurs ou un événement qui est intéressant, vous pouvez localiser et afficher les entrées de journal correspondantes. Lorsqu'une entrée de journal est associée à un groupe d'erreurs, elle est annotée avec un menu d'options qui vous permet d'accéder à plus d'informations sur le groupe d'erreurs.

Le même langage de requête est compatible avec l'API Cloud Logging, Google Cloud CLI, et l'explorateur de journaux. Pour simplifier la création de requêtes lorsque vous utilisez l'explorateur de journaux, vous pouvez créer des requêtes à l'aide de menus, en saisissant du texte et, dans certains cas, en utilisant des options incluses dans l'affichage d'une entrée de journal individuelle.

L'explorateur de journaux n'est pas compatible avec les opérations d'agrégation, comme le comptage du nombre d'entrées de journal contenant un modèle spécifique. Pour effectuer des opérations d'agrégation, activez l'analyse sur le bucket de journaux, puis utilisez l'analyse de journaux.

Pour en savoir plus sur la recherche et l'affichage de journaux avec l'explorateur de journaux, consultez la page Afficher les journaux à l'aide de l'explorateur de journaux.

Explorer l'analyse de journaux

L'analyse de journaux vous permet de générer des insights en exécutant des requêtes qui regroupent et agrègent vos données de journaux. Ces insights peuvent vous aider à réduire le temps que vous consacrez à la résolution des problèmes. Pour afficher les résultats de votre requête, utilisez un tableau, un graphique, ou les deux. Les graphiques peuvent vous aider à identifier des modèles et des tendances dans vos données de journaux. Par exemple, la capture d'écran suivante montre un résultat de requête affiché sous forme de tableau et de graphique :

Interface utilisateur pour l'Analyse de journaux.

L'analyse de journaux est compatible avec les éléments suivants :

  • Regroupement et agrégation des données de journaux.

    Par exemple, vous pouvez exécuter une requête SQL qui regroupe les entrées de journal par heure, puis calcule pour chaque groupe la latence moyenne des requêtes HTTP envoyées à une URL spécifique.

  • Requêtes SQL qui utilisent la syntaxe pipe.

  • Requêtes de vues de journaux et vues d'analyse.

    Les vues de journaux ont un schéma défini par le système. Vous définissez le schéma des vues d'analyse.

  • Jointures des données de journaux et de trace.

    Pour en savoir plus sur l'interrogation de vos données de trace, consultez la page Interroger et analyser des traces.

Cloud Logging vous permet également d'interroger vos données de journaux à partir de BigQuery, sans les exporter vers BigQuery. Après avoir mis à niveau votre bucket de journaux pour utiliser l'analyse de journaux, créez un ensemble de données associé. Vous pouvez interroger l'ensemble de données associé à l'aide des services BigQuery.

La mise à niveau d'un bucket de journaux n'affecte pas votre utilisation de l'explorateur de journaux. L'explorateur de journaux nécessite uniquement que vos données de journaux soient stockées dans un bucket de journaux.

Restrictions

  • Pour mettre à niveau un bucket de journaux existant afin qu'il utilise l'analyse de journaux, les restrictions suivantes s'appliquent :

    • Le bucket de journaux a été créé au niveau du Google Cloud projet.
    • Le bucket de journaux est déverrouillé, sauf s'il s'agit du _Required bucket.
    • Aucune mise à jour n'est en attente pour le bucket.

  • Les entrées de journal écrites avant la mise à niveau d'un bucket ne sont pas immédiatement disponibles. Toutefois, une fois l'opération de remplissage terminée, vous pouvez analyser ces entrées de journal. Le processus de remplissage peut prendre plusieurs jours.

  • Vous ne pouvez pas utiliser la page Analyse de journaux pour interroger des vues de journaux lorsque le bucket de journaux est configuré avec des contrôles d'accès au niveau des champs. Toutefois, vous pouvez envoyer des requêtes via la page Explorateur de journaux et interroger un ensemble de données BigQuery associé. Étant donné que BigQuery ne respecte pas les contrôles d'accès au niveau des champs, si vous interrogez un ensemble de données associé, vous pouvez interroger tous les champs des entrées de journal.

  • Les entrées de journal en double ne sont pas supprimées avant l'exécution d'une requête. Ce comportement est différent de celui qui se produit lorsque vous interrogez des entrées de journal à l'aide de l'explorateur de journaux, qui supprime les entrées en double en comparant les noms de journaux, les codes temporels et les champs d'ID d'insertion. Pour en savoir plus, consultez Résoudre les problèmes : des entrées de journal en double apparaissent dans les résultats de mon analyse de journaux.

Restrictions concernant les jointures

Pour joindre des vues, les restrictions suivantes s'appliquent :

  1. Les emplacements des vues répondent à l'une des conditions suivantes :

    • Toutes les vues ont le même emplacement.
    • Toutes les vues se trouvent à l'emplacement global ou us.

  2. Lorsque les ressources de stockage utilisent des clés de chiffrement gérées par le client (CMEK), l'une des conditions suivantes doit être remplie :

    • Les ressources de stockage qui utilisent CMEK utilisent la même clé Cloud KMS.
    • Les ressources de stockage qui utilisent CMEK ont un ancêtre commun, et cet ancêtre spécifie une clé Cloud KMS par défaut qui se trouve au même emplacement que les ressources de stockage.

    Lorsqu'une ou plusieurs ressources de stockage utilisent CMEK, le système chiffre les données temporaires générées par la jointure avec la clé Cloud KMS commune ou la clé Cloud KMS par défaut de l'ancêtre.

Supposons, par exemple, que vous ayez deux vues qui résident au même emplacement. Vous pouvez ensuite joindre ces vues lorsque l'une des conditions suivantes est remplie :

  • Les ressources de stockage n'utilisent pas CMEK.
  • Une ressource de stockage utilise CMEK et l'autre non.
  • Les deux ressources de stockage utilisent CMEK et la même clé Cloud KMS.

  • Les deux ressources de stockage utilisent CMEK, mais des clés différentes. Toutefois, les ressources partagent un ancêtre qui spécifie une clé Cloud KMS par défaut qui se trouve au même emplacement que les ressources de stockage.

    Supposons, par exemple, que la hiérarchie des ressources d'un bucket de journaux et d'un bucket d'observabilité inclue la même organisation. Vous pouvez joindre des vues sur ces buckets lorsque, pour cette organisation, vous avez configuré les paramètres de ressource par défaut pour Cloud Logging et pour les buckets d'observabilité avec la même clé Cloud KMS par défaut pour l'emplacement de stockage.

Tarifs

Pour en savoir plus sur les tarifs, consultez la page Tarifs de Google Cloud Observability. Si vous acheminez des données de journaux vers d'autres Google Cloud services, consultez les documents suivants :

Aucun coût d'ingestion ni de stockage BigQuery ne s'applique lorsque vous mettez à niveau un bucket pour utiliser l'analyse de journaux, puis que vous créez un ensemble de données associé. Lorsque vous créez un ensemble de données associé pour un bucket de journaux, vous n'ingérez pas vos données de journaux dans BigQuery. Au lieu de cela, vous obtenez un accès en lecture aux données de journaux stockées dans votre bucket de journaux via l'ensemble de données associé.

Des frais d'analyse BigQuery s'appliquent lorsque vous exécutez des requêtes SQL sur des ensembles de données BigQuery associés, y compris lorsque vous utilisez la page BigQuery Studio, l'API BigQuery et l' outil de ligne de commande BigQuery.

Blogs

Pour en savoir plus sur l'analyse de journaux, consultez les articles de blog suivants :

Étape suivante