Surveiller les jobs

En tant qu'administrateur BigQuery, vous pouvez surveiller les jobs de votre organisation via un explorateur de jobs d'administration dans la console Google Cloud . L'explorateur de jobs fournit des filtres et des options de tri permettant d'identifier, de comparer et de résoudre les problèmes liés aux jobs problématiques. Vous n'avez pas besoin d'écrire des requêtes INFORMATION_SCHEMA pour afficher les détails d'un job, tels que le propriétaire, le projet, l'utilisation des emplacements, la durée, etc.

Pour surveiller la capacité, les engagements d'emplacements et l'utilisation des réservations à long terme dans votre organisation, consultez Surveiller l'état et l'utilisation des ressources.

L'explorateur de jobs vous permet d'effectuer les opérations suivantes :

  • Filtrer et identifier les jobs Recherchez des requêtes spécifiques dans votre organisation en appliquant des filtres basés sur des critères tels que l'état du job, la durée, le propriétaire ou l'utilisation des emplacements.
  • Analysez les métriques de la chronologie. Suivez les tendances d'exécution des jobs et la simultanéité au fil du temps à l'aide du graphique des métriques.
  • Agréger les jobs par ressource Regroupez les jobs par propriétaire, projet ou réservation pour afficher des statistiques récapitulatives et explorer les tables filtrées.
  • Résoudre les problèmes liés aux jobs. Sélectionnez des jobs individuels pour afficher leurs graphiques d'exécution de requête, leur texte SQL et leur historique d'exécution sur la page Détails du job (Preview).
  • Comparez les performances. Comparez les jobs (preview) pour mettre en évidence les différences significatives entre les métriques et résoudre les problèmes de performances potentiels.
  • Obtenir l'assistance de l'IA Utilisez Gemini Code Assist directement depuis l'explorateur de jobs (preview) pour analyser les statistiques des jobs ou expliquer les requêtes lentes.

BigQuery fournit des informations et des insights sur les jobs à partir des vues INFORMATION_SCHEMA suivantes :

Avant de commencer

Pour utiliser Gemini Code Assist afin de résoudre les problèmes liés aux jobs dans BigQuery (preview), consultez Configurer Gemini Code Assist pour activer l'API et accorder les rôles requis.

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser l'explorateur de jobs afin de surveiller les jobs, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser l'explorateur de jobs afin de surveiller les jobs. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour utiliser l'explorateur de jobs afin de surveiller les jobs :

  • Afficher les jobs au niveau du projet : bigquery.jobs.listAll sur le projet
  • Afficher les jobs au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour utiliser Gemini Code Assist afin de résoudre les problèmes liés aux jobs, consultez les exigences IAM supplémentaires pour l'utilisation de Gemini Code Assist.

Filtrer les jobs

Pour filtrer les jobs des requêtes figurant dans les vues INFORMATION_SCHEMA.JOBS*, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu de navigation, cliquez sur Explorateur de jobs.

  3. Sur la page Explorateur de jobs, dans le champ Emplacement, sélectionnez l'emplacement pour lequel vous souhaitez afficher les jobs.

  4. Dans le volet Filtres, appliquez des filtres facultatifs si nécessaire. Si ce volet n'est pas visible, cliquez sur insert_chart Afficher les filtres.

    Les filtres suivants sont disponibles :

    • Champ d'application : filtre les jobs en fonction de leur niveau de visibilité (par exemple, le projet actuel, l'organisation et vos jobs). Vous pouvez choisir d'afficher les jobs du projet en cours, de l'ensemble de votre organisation ou uniquement ceux que vous avez lancés.
    • Vue graphique :
      • Jobs terminés : affiche les données de la chronologie pour les requêtes terminées, en distinguant les jobs qui se sont terminés avec succès de ceux qui ont échoué.
      • Simultanéité : affiche les données de la chronologie pour la simultanéité des requêtes, en distinguant les jobs actifs des jobs en file d'attente.
    • Regrouper par : regroupe les jobs affichés par ressource spécifique, telle que le propriétaire, le projet ou la réservation. Pour en savoir plus, consultez Regrouper les jobs par ressource.
    • État : filtre les jobs en fonction de leur état d'exécution actuel (par exemple, "completed" (terminé), "error" (erreur), "active" (actif) et "queued" (en file d'attente)). Les nombres récapitulatifs s'affichent directement à côté de chaque option de filtre d'état à facettes pour indiquer le nombre de jobs dans cet état.
    • ID du projet : filtre les jobs exécutés dans un projet spécifique.
    • ID de réservation : filtre les jobs qui ont utilisé des emplacements d'une réservation spécifique. Cela vous aide à surveiller la façon dont différentes charges de travail consomment la capacité réservée.
    • Propriétaire : filtre les jobs par adresse e-mail de l'utilisateur ou du compte de service qui a démarré le job.
    • ID de job : filtre un job spécifique en fonction de son identifiant alphanumérique unique.
    • Hachage de requête : filtre les jobs avec un hachage de requête spécifique. Un hachage de requête identifie la logique d'une requête, en ignorant les différences dans les commentaires, les valeurs de paramètre, les fonctions définies par l'utilisateur et les littéraux, ce qui vous aide à trouver toutes les exécutions de la même logique de requête. Ce champ apparaît pour les requêtes GoogleSQL réussies qui ne sont pas des succès de cache (hit).
    • Étiquettes : filtre les jobs en fonction des étiquettes de métadonnées personnalisées que vous ou votre organisation leur avez associées. Cela vous permet de classer et de suivre les jobs par service ou par application.
    • Insights sur les requêtes : filtre les jobs que BigQuery a identifiés comme présentant des problèmes de performances spécifiques, tels que les conflits d'emplacements, le dépassement de la capacité de brassage de la mémoire et la modification de l'échelle de saisie des données.
    • Durée d'utilisation des emplacements supérieure à : filtre les jobs qui ont consommé plus d'un certain nombre d'emplacements-millisecondes. Il s'agit d'une métrique clé pour identifier les requêtes gourmandes en ressources.
    • Durée supérieure à : filtre les jobs dont l'exécution a pris plus de temps que la durée spécifiée. Utilisez cette option pour rechercher les requêtes qui s'exécutent plus lentement que prévu.
    • Octets traités supérieurs à : filtre les jobs qui ont analysé plus d'une quantité de données spécifiée. Cela vous aide à identifier les requêtes qui peuvent contribuer à des coûts de traitement des données élevés.
    • Catégorie de job : filtre les jobs par type d'opération effectuée, comme les requêtes SQL standard ou les requêtes continues utilisées pour le traitement des données en temps réel.
    • Motif de création du job : filtre les jobs en fonction de la raison pour laquelle BigQuery les a créés, par exemple lorsqu'une requête dépasse un délai avant expiration ou produit des résultats trop volumineux pour une seule réponse.
    • Priorité du job : filtre les jobs en fonction de leur priorité d'exécution, par exemple les jobs interactifs ou par lot.

Afficher les métriques de la chronologie des jobs

L'explorateur de jobs inclut un graphique de métriques interactif qui affiche les données de la chronologie pour les requêtes correspondant à vos critères de filtrage. Vous pouvez utiliser ce graphique pour évaluer les modèles de charge de travail et identifier les augmentations soudaines du nombre de jobs terminés, actifs ou en file d'attente. Pour connaître les tendances historiques de simultanéité à l'échelle de l'organisation sur des périodes plus longues, consultez Graphiques chronologiques des métriques.

Pour configurer le graphique de métriques dans l'explorateur de jobs, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Accédez au volet Filtres. Si ce volet n'est pas visible, cliquez sur insert_chart Afficher les filtres.

  3. Sélectionnez la métrique à afficher dans le graphique :

    • Jobs terminés : affiche les données de la chronologie pour les requêtes terminées, en distinguant les jobs qui se sont terminés avec succès de ceux qui ont échoué.
    • Simultanéité : affiche les données de la chronologie pour la simultanéité des requêtes, en distinguant les jobs actifs des jobs en file d'attente.

Regrouper les jobs par ressource

Pour agréger les statistiques des jobs et comparer la consommation au sein de votre organisation, vous pouvez regrouper les jobs par propriétaire, projet ou réservation au lieu d'afficher les jobs individuels dans un tableau non agrégé.

Pour regrouper des jobs, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Accédez au volet Filtres. Si ce volet n'est pas visible, cliquez sur insert_chart Afficher les filtres.

  3. Cliquez sur Grouper par, puis sélectionnez l'une des options suivantes :

    • Aucun (par défaut) : affiche la table non agrégée des jobs individuels.
    • Propriétaire : regroupe les jobs par adresse e-mail de l'utilisateur ou du compte de service qui a exécuté le job.
    • Projet : regroupe les jobs par ID de projet.
    • Réservation : regroupe les jobs par ID de réservation.

Lorsque vous définissez le critère de regroupement sur Propriétaire, Projet ou Réservation, BigQuery affiche une vue agrégée avec des panneaux récapitulatifs pour chaque ressource. Chaque panneau affiche les statistiques récapitulatives suivantes :

  • Jobs actifs : nombre de jobs en cours d'exécution.
  • Jobs en file d'attente : nombre de jobs en attente dans la file d'attente des requêtes.
  • Jobs en erreur : nombre de jobs qui n'ont pas abouti.
  • Jobs terminés : nombre de jobs qui se sont terminés correctement.
  • Temps d'emplacement : nombre total de millisecondes d'emplacement consommées par les jobs pour cette ressource.
  • Octets traités : volume total de données analysées par les jobs pour cette ressource.

Pour inspecter les jobs individuels associés à une ressource spécifique, cliquez sur le panneau de cette ressource pour le développer et afficher un tableau filtré de ses jobs.

Résoudre les problèmes de performances des jobs

Pour diagnostiquer et résoudre les problèmes liés aux requêtes, vous pouvez afficher les métriques d'exécution, le texte SQL et les variations de l'historique des performances sur la page Détails du job.

Afficher les informations sur le job

Pour afficher les détails d'un job et analyser l'exécution de sa requête, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : Pour limiter les jobs affichés, filtrez-les.

  3. Cliquez sur l'ID du job que vous souhaitez examiner. Pour les requêtes qui ne créent pas de job, l'ID de la requête s'affiche et le lien est désactivé. Cliquez sur un ID de job valide pour ouvrir la page Détails du job, avec l'onglet Performances affiché par défaut.

Informations disponibles sur les requêtes

Pour vous aider à diagnostiquer les performances des requêtes, l'onglet Performances des détails de la tâche compile les informations et les métriques suivantes, le cas échéant :

  • Détails du job : informations sur le job, y compris l'ID du job, l'heure de création, les octets traités et l'utilisation des emplacements. Pour en savoir plus, consultez Afficher les détails des jobs.
  • Historique d'exécution : liste des exécutions historiques de la requête, regroupées par hachage de requête. Vous pouvez sélectionner un job dans cette liste pour le comparer directement à votre job actuel. Pour en savoir plus, consultez Comparer des jobs.

  • Graphique d'exécution : représentation visuelle des étapes d'exécution de la requête. Développez la section Graphique d'exécution pour inspecter les conflits d'emplacements, la capacité de brassage et l'échelle de saisie des données. Pour en savoir plus, consultez Obtenir des insights sur les performances des requêtes.

    L'exemple suivant montre un graphique d'exécution avec le mappage du texte SQL activé :

    Graphique d'exécution des jobs.

  • Charge système pendant l'exécution : résumé des ressources de calcul et des paramètres de réservation alloués pendant l'exécution de la tâche.

Diagnostiquer les régressions de performances en comparant les jobs et les systèmes

L'outil de comparaison des performances vous permet d'analyser les différences de performances entre deux jobs de requête ou entre deux intervalles système. L'analyse affiche les détails de la requête, les changements d'utilisation des ressources et les paramètres d'environnement système qui diffèrent considérablement entre vos environnements de référence et cible.

Comprendre l'analyse comparative

L'outil de comparaison évalue les performances en fonction de métriques au niveau des requêtes et de facteurs au niveau du système. Vous pouvez activer l'option Afficher uniquement les différences significatives pour limiter la vue aux métriques dont la variance est supérieure à 20%.

Les différences significatives sont codées par couleur pour vous aider à identifier les problèmes :

  • Vert : la métrique s'est améliorée (par exemple, une durée de requête plus courte dans l'exécution cible).
  • Jaune : la métrique s'est dégradée de moins de 20%.
  • Rouge : la métrique s'est dégradée de plus de 20%.

Compare deux jobs

Pour comparer un job de référence à l'exécution d'un job cible, procédez comme suit :

  1. Ouvrez la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : Pour limiter les jobs affichés, filtrez-les.

  3. Cliquez sur l'ID de votre job de référence pour ouvrir la page Informations sur le job, puis sélectionnez l'onglet Performances.

  4. Dans le menu Actions, cliquez sur Comparer le job.

  5. Dans le champ Job 1 (job de référence), cliquez sur Parcourir pour ouvrir le volet Jobs comparables similaires.

  6. Sélectionnez le job cible que vous souhaitez comparer à votre référence, puis cliquez sur Comparer.

  7. Facultatif : Pour vous concentrer sur les régressions de performances majeures, activez l'option Afficher uniquement les différences significatives. Cela limite la vue aux métriques dont la variance est supérieure à 20%.

Pour modifier les jobs comparés à tout moment, cliquez sur Parcourir dans les champs du job de référence ou du job cible, puis sélectionnez un nouveau job dans la liste des jobs comparables.

Analyse au niveau de la requête

Après avoir comparé deux jobs, vous pouvez consulter la section Analyse au niveau de la requête, qui compare deux exécutions de job dans trois onglets :

  • Métriques : compare les métriques de requête de base, telles que la durée du job, le temps d'emplacement, les octets traités et les accélérateurs inutilisés.
  • Texte SQL : affiche les instructions SQL pour les deux jobs et met en évidence les différences de texte.
  • Graphique d'exécution : compare les graphiques d'exécution des deux jobs étape par étape pour identifier les goulots d'étranglement.

Comparer deux intervalles système

Les administrateurs et les analystes peuvent analyser des métriques d'environnement plus larges en effectuant une comparaison des performances du système. Cet outil vous permet de comparer des intervalles historiques entre des réservations et des projets spécifiques pour comprendre les changements d'utilisation et déterminer si la dégradation des performances provient de l'intérieur ou de l'extérieur de votre charge de travail.

Vous pouvez accéder à la vue de comparaison des performances du système de l'une des manières suivantes :

  • Sur la page Détails du job, après avoir comparé deux jobs, cliquez sur Afficher plus dans la section Sorties au niveau du système pour afficher les détails de la comparaison du système.
  • Si vous utilisez Gemini Cloud Assist pour effectuer une comparaison de systèmes, Gemini Cloud Assist génère un lien qui ouvre les résultats de la comparaison.

Pour effectuer une comparaison au niveau du système sur des périodes distinctes, procédez comme suit :

  1. Dans la vue Comparaison des performances du système, cliquez sur Système.
  2. Sélectionnez le système dans lequel vous souhaitez analyser les performances en cliquant sur Parcourir et en sélectionnant un champ d'application de réservation ou de projet.
  3. Définissez les périodes de comparaison :
    • Intervalle cible : sélectionnez la période et l'intervalle de temps pour la période où vous rencontrez des problèmes de performances, puis cliquez sur Appliquer.
    • Intervalle de référence : sélectionnez la date et l'intervalle de temps de référence qui serviront de benchmark de performances, puis cliquez sur Appliquer.

Analyse au niveau du système

Après avoir comparé les intervalles, la vue cartographie les changements d'utilisation, les variations de simultanéité et les différences de paramètres dans l'environnement sélectionné par rapport à son groupe parent. Cela vous aide à déterminer si des conflits d'emplacements ou des régressions de configuration ont un impact sur votre charge de travail. Les données sont générées sous trois blocs :

  • Projet : compare la simultanéité des jobs, la simultanéité des jobs en file d'attente et l'utilisation totale des emplacements au niveau du projet.
  • Réservation : compare l'utilisation des réservations, le partage des emplacements inactifs et la simultanéité des projets entre les réservations partagées.
  • Analyse de la configuration : compare les paramètres de gestion de la charge de travail entre les deux exécutions, tels que les limites de taille de réservation maximale et les règles d'emprunt d'emplacements inactifs.

Utiliser les insights de dépannage des performances agentiques

Pour tout commentaire ou assistance pour cette fonctionnalité, envoyez un e-mail à l'adresse bq-performance-troubleshooting+feedback@google.com.

Lorsque vous surveillez des tâches d'administration ou évaluez des comparaisons de performances, BigQuery intègre les diagnostics d'observabilité sous-jacents à Gemini Cloud Assist pour transformer le volet de chat en assistant de dépannage actif lorsque vous résolvez des anomalies au niveau des jobs et du système.

L'accès aux insights est contrôlé. Sans les autorisations suffisantes, les insights que vous recevez peuvent être limités. Pour en savoir plus sur les autorisations, consultez Contrôler l'accès aux ressources avec IAM.

Résoudre les problèmes de performances dans le chat

Pour initialiser le dépannage contextuel et agir sur les insights sur les performances, procédez comme suit :

  1. Pour ouvrir le volet de discussion Gemini Cloud Assist et charger automatiquement le contexte de votre job ou de votre système, effectuez l'une des opérations suivantes :
    • Sur la page Explorateur de jobs ou Historique des jobs, pointez sur un job et cliquez sur astrophotography_mode Gemini dans la ligne de la table.
    • Sur la page Gestion des charges de travail, pointez sur une réservation, puis cliquez sur astrophotography_mode Gemini sur la ligne correspondante du tableau.
    • Dans Studio, Surveillance ou Explorateur de jobs, cliquez sur astrophotography_mode Gemini.
  2. Envoyez un prompt en langage naturel. Par exemple, demandez à Gemini d'expliquer pourquoi un job s'exécute lentement, d'analyser des statistiques de job spécifiques, d'analyser les performances d'une réservation spécifique, de résoudre des problèmes de performances du système ou de comparer les écarts de performances entre deux jobs historiques similaires.
  3. Si un seuil au niveau de l'organisation ou de la réservation est dépassé, par exemple une mise en file d'attente d'emplacements importante en raison d'une augmentation inattendue de la simultanéité des projets actifs, consultez le rapport Performance Insights généré. Ce rapport détaille les goulots d'étranglement critiques, tels que les suivants :
    • Augmentation de la simultanéité en file d'attente : pics de demandes de requêtes simultanées qui dépassent les limites de simultanéité souples ou les allocations d'emplacements de réservation.
    • Simultanéité accrue des projets : suivi des projets à simultanéité élevée ou des principaux comptes utilisateur qui génèrent la charge du système sur les réservations partagées ou les quotas à la demande.
  4. Observez le tableau Comparaison des métriques clés pour identifier les différences numériques précises, telles que les variations de la simultanéité moyenne des projets, des emplacements de file d'attente ou des limites maximales d'emplacements de réservation.

  5. Exécutez des solutions intégrées directement via des liens de transfert exploitables générés par Gemini Cloud Assist. Ces raccourcis vous redirigent vers des outils spécifiques intégrés au produit, avec un contexte prérempli pour répondre à vos questions et résoudre les problèmes :

    • Modifier la réservation : ouvre le panneau latéral de gestion des charges de travail pour ajuster les tailles de réservation maximales ou activer les fonctionnalités de scaling avancées.
    • Afficher les performances du job dans l'explorateur de jobs : ouvre l'onglet des détails des performances pour le job en question.
    • Comparer les performances des jobs dans l'explorateur de jobs : comparez les performances de deux jobs côte à côte.

Tarifs

L'explorateur de jobs est disponible sans frais supplémentaires. Les requêtes utilisées pour remplir ces graphiques ne sont pas facturées et n'utilisent pas d'emplacements dans les réservations appartenant à l'utilisateur. Les requêtes qui traitent un trop grand volume de données expirent.

Étapes suivantes