Surveiller les jobs

En tant qu'administrateur BigQuery, vous pouvez surveiller les jobs dans votre organisation à l'aide d'un explorateur de jobs d'administration dans la console Google Cloud . L'explorateur de jobs fournit des filtres et des options de tri permettant d'identifier, de comparer et de résoudre les problèmes liés aux jobs. Vous n'avez pas besoin d'écrire des requêtes INFORMATION_SCHEMA pour afficher les détails des jobs, tels que le propriétaire, le projet, l'utilisation des emplacements, la durée, etc.

Pour surveiller la capacité, les engagements d'emplacements et l'utilisation des réservations à long terme dans votre organisation, consultez Surveiller l'état et l'utilisation des ressources.

L'explorateur de jobs vous permet d'effectuer les opérations suivantes :

  • Filtrer et identifier les jobs Recherchez des requêtes spécifiques dans votre organisation en appliquant des filtres basés sur des critères tels que l'état du job, la durée, le propriétaire ou l'utilisation des emplacements.
  • Analysez les métriques de la chronologie. Suivez les tendances d'exécution des jobs et la simultanéité au fil du temps grâce au graphique des métriques.
  • Regroupez les jobs par ressource. Regroupez les jobs par propriétaire, projet ou réservation pour afficher des statistiques récapitulatives et examiner en détail les tableaux filtrés.
  • Résoudre les problèmes liés aux jobs. Sélectionnez des jobs individuels pour afficher leurs graphiques d'exécution de requêtes, leur texte SQL et leur historique d'exécution sur la page Détails du job (Aperçu).
  • Comparez vos performances. Comparer les jobs (preview) pour mettre en évidence les différences importantes entre les métriques et résoudre les éventuels problèmes de performances.
  • Obtenez l'aide de l'IA. Utilisez Gemini Code Assist directement depuis l'explorateur de jobs (aperçu) pour analyser les statistiques des jobs ou expliquer les requêtes lentes.

BigQuery fournit des informations et des insights sur les jobs à partir des vues INFORMATION_SCHEMA suivantes :

Avant de commencer

Pour utiliser Gemini Code Assist afin de résoudre les problèmes liés aux jobs dans BigQuery (preview), consultez Configurer Gemini Code Assist pour activer l'API et lui attribuer les rôles requis.

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser l'explorateur de jobs afin de surveiller les jobs, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser l'explorateur de jobs afin de surveiller les jobs. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour utiliser l'explorateur de jobs afin de surveiller les jobs :

  • Afficher les jobs au niveau du projet : bigquery.jobs.listAll sur le projet
  • Afficher les jobs au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour utiliser Gemini Code Assist afin de résoudre les problèmes liés aux jobs, consultez les exigences IAM supplémentaires pour utiliser Gemini Code Assist.

Filtrer les jobs

Pour filtrer les jobs des requêtes figurant dans les vues INFORMATION_SCHEMA.JOBS*, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu de navigation, cliquez sur Explorateur de jobs.

  3. Sur la page Explorateur de jobs, dans le champ Emplacement, sélectionnez l'emplacement pour lequel vous souhaitez afficher les jobs.

  4. Dans le volet Filtres, appliquez des filtres facultatifs si nécessaire. Si ce volet n'est pas visible, cliquez sur insert_chart Afficher les filtres.

    Les filtres suivants sont disponibles :

    • Champ d'application du job : filtre les jobs en fonction de leur niveau de visibilité (par exemple, le projet actuel, l'organisation et vos jobs). Vous pouvez choisir d'afficher les tâches du projet actuel, celles de l'ensemble de votre organisation ou uniquement celles que vous avez lancées.
    • Vue Graphique :
      • Tâches terminées : affiche les données de la chronologie pour les requêtes terminées, en distinguant les tâches qui ont abouti et celles qui ont généré une erreur.
      • Simultanéité : affiche les données de la chronologie pour la simultanéité des requêtes, en distinguant les jobs actifs et ceux en file d'attente.
    • Regrouper par : regroupe les jobs affichés par ressource spécifique, comme le propriétaire, le projet ou la réservation. Pour en savoir plus, consultez Regrouper les jobs par ressource.
    • État : filtre les jobs en fonction de leur état d'exécution actuel (par exemple, "completed" (terminé), "error" (erreur), "active" (actif) et "queued" (en file d'attente)). Les récapitulatifs s'affichent directement à côté de chaque option de filtre d'état à facettes pour indiquer le nombre de jobs dans cet état.
    • ID du projet : filtre les jobs exécutés dans un projet spécifique.
    • ID de réservation : filtre les jobs qui ont utilisé des emplacements d'une réservation spécifique. Cela vous aide à surveiller la façon dont différentes charges de travail consomment la capacité réservée.
    • Propriétaire : filtre les jobs en fonction de l'adresse e-mail de l'utilisateur ou du compte de service qui a lancé le job.
    • ID du job : filtre un job spécifique en fonction de son identifiant alphanumérique unique.
    • Hachage de requête : filtre les jobs avec un hachage de requête spécifique. Un hachage de requête identifie la logique d'une requête, en ignorant les différences dans les commentaires, les valeurs de paramètre, les UDF et les littéraux. Cela vous aide à trouver toutes les exécutions de la même logique de requête. Ce champ apparaît pour les requêtes GoogleSQL réussies qui ne sont pas des succès de cache.
    • Libellés : filtre les jobs en fonction des libellés de métadonnées personnalisés que vous ou votre organisation leur avez associés. Cela vous permet de catégoriser et de suivre les jobs par service ou application.
    • Insights sur les requêtes : filtre les jobs pour lesquels BigQuery a identifié des problèmes de performances spécifiques, tels que les conflits d'emplacements, le dépassement de la capacité de brassage de la mémoire et la modification de l'échelle de saisie des données.
    • Durée d'utilisation des emplacements supérieure à : filtre les jobs qui ont consommé plus qu'une quantité spécifiée de millisecondes d'emplacement. Il s'agit d'une métrique clé pour identifier les requêtes gourmandes en ressources.
    • Durée supérieure à : filtre les jobs qui ont pris plus de temps que la durée spécifiée. Utilisez-le pour trouver les requêtes qui s'exécutent plus lentement que prévu.
    • Octets traités supérieurs à : filtre les jobs qui ont analysé plus qu'une quantité de données spécifiée. Cela vous aide à identifier les requêtes qui peuvent contribuer à des coûts de traitement des données élevés.
    • Catégorie de job : filtre les jobs en fonction du type d'opération effectuée, comme les requêtes SQL standard ou les requêtes continues utilisées pour le traitement des données en temps réel.
    • Motif de création du job : filtre les jobs en fonction du motif pour lequel BigQuery les a créés (par exemple, lorsqu'une requête dépasse un délai d'expiration ou produit des résultats trop volumineux pour une seule réponse).
    • Priorité du job : filtre les jobs en fonction de leur priorité d'exécution, comme les jobs interactifs ou par lot.

Afficher les métriques de la chronologie des tâches

L'explorateur de jobs inclut un graphique de métriques interactif qui affiche les données de la chronologie pour les requêtes correspondant à vos critères de filtrage. Vous pouvez utiliser ce graphique pour évaluer les tendances de charge de travail et identifier les augmentations soudaines des jobs terminés, actifs ou en file d'attente. Pour connaître les tendances historiques de la simultanéité à l'échelle de l'organisation sur des périodes plus longues, consultez Graphiques chronologiques des métriques.

Pour configurer le graphique des métriques dans l'explorateur de jobs :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Accédez au volet Filtres. Si ce volet n'est pas visible, cliquez sur insert_chart Afficher les filtres.

  3. Sélectionnez la métrique à afficher dans le graphique :

    • Tâches terminées : affiche les données de la chronologie pour les requêtes terminées, en distinguant les tâches qui ont abouti et celles qui ont généré une erreur.
    • Simultanéité : affiche les données de la timeline pour la simultanéité des requêtes, en distinguant les jobs actifs et ceux en file d'attente.

Regrouper les jobs par ressource

Pour agréger les statistiques sur les jobs et comparer la consommation dans votre organisation, vous pouvez regrouper les jobs par propriétaire, projet ou réservation au lieu d'afficher les jobs individuels dans un tableau non agrégé.

Pour regrouper des jobs :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Accédez au volet Filtres. Si ce volet n'est pas visible, cliquez sur insert_chart Afficher les filtres.

  3. Cliquez sur Grouper par, puis sélectionnez l'une des options suivantes :

    • Aucun (par défaut) : affiche le tableau non agrégé des jobs individuels.
    • Propriétaire : regroupe les jobs par adresse e-mail de l'utilisateur ou du compte de service ayant exécuté le job.
    • Projet : regroupe les jobs par ID de projet.
    • Réservation : regroupe les jobs par ID de réservation.

Lorsque vous définissez critère de regroupement sur Propriétaire, Projet ou Réservation, BigQuery affiche une vue agrégée avec des panneaux récapitulatifs pour chaque ressource. Chaque panneau affiche les statistiques récapitulatives suivantes :

  • Jobs actifs : nombre de jobs en cours d'exécution.
  • Jobs en file d'attente : nombre de jobs en attente dans la file d'attente des requêtes.
  • Tâches ayant généré une erreur : nombre de tâches qui n'ont pas pu être effectuées.
  • Tâches terminées : nombre de tâches qui ont été exécutées correctement.
  • Durée d'utilisation des emplacements : nombre total de millisecondes d'emplacements consommées par les jobs pour cette ressource.
  • Octets traités : volume total de données analysées par les jobs pour cette ressource.

Pour inspecter les jobs individuels associés à une ressource spécifique, cliquez sur le panneau correspondant pour le développer et afficher un tableau filtré de ses jobs.

Résoudre les problèmes de performances des jobs

Pour diagnostiquer et résoudre les problèmes liés aux requêtes, vous pouvez afficher les métriques d'exécution, le texte SQL et les écarts de l'historique des performances sur la page Détails du job.

Afficher les informations sur le job

Pour afficher les détails d'un job et analyser l'exécution de sa requête, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : Pour affiner les jobs affichés, filtrez-les.

  3. Cliquez sur l'ID du job que vous souhaitez examiner. Pour les requêtes qui ne créent pas de job, l'ID de requête s'affiche et le lien est désactivé. Si vous cliquez sur un ID de job valide, la page Informations sur le job s'ouvre, avec l'onglet Performances affiché par défaut.

Informations sur les requêtes disponibles

Pour vous aider à diagnostiquer les performances des requêtes, l'onglet Performances des détails du job compile les informations et les métriques suivantes, le cas échéant :

  • Détails du job : informations sur le job, y compris l'ID du job, l'heure de création, les octets traités et l'utilisation des emplacements. Pour en savoir plus, consultez Afficher les détails des jobs.
  • Historique des exécutions : liste des exécutions historiques de la requête, regroupées par hachage de requête. Vous pouvez sélectionner un job dans cette liste pour le comparer directement à votre job actuel. Pour en savoir plus, consultez Comparer des jobs.

  • Graphique d'exécution : représentation visuelle des étapes d'exécution de la requête. Développez la section Graphique d'exécution pour inspecter les conflits d'emplacements, la capacité de brassage et l'échelle de saisie des données. Pour en savoir plus, consultez Obtenir des insights sur les performances des requêtes.

    L'exemple suivant montre un graphique d'exécution avec le mappage du texte SQL activé :

    Graphique d'exécution des jobs.

  • Charge système pendant l'exécution : récapitulatif des ressources de calcul et des paramètres de réservation alloués lors de l'exécution du job.

Diagnostiquer les régressions de performances en comparant les jobs et les systèmes

L'outil de comparaison des performances vous permet d'analyser les différences de performances entre deux jobs de requête ou entre deux intervalles système. L'analyse affiche les détails des requêtes, les changements d'utilisation des ressources et les paramètres d'environnement système qui diffèrent de manière significative entre vos environnements de référence et cibles.

Comprendre l'analyse comparative

L'outil de comparaison évalue les performances en fonction des métriques au niveau des requêtes et des facteurs au niveau du système. Vous pouvez activer l'option Afficher uniquement les différences significatives pour limiter la vue aux métriques dont la variance est supérieure à 20%.

Les différences importantes sont codées par couleur pour vous aider à identifier les problèmes :

  • Vert : la métrique s'est améliorée (par exemple, la durée de la requête est plus courte dans l'exécution cible).
  • Jaune : la métrique s'est dégradée de moins de 20%.
  • Rouge : la métrique s'est dégradée de plus de 20%.

Compare deux jobs

Pour comparer un job de référence à une exécution de job cible :

  1. Ouvrez la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : Pour affiner les jobs affichés, filtrez-les.

  3. Cliquez sur l'ID de votre job de référence pour ouvrir la page Informations sur le job, puis sélectionnez l'onglet Performances.

  4. Dans le menu Actions, cliquez sur Comparer le job.

  5. Dans le champ Tâche 1 (tâche de référence), cliquez sur Parcourir pour ouvrir le volet Tâches comparables similaires.

  6. Sélectionnez le job cible que vous souhaitez comparer à votre référence, puis cliquez sur Comparer.

  7. Facultatif : Pour vous concentrer sur les principales régressions de performances, activez l'option Afficher uniquement les différences significatives. Cela limite la vue aux métriques dont la variance est supérieure à 20%.

Pour modifier les jobs comparés à tout moment, cliquez sur Parcourir dans les champs du job de référence ou cible, puis sélectionnez un nouveau job dans la liste des jobs comparables.

Analyse au niveau de la requête

Après avoir comparé deux jobs, vous pouvez consulter la section Analyse au niveau de la requête, qui compare deux exécutions de job dans trois onglets :

  • Métriques : compare les métriques de requête principales, telles que la durée des jobs, le temps d'emplacement, les octets traités et les accélérateurs inutilisés.
  • Texte SQL : affiche les instructions SQL pour les deux jobs et met en évidence les différences de texte.
  • Graphique d'exécution : compare les graphiques d'exécution des deux jobs étape par étape pour identifier les points de blocage.

Comparer deux intervalles système

Les administrateurs et les analystes peuvent analyser des métriques d'environnement plus larges en comparant les performances du système. Cet outil vous permet de comparer les intervalles historiques de réservations et de projets spécifiques pour comprendre les changements d'utilisation et déterminer si la dégradation des performances est due à des facteurs internes ou externes à votre charge de travail.

Vous pouvez accéder à la vue de comparaison des performances du système de l'une des manières suivantes :

  • Sur la page Informations sur le job, après avoir comparé deux jobs, cliquez sur Afficher plus dans la section Sorties au niveau du système pour afficher les détails de la comparaison du système.
  • Si vous utilisez Gemini Cloud Assist pour effectuer une comparaison de systèmes, Gemini Cloud Assist génère un lien qui ouvre les résultats de la comparaison.

Pour effectuer une comparaison au niveau du système sur différentes périodes, procédez comme suit :

  1. Dans la vue Comparaison des performances du système, cliquez sur Système.
  2. Sélectionnez le système dans lequel vous souhaitez analyser les performances en cliquant sur Parcourir, puis en sélectionnant une réservation ou un champ d'application de projet.
  3. Définissez les périodes de comparaison :
    • Intervalle cible : sélectionnez la période (date et heure) au cours de laquelle vous avez rencontré des problèmes de performances, puis cliquez sur Appliquer.
    • Intervalle de référence : sélectionnez la date et la période de référence qui serviront de benchmark pour vos performances, puis cliquez sur Appliquer.

Analyse au niveau du système

Après avoir comparé les intervalles, la vue mappe les changements d'utilisation, les variations de simultanéité et les différences de paramètres dans l'environnement sélectionné par rapport à son groupe parent. Cela vous aide à déterminer si la contention de slots ou les régressions de configuration ont un impact sur votre charge de travail. Les données sont générées en trois blocs :

  • Projet : compare la simultanéité des jobs, la simultanéité des jobs en file d'attente et l'utilisation totale des emplacements au niveau du projet.
  • Réservation : compare l'utilisation des réservations, le partage des emplacements inactifs et la simultanéité des projets dans les réservations partagées.
  • Analyse de la configuration : compare les paramètres de gestion de la charge de travail entre les deux exécutions, tels que les limites de taille maximale de réservation et les règles d'emprunt d'emplacements inactifs.

Utiliser les insights de dépannage des performances agentiques

Pour tout commentaire ou assistance pour cette fonctionnalité, envoyez un e-mail à l'adresse bq-performance-troubleshooting+feedback@google.com.

Lorsque vous surveillez des tâches d'administration ou évaluez des comparaisons de performances, BigQuery intègre des diagnostics d'observabilité sous-jacents à Gemini Cloud Assist pour transformer le volet de chat en assistant de dépannage actif. Vous pouvez ainsi résoudre les anomalies au niveau des jobs et du système.

L'accès aux insights est contrôlé. Si vous ne disposez pas des autorisations suffisantes, les insights que vous recevrez pourront être limités. Pour en savoir plus sur les autorisations, consultez Contrôler l'accès aux ressources avec IAM.

Résoudre les problèmes de performances dans le chat

Pour initialiser le dépannage contextuel et agir en fonction des insights sur les performances, procédez comme suit :

  1. Pour ouvrir le volet de chat Gemini Cloud Assist et charger automatiquement le contexte de votre job ou système, procédez comme suit :
    • Sur les pages Explorateur de jobs ou Historique des jobs, pointez sur un job, puis cliquez sur astrophotography_mode Gemini dans la ligne du tableau.
    • Sur la page Gestion des charges de travail, pointez sur une réservation, puis cliquez sur astrophotography_mode Gemini dans la ligne du tableau.
    • Dans Studio, Surveillance ou Explorateur de jobs, cliquez sur astrophotography_mode Gemini.
  2. Envoyez une requête en langage naturel. Par exemple, demandez à Gemini d'expliquer pourquoi un job s'exécute lentement, d'analyser des statistiques de job spécifiques, d'analyser les performances de réservations spécifiques, de résoudre des problèmes de performances du système ou de comparer les écarts de performances entre deux jobs historiques similaires.
  3. Si un seuil au niveau de l'organisation ou de la réservation est dépassé, par exemple en cas de mise en file d'emplacements sévère en raison d'un pic inattendu de simultanéité des projets actifs, consultez le rapport Insights sur les performances généré. Ce rapport détaille les goulots d'étranglement critiques, tels que les suivants :
    • Simultanéité des requêtes en file d'attente accrue : pics de demandes de requêtes simultanées qui dépassent les limites de simultanéité flexibles ou les quotas d'emplacements réservés.
    • Augmentation de la simultanéité des projets : suivi des projets à forte simultanéité ou des comptes utilisateur principaux qui génèrent la charge système dans les réservations partagées ou les quotas à la demande.
  4. Consultez le tableau Comparaison des métriques clés pour identifier les différences numériques précises, comme les variations de la simultanéité moyenne des projets, des emplacements de file d'attente ou des limites maximales d'emplacements de réservation.

  5. Exécutez des solutions intégrées directement via des liens de transfert exploitables générés par Gemini Cloud Assist. Ces raccourcis vous redirigent vers des outils spécifiques du produit avec un contexte prérempli pour répondre à vos questions et résoudre vos problèmes :

    • Modifier la réservation : ouvre le panneau latéral de gestion des charges de travail pour ajuster la taille maximale des réservations ou activer les capacités de mise à l'échelle avancées.
    • Afficher les performances du job dans l'explorateur de jobs : ouvre l'onglet des détails des performances pour le job en question.
    • Comparer les performances des jobs dans l'explorateur de jobs : comparez les performances de deux jobs côte à côte.

Tarifs

L'explorateur de jobs est disponible sans frais supplémentaires. Les requêtes utilisées pour remplir ces graphiques ne sont pas facturées et n'utilisent pas d'emplacements dans les réservations appartenant à l'utilisateur. Les requêtes qui traitent un trop grand volume de données expirent.

Étapes suivantes