Surveiller les jobs

En tant qu'administrateur BigQuery, vous pouvez surveiller les jobs dans votre organisation à l'aide d'un explorateur de jobs d'administration dans la console Google Cloud . L'explorateur de jobs fournit des filtres et des options de tri permettant d'identifier, de comparer et de résoudre les problèmes liés aux jobs. Vous n'avez pas besoin d'écrire des requêtes INFORMATION_SCHEMA pour afficher les détails des jobs, tels que le propriétaire, le projet, l'utilisation des emplacements, la durée, etc.

L'explorateur de jobs vous permet d'effectuer les opérations suivantes :

  • Filtrer et identifier les tâches : recherchez des requêtes spécifiques dans votre organisation en appliquant des filtres basés sur des critères tels que l'état, la durée, le propriétaire ou l'utilisation des emplacements des tâches.
  • Résoudre les problèmes liés aux tâches. Sélectionnez des jobs individuels pour afficher leurs graphiques d'exécution de requêtes, leur texte SQL et leur historique d'exécution sur la page Détails du job (Aperçu).
  • Comparez les performances. Comparer les jobs (preview) pour mettre en évidence les différences importantes entre les métriques et résoudre les éventuels problèmes de performances.
  • Obtenez l'aide de l'IA. Utilisez Gemini Code Assist directement depuis l'explorateur de jobs (aperçu) pour analyser les statistiques des jobs ou expliquer les requêtes lentes.

BigQuery fournit des informations et des insights sur les jobs à partir des vues INFORMATION_SCHEMA suivantes :

Avant de commencer

Pour utiliser Gemini Code Assist afin de résoudre les problèmes liés aux jobs dans BigQuery (preview), consultez Configurer Gemini Code Assist pour activer l'API et lui attribuer les rôles requis.

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser l'explorateur de jobs afin de surveiller les jobs, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser l'explorateur de jobs afin de surveiller les jobs. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour utiliser l'explorateur de jobs afin de surveiller les jobs :

  • Afficher les jobs au niveau du projet : bigquery.jobs.listAll sur le projet
  • Afficher les jobs au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation
  • Pour filtrer par réservations dans votre organisation : bigquery.reservations.list sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour utiliser Gemini Code Assist afin de résoudre les problèmes liés aux jobs, consultez les exigences IAM supplémentaires pour utiliser Gemini Code Assist.

Filtrer les jobs

Pour filtrer les jobs des requêtes figurant dans les vues INFORMATION_SCHEMA.JOBS*, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu de navigation, cliquez sur Explorateur de jobs.

  3. Dans la liste Emplacement, sélectionnez l'emplacement pour lequel vous souhaitez afficher les jobs.

  4. Appliquez des filtres facultatifs si nécessaire :

    • Champ d'application du job : filtre les jobs en fonction de leur niveau de visibilité (par exemple, le projet actuel, l'organisation et vos jobs). Vous pouvez choisir d'afficher les jobs du projet actuel, ceux de l'ensemble de votre organisation ou uniquement ceux que vous avez lancés.
    • État : filtre les jobs en fonction de leur état d'exécution actuel (par exemple, "completed" (terminé), "error" (erreur), "active" (actif) et "queued" (en file d'attente)). Cela vous aide à identifier les jobs actifs ou ayant échoué.
    • Catégorie de job : filtre les jobs en fonction du type d'opération effectuée, comme les requêtes SQL standard ou les requêtes continues utilisées pour le traitement des données en temps réel.
    • Motif de création du job : filtre les jobs en fonction du motif de leur création par BigQuery, par exemple lorsqu'une requête dépasse un délai d'expiration ou produit des résultats trop volumineux pour une seule réponse.
    • Priorité du job : filtre les jobs en fonction de leur priorité d'exécution, comme les jobs interactifs ou par lot.
    • ID du job : filtre pour un job spécifique en fonction de son identifiant alphanumérique unique.
    • Propriétaire : filtre les jobs en fonction de l'adresse e-mail de l'utilisateur ou du compte de service qui a lancé le job.
    • ID du projet : filtre les jobs exécutés dans un projet spécifique. Ce filtre n'est disponible que lorsque le champ d'application du job est défini sur Organisation.
    • ID de réservation : filtre les jobs qui ont utilisé des emplacements d'une réservation spécifique. Cela vous aide à surveiller la façon dont différentes charges de travail consomment la capacité réservée.
    • Durée d'utilisation des emplacements supérieure à : filtre les jobs qui ont consommé plus qu'une quantité spécifiée de millisecondes d'emplacement. Il s'agit d'une métrique clé pour identifier les requêtes gourmandes en ressources.
    • Durée supérieure à : filtre les tâches qui ont pris plus de temps que la durée spécifiée. Permet de trouver les requêtes qui s'exécutent plus lentement que prévu.
    • Octets traités supérieurs à : filtre les jobs qui ont analysé plus qu'une quantité de données spécifiée. Cela vous permet d'identifier les requêtes qui peuvent contribuer à des coûts de traitement des données élevés.
    • Insights sur les requêtes : filtre les jobs pour lesquels BigQuery a identifié des problèmes de performances spécifiques, tels que les conflits d'emplacements, le dépassement de la capacité de brassage de la mémoire et la modification de l'échelle de saisie des données.
    • Hachage de requête : filtre les tâches avec un hachage de requête spécifique. Un hachage de requête identifie la logique d'une requête, en ignorant les différences dans les commentaires, les valeurs de paramètre, les UDF et les littéraux. Cela vous aide à trouver toutes les exécutions de la même logique de requête. Ce champ apparaît pour les requêtes GoogleSQL réussies qui ne sont pas des succès de cache.
    • Libellés : filtre les jobs en fonction des libellés de métadonnées personnalisés que vous ou votre organisation leur avez associés. Cela vous permet de catégoriser et de suivre les jobs par service ou application.

Résoudre les problèmes de performances des jobs

Pour diagnostiquer les requêtes et résoudre les problèmes associés, vous pouvez afficher les métriques d'exécution, le texte SQL et les écarts d'historique des performances sur la page Détails du job.

Afficher les informations sur le job

Pour afficher les détails d'un job et analyser l'exécution de sa requête, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : Pour affiner les jobs affichés, filtrez-les.

  3. Cliquez sur l'ID du job que vous souhaitez examiner. Pour les requêtes qui ne créent pas de job, l'ID de requête s'affiche et le lien est désactivé. Si vous cliquez sur un ID de job valide, la page Informations sur le job s'ouvre, avec l'onglet Performances affiché par défaut.

Informations sur les requêtes disponibles

Pour vous aider à diagnostiquer les performances des requêtes, l'onglet Performances des détails du job compile les informations et les métriques suivantes, le cas échéant :

  • Détails du job : informations sur le job, y compris son ID, son heure de création, les octets traités et l'utilisation des emplacements. Pour en savoir plus, consultez Afficher les détails d'un job.
  • Historique des exécutions : liste des exécutions historiques de la requête, regroupées par hachage de requête. Vous pouvez sélectionner un job dans cette liste pour le comparer directement à votre job actuel. Pour en savoir plus, consultez Comparer des jobs.

  • Graphique d'exécution : représentation visuelle des étapes d'exécution de la requête. Développez la section Graphique d'exécution pour inspecter les conflits d'emplacements, la capacité de brassage et l'échelle de saisie des données. Pour en savoir plus, consultez Obtenir des insights sur les performances des requêtes.

    L'exemple suivant montre un graphique d'exécution avec le mappage de texte SQL activé :

    Graphique d'exécution des jobs.

  • Charge système pendant l'exécution : récapitulatif des ressources de calcul et des paramètres de réservation alloués lors de l'exécution du job.

Diagnostiquer les régressions de performances en comparant les jobs et les systèmes

L'outil de comparaison des performances vous permet d'analyser les différences de performances entre deux jobs de requête ou entre deux intervalles système. L'analyse affiche les détails des requêtes, les changements d'utilisation des ressources et les paramètres d'environnement système qui diffèrent de manière significative entre vos environnements de référence et cible.

Comprendre l'analyse comparative

L'outil de comparaison évalue les performances en fonction des métriques au niveau des requêtes et des facteurs au niveau du système. Vous pouvez activer l'option Afficher uniquement les différences significatives pour limiter la vue aux métriques dont la variance est supérieure à 20%.

Les différences importantes sont signalées par un code couleur pour vous aider à identifier les problèmes :

  • Vert : la métrique s'est améliorée (par exemple, la durée de la requête est plus courte dans l'exécution cible).
  • Jaune : la métrique s'est dégradée de moins de 20%.
  • Rouge : la métrique s'est dégradée de plus de 20%.

Comparer deux jobs

Pour comparer une tâche de référence à une exécution de tâche cible, procédez comme suit :

  1. Ouvrez la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : Pour affiner les jobs affichés, filtrez-les.

  3. Cliquez sur l'ID de la tâche de référence pour ouvrir la page Informations sur la tâche, puis sélectionnez l'onglet Performances.

  4. Dans le menu Actions, cliquez sur Comparer le job.

  5. Dans le champ Tâche 1 (tâche de référence), cliquez sur Parcourir pour ouvrir le volet Tâches comparables similaires.

  6. Sélectionnez le job cible que vous souhaitez comparer à votre référence, puis cliquez sur Comparer.

  7. Facultatif : Pour vous concentrer sur les régressions de performances majeures, activez l'option Afficher uniquement les différences significatives. Cette sélection permet de limiter la vue aux métriques dont la variance est supérieure à 20%.

Pour modifier les jobs comparés à tout moment, cliquez sur Parcourir dans les champs de job de référence ou cible, puis sélectionnez un nouveau job dans la liste des jobs comparables.

Analyse au niveau de la requête

Après avoir comparé deux jobs, vous pouvez consulter la section Analyse au niveau de la requête, qui compare deux exécutions de job dans trois onglets :

  • Métriques : compare les métriques de requête principales, telles que la durée du job, le temps d'emplacement, les octets traités et les accélérateurs inutilisés.
  • Texte SQL : affiche les instructions SQL pour les deux jobs et met en évidence les différences de texte.
  • Graphique d'exécution : compare les graphiques d'exécution des deux jobs étape par étape pour identifier les points de blocage.

Comparer deux intervalles système

Les administrateurs et les analystes peuvent analyser des métriques d'environnement plus larges en comparant les performances du système. Cet outil vous permet de comparer les intervalles historiques de réservations et de projets spécifiques pour comprendre les variations d'utilisation et déterminer si la dégradation des performances est due à un problème interne ou externe à votre charge de travail.

Vous pouvez accéder à la vue de comparaison des performances du système de l'une des manières suivantes :

  • Sur la page Informations sur la tâche, après avoir comparé deux tâches, cliquez sur Afficher plus dans la section Sorties au niveau du système pour afficher les détails de la comparaison du système.
  • Si vous utilisez Gemini Cloud Assist pour effectuer une comparaison de systèmes, Gemini Cloud Assist génère un lien qui ouvre les résultats de la comparaison.

Pour effectuer une comparaison au niveau du système sur différentes périodes, procédez comme suit :

  1. Dans la vue Comparaison des performances du système, cliquez sur Système.
  2. Sélectionnez le système dans lequel vous souhaitez analyser les performances en cliquant sur Parcourir, puis en sélectionnant un champ d'application de réservation ou de projet.
  3. Définissez les périodes de comparaison :
    • Intervalle cible : sélectionnez la période (date et heure) pendant laquelle vous rencontrez des problèmes de performances, puis cliquez sur Appliquer.
    • Intervalle de référence : sélectionnez la date et la période de référence qui serviront de benchmark pour vos performances, puis cliquez sur Appliquer.

Analyse au niveau du système

Après avoir comparé les intervalles, la vue mappe les changements d'utilisation, les variations de simultanéité et les différences de paramètres dans l'environnement sélectionné par rapport à son groupe parent. Cela vous permet de déterminer si la contention de slots ou les régressions de configuration ont un impact sur votre charge de travail. Les données sont générées dans trois blocs :

  • Projet : compare la simultanéité des jobs, la simultanéité des jobs en file d'attente et l'utilisation totale des emplacements au niveau du projet.
  • Réservation : compare l'utilisation des réservations, le partage des emplacements inactifs et la simultanéité des projets dans les réservations partagées.
  • Analyse de la configuration : compare les paramètres de gestion de la charge de travail entre les deux exécutions, tels que les limites de taille maximale de réservation et les règles d'emprunt d'emplacements inactifs.

Utiliser les insights de dépannage des performances agentiques

Pour tout commentaire ou assistance pour cette fonctionnalité, envoyez un e-mail à l'adresse bq-performance-troubleshooting+feedback@google.com.

Lorsque vous surveillez des tâches d'administration ou évaluez des comparaisons de performances, BigQuery intègre des diagnostics d'observabilité sous-jacents à Gemini Cloud Assist pour transformer le volet de chat en assistant de dépannage actif lorsque vous résolvez des anomalies au niveau des jobs et du système.

L'accès aux insights est contrôlé. Si vous ne disposez pas des autorisations suffisantes, les insights que vous recevrez peuvent être limités. Pour en savoir plus sur les autorisations, consultez Contrôler l'accès aux ressources avec IAM.

Résoudre les problèmes de performances dans le chat

Pour initialiser le dépannage contextuel et agir en fonction des insights sur les performances, procédez comme suit :

  1. Pour ouvrir le volet de chat Gemini Cloud Assist et charger automatiquement le contexte de votre job ou système, procédez de l'une des manières suivantes :
    • Sur les pages Explorateur de jobs ou Historique des jobs, pointez sur un job, puis cliquez sur spark Gemini dans la ligne du tableau.
    • Sur la page Gestion de la capacité, pointez sur une réservation, puis cliquez sur spark Gemini dans la ligne du tableau.
    • Dans Studio, Monitoring ou Explorateur de jobs, cliquez sur spark Gemini.
  2. Envoyez une requête en langage naturel. Par exemple, demandez à Gemini d'expliquer pourquoi un job s'exécute lentement, d'analyser des statistiques de job spécifiques, d'analyser les performances d'une réservation spécifique, de résoudre des problèmes de performances du système ou de comparer les écarts de performances entre deux jobs historiques similaires.
  3. Si un seuil au niveau de l'organisation ou des réservations est dépassé (par exemple, une mise en file d'attente des emplacements sévère en raison d'un pic inattendu de simultanéité des projets actifs), consultez le rapport Insights sur les performances généré. Ce rapport détaille les goulots d'étranglement critiques, tels que les suivants :
    • Augmentation de la simultanéité des requêtes en file d'attente : pics de demandes de requêtes simultanées qui dépassent les limites de simultanéité souples ou les quotas d'emplacements de réservation.
    • Augmentation de la simultanéité des projets : suivi des projets à forte simultanéité ou des principaux comptes utilisateur qui génèrent la charge système dans les réservations partagées ou les quotas à la demande.
  4. Consultez le tableau Comparaison des métriques clés pour identifier les différences numériques précises, comme les variations de la simultanéité moyenne des projets, des emplacements de file d'attente ou des limites maximales d'emplacements de réservation.

  5. Exécutez des solutions intégrées directement à l'aide de liens de transfert exploitables générés par Gemini Cloud Assist. Ces raccourcis vous redirigent vers des outils spécifiques du produit avec un contexte prérempli pour répondre à vos questions et résoudre vos problèmes :

    • Modifier la réservation : ouvre le panneau latéral de gestion de la charge de travail pour ajuster la taille maximale des réservations ou activer les capacités de mise à l'échelle avancées.
    • Afficher les performances du job dans l'explorateur de jobs : ouvre l'onglet des détails des performances pour le job en question.
    • Comparer les performances des jobs dans l'explorateur de jobs : comparez les performances de deux jobs côte à côte.

Tarifs

L'explorateur de jobs est disponible sans frais supplémentaires. Les requêtes utilisées pour remplir ces graphiques ne sont pas facturées et n'utilisent pas d'emplacements dans les réservations appartenant à l'utilisateur. Les requêtes qui traitent un trop grand volume de données expirent.

Étapes suivantes