Utiliser l'explorateur de jobs d'administration

En tant qu'administrateur BigQuery, vous pouvez utiliser l'explorateur de jobs d'administration pour surveiller l'activité des jobs dans votre organisation. L'explorateur de jobs fournit également un ensemble de filtres et d'options de tri permettant de résoudre les problèmes et d'identifier les jobs problématiques. L'explorateur de jobs vous évite d'avoir à maîtriser INFORMATION_SCHEMA. Il vous permet d'afficher rapidement des informations sur les jobs telles que le propriétaire, le projet, l'utilisation des emplacements, la durée, etc… sans avoir à écrire des requêtes INFORMATION_SCHEMA.

Vous pouvez également sélectionner des jobs individuels pour ouvrir la page d'informations sur le job , qui fournit des détails sur la requête tels que les graphiques d'exécution, le texte SQL et l'historique d'exécution pour vous aider à diagnostiquer et à résoudre les problèmes liés aux requêtes. Sur cette page, vous pouvez comparer deux jobs pour mettre en évidence les différences significatives entre eux et résoudre les problèmes de performances potentiels.

BigQuery fournit des informations et des insights sur les jobs via les vues INFORMATION_SCHEMA suivantes :

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser l'explorateur de jobs d'administration, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) au niveau de votre organisation ou de votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour utiliser l'explorateur de jobs d'administration. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour utiliser l'explorateur de jobs d'administration :

  • Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet
  • Pour afficher les données au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation
  • Pour filtrer par réservation dans votre organisation : bigquery.reservations.list sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Filtrer les jobs

Pour filtrer les jobs des requêtes figurant dans les vues INFORMATION_SCHEMA.JOBS*, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu de navigation, cliquez sur Explorateur de jobs.

  3. Dans la liste Emplacement, sélectionnez l'emplacement pour lequel vous souhaitez afficher les jobs.

  4. Appliquez des filtres facultatifs si nécessaire :

    • Champ d'application du job. Le projet actuel, l'organisation et vos tâches, par exemple.
    • État. "completed" (terminé), "error" (erreur), "active" (actif) et "queued" (en file d'attente), par exemple.
    • Priorité du job. Jobs interactifs ou par lot, par exemple.
    • ID du job.
    • Propriétaire. ID d'adresse e-mail du propriétaire du job (applicable uniquement lorsque le champ d'application du job est défini sur le projet ou l'organisation).
    • ID du projet : (ne s'applique que lorsque le champ d'application du job est défini sur l'organisation)
    • ID de réservation. (ne s'applique que lorsque le champ d'application du job est défini sur l'organisation)
    • Durée d'utilisation des emplacements supérieure à. Jobs ayant pris plus de temps que la durée d'utilisation des emplacements spécifiée
    • Durée supérieure à. Jobs ayant pris plus de temps que la durée spécifiée.
    • Octets traités supérieurs à. Jobs ayant traité plus d'octets que le nombre d'octets traités spécifié
    • Insights sur les requêtes. Types d'insights sur les requêtes, tels que les conflits d'emplacements, le dépassement de la capacité de brassage de la mémoire et la modification de l'échelle de saisie des données
    • Hachage de requête. Hachage de la requête contenant les hachages de la requête. Il s'agit d'un hachage hexadécimal STRING qui ignore les commentaires, les valeurs de paramètre, les UDF et les littéraux. Ce champ apparaît pour les requêtes GoogleSQL réussies qui ne sont pas des succès de cache (hit).
    • Étiquettes. Paires key:value pouvant être attribuées à un job. Vous pouvez filtrer à l'aide d'une clé, d'une valeur ou d'une combinaison key:value.
    • Catégorie de job. Type de requête, par exemple Standard ou Requête continue.

Afficher les détails d'exécution d'une requête

Pour afficher les détails d'exécution des requêtes pour les jobs, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Pour afficher les jobs, cliquez sur Explorateur de jobs.

  3. Filtrez les jobs pour en afficher un nombre restreint.

  4. Cliquez sur le job pour lequel vous souhaitez afficher les détails d'exécution des requêtes.

  5. Dans le volet Résultats de la requête, cliquez sur l'onglet Graphique d'exécution pour afficher les détails d'exécution de votre job.

    Graphique d'exécution des jobs.

Pour en savoir plus sur l'interprétation des insights, consultez la section Interpréter les insights sur les performances des requêtes.

Obtenir les détails d'un job BigQuery

Pour demander des conseils ou obtenir de l'aide pour cette fonctionnalité, envoyez un e-mail à l'adresse bq-performance-troubleshooting+feedback@google.com.

Dans l'explorateur de jobs d'administration, vous pouvez afficher la page d'informations BigQuery. La page d'informations sur les tâches BigQuery combine plusieurs détails de requête en une seule page pour vous aider à diagnostiquer et à résoudre les problèmes liés aux requêtes. L'onglet Performances compile les informations sur les requêtes, y compris le graphique d'exécution, le texte SQL et l'historique d'exécution.

L'onglet Performances permet également de comparer les requêtes. Vous pouvez ainsi comparer votre utilisation historique de la requête, analyser et résoudre toute dégradation potentielle des performances. Pour en savoir plus sur la comparaison des jobs, consultez Comparer les jobs.

Avant de commencer

Pour obtenir les autorisations nécessaires pour utiliser les détails des jobs BigQuery et les détails au niveau du système, demandez à votre administrateur de vous accorder les rôles IAM suivants au niveau de votre organisation ou de votre projet :

  • Afficher les détails du job : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) – projet dans lequel les requêtes ont été exécutées
  • Afficher les détails au niveau du système : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) – projet d'administration

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système :

  • Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet
  • Pour afficher les données au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation
  • Pour filtrer par réservation dans votre organisation : bigquery.reservations.list sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Afficher les détails du job

Pour afficher la page d'informations sur le job, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : filtrez les jobs pour limiter le nombre de jobs affichés.

  3. Cliquez sur l'ID du job que vous souhaitez afficher. Pour les requêtes qui ne créent pas de job, l'ID de requête s'affiche et le lien est désactivé. Pour toutes les autres requêtes, cliquez sur l'ID du job pour afficher la page Informations sur le job.

L'onglet Performances s'affiche par défaut. Vous pouvez accéder aux autres onglets pour afficher des informations supplémentaires sur le job.

Informations disponibles sur la requête

La liste suivante décrit les informations et les métriques disponibles dans l'onglet Performances.

  • Requête SQL : texte de la requête SQL qui a créé le job.

  • Informations sur le job : informations sur le job, y compris son ID, son heure de création, les octets traités, etc. Pour en savoir plus, consultez la section Afficher les détails du job.

  • Variance des performances : informations sur les performances du job par rapport à une exécution passée de la même requête. BigQuery compare le job actuel à une exécution passée avec un nombre d'octets traités similaire (+/- 5%) et la durée de job la plus courte, le cas échéant. Si aucune exécution passée de ce type n'existe, BigQuery compare le job actuel à la moyenne des exécutions passées au cours des 30 derniers jours. S'il n'y a pas d'exécutions passées, cette section indique qu'aucun job similaire n'a été trouvé pour la comparaison.

  • Historique d'exécution : liste des autres exécutions de cette requête par hachage de requête. Dans ce panneau, vous pouvez sélectionner un job à comparer à celui que vous consultez. Pour en savoir plus sur la comparaison des jobs, consultez Comparer les jobs.

  • Charge système pendant l'exécution : description des ressources utilisées par BigQuery pour exécuter le job. Cela inclut des informations sur les paramètres de réservation utilisés par ce job, le cas échéant.

  • Graphique d'exécution : graphique d'exécution de ce job. Pour en savoir plus, consultez Obtenir des insights sur les performances des requêtes.

Comparer les jobs

Pour demander des conseils ou obtenir de l'aide pour cette fonctionnalité, envoyez un e-mail à l'adresse bq-performance-troubleshooting+feedback@google.com.

La comparaison des performances des jobs vous permet de comparer votre job de référence à des jobs ciblés. L'analyse des requêtes met en évidence les détails des jobs qui diffèrent de manière significative entre les deux jobs. Cela vous aide à résoudre les problèmes de performances potentiels entre deux jobs de requête.

Lorsque vous comparez deux requêtes, vous devez tenir compte de détails importants pour optimiser vos requêtes, tels que la durée du job, la durée d'utilisation des emplacements et les octets traités.

Avant de commencer

Pour obtenir les autorisations nécessaires pour utiliser les détails des jobs BigQuery et les détails au niveau du système, demandez à votre administrateur de vous accorder les rôles IAM suivants au niveau de votre organisation ou de votre projet :

  • Afficher les détails du job : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) – projet dans lequel les requêtes ont été exécutées
  • Afficher les détails au niveau du système : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) – projet d'administration

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système :

  • Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet
  • Pour afficher les données au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation
  • Pour filtrer par réservation dans votre organisation : bigquery.reservations.list sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Comprendre la comparaison des performances des jobs

Les sections suivantes décrivent la page Comparaison des performances des jobs et les informations de dépannage qu'elle fournit.

Vous pouvez activer le bouton d'activation/de désactivation Afficher uniquement les différences significatives pour n'afficher que les différences significatives entre les deux jobs pour toutes les métriques incluses sur cette page.

Les différences significatives sont mises en surbrillance en vert, en jaune et en rouge :

  • Vert : la modification va dans le bon sens. Par exemple, comme une durée de requête plus courte est préférable, si le job cible s'exécute plus rapidement que le job de référence, il est marqué en vert.
  • Jaune : la modification va dans le mauvais sens, mais la différence est inférieure à 20%.
  • Rouge : la modification va dans le mauvais sens et la différence est supérieure à 20%.

Analyse au niveau de la requête

Le volet Analyse au niveau de la requête décrit les différences entre les deux jobs au niveau de la requête. Il contient trois onglets : Métriques, Texte SQL et Graphique d'exécution.

  • L'onglet Métriques décrit les métriques de requête pour les deux jobs. Utilisez cet onglet pour déterminer s'il existe des écarts entre la durée du job, les accélérateurs inutilisés et d'autres métriques.

  • L'onglet Texte SQL affiche les deux instructions SQL qui ont créé les jobs et met en évidence les différences entre elles. Utilisez cet onglet pour déterminer si les modifications apportées aux instructions SQL ont affecté les performances du job.

  • L'onglet Graphique d'exécution compare les graphiques d'exécution des deux jobs. Utilisez cet onglet pour déterminer si des écarts se sont produits à une étape quelconque de l'exécution des jobs.

Analyse au niveau du système

Le volet Analyse au niveau du système décrit les facteurs susceptibles d'affecter les deux jobs au niveau du système. Il se compose de trois sections : le tableau Projet , le tableau Réservation et le tableau Paramètres.

Le volet Analyse au niveau du système peut suggérer des points à améliorer en fonction des différences entre les deux requêtes.

Par exemple, si un job a reçu moins d'emplacements que les exécutions précédentes, il peut être affecté par des contraintes de ressources dans le système. Si cela est indiqué, vérifiez les métriques au niveau du projet pour voir si le projet dans son ensemble a reçu moins d'emplacements. Si le projet n'a pas reçu moins d'emplacements, une contention s'est probablement produite au niveau du projet, par exemple une augmentation de la simultanéité des jobs. Si le projet a reçu moins d'emplacements, vérifiez le niveau de réservation pour identifier les éventuelles contraintes.

  • Le tableau Projet compare les deux jobs au niveau du projet. Utilisez ce tableau pour déterminer si une optimisation est possible au niveau du projet.

  • Le tableau Réservation compare les deux jobs au niveau de la réservation. Utilisez ce tableau pour identifier les différences d'utilisation des réservations entre les deux requêtes qui pourraient affecter les performances du job.

  • Le tableau Paramètres compare les paramètres de réservation entre les deux jobs. Utilisez ce tableau pour détecter les modifications apportées aux paramètres de réservation qui auraient pu avoir un impact sur les performances.

Comparer deux jobs

Pour comparer deux jobs :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : filtrez les jobs pour limiter le nombre de jobs affichés.

  3. Cliquez sur l'ID du job initial que vous souhaitez afficher et comparer. La page Informations sur le job s'affiche.

  4. Cliquez sur l'onglet Performances.

  5. Cliquez sur Comparer le job.

  6. Dans le champ Job 1 (job de référence), cliquez sur Parcourir. Le panneau Jobs comparables similaires s'affiche.

  7. Identifiez le job auquel vous souhaitez comparer votre job de référence, puis cliquez sur Comparer. La comparaison des performances des jobs s'affiche.

  8. Pour n'afficher que les différences significatives entre les deux jobs, activez le bouton d'activation/de désactivation Afficher uniquement les différences significatives.

Modifier les jobs comparés

Pour modifier les jobs comparés :

  1. Accédez à la page Comparaison des performances des jobs.

  2. Dans le champ Job 1 (job de référence), cliquez sur Parcourir.

  3. Dans le volet Jobs comparables similaires , identifiez le job que vous souhaitez comparer, puis cliquez sur Comparer.

Tarifs

L'explorateur de jobs est disponible sans frais supplémentaires. Les requêtes utilisées pour remplir ces graphiques ne sont pas facturées et n'utilisent pas d'emplacements dans les réservations appartenant à l'utilisateur. Les requêtes qui traitent un trop grand volume de données expirent.

Étapes suivantes