Utiliser l'explorateur de jobs d'administration

En tant qu'administrateur BigQuery, vous pouvez utiliser l'explorateur de jobs d'administration pour surveiller l'activité des jobs dans votre organisation. L'explorateur de jobs fournit également un ensemble de filtres et d'options de tri permettant d'identifier les jobs problématiques et de résoudre les problèmes associés. L'explorateur de jobs vous évite d'avoir à maîtriser INFORMATION_SCHEMA. Il vous permet d'afficher rapidement des informations sur les jobs telles que le propriétaire, le projet, l'utilisation des emplacements, la durée, etc… sans avoir à écrire des requêtes INFORMATION_SCHEMA.

Vous pouvez également sélectionner des jobs individuels pour ouvrir la page Détails du job, qui fournit des informations sur les requêtes, telles que les graphiques d'exécution, le texte SQL et l'historique d'exécution, pour vous aider à diagnostiquer et à résoudre les problèmes liés aux requêtes. Sur cette page, vous pouvez comparer deux jobs pour mettre en évidence les différences importantes entre eux et résoudre les éventuels problèmes de performances.

BigQuery fournit des informations et des insights sur les jobs via les vues INFORMATION_SCHEMA suivantes :

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser l'explorateur de jobs d'administration, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) au niveau de votre organisation ou de votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour utiliser l'explorateur de jobs d'administration. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour utiliser l'explorateur de jobs d'administration :

  • Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet
  • Pour afficher les données au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation
  • Pour filtrer par réservation dans votre organisation : bigquery.reservations.list sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Filtrer les jobs

Pour filtrer les jobs des requêtes figurant dans les vues INFORMATION_SCHEMA.JOBS*, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu de navigation, cliquez sur Explorateur de jobs.

  3. Dans la liste Emplacement, sélectionnez l'emplacement pour lequel vous souhaitez afficher les jobs.

  4. Appliquez des filtres facultatifs si nécessaire :

    • Champ d'application du job. Le projet actuel, l'organisation et vos tâches, par exemple.
    • État. "completed" (terminé), "error" (erreur), "active" (actif) et "queued" (en file d'attente), par exemple.
    • Priorité du job. Jobs interactifs ou par lot, par exemple.
    • ID du job.
    • Propriétaire. ID d'adresse e-mail du propriétaire du job (applicable uniquement lorsque le champ d'application du job est défini sur le projet ou l'organisation).
    • ID du projet : (ne s'applique que lorsque le champ d'application du job est défini sur l'organisation)
    • ID de réservation. (ne s'applique que lorsque le champ d'application du job est défini sur l'organisation)
    • Durée d'utilisation des emplacements supérieure à. Jobs ayant pris plus de temps que la durée d'utilisation des emplacements spécifiée
    • Durée supérieure à. Jobs ayant pris plus de temps que la durée spécifiée.
    • Octets traités supérieurs à. Jobs ayant traité plus d'octets que le nombre d'octets traités spécifié
    • Insights sur les requêtes. Types d'insights sur les requêtes, tels que les conflits d'emplacements, le dépassement de la capacité de brassage de la mémoire et la modification de l'échelle de saisie des données
    • Hachage de requête. Hachage de la requête contenant les hachages de la requête. Il s'agit d'un hachage hexadécimal STRING qui ignore les commentaires, les valeurs de paramètre, les UDF et les littéraux. Ce champ apparaît pour les requêtes GoogleSQL réussies qui ne sont pas des succès de cache (hit).
    • Étiquettes. Paires key:value pouvant être attribuées à un job. Vous pouvez filtrer à l'aide d'une clé, d'une valeur ou d'une combinaison key:value.
    • Catégorie de job. Type de requête, par exemple Standard ou Requête continue.

Afficher les détails d'exécution d'une requête

Pour afficher les détails d'exécution des requêtes pour les jobs, procédez comme suit :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Pour afficher les jobs, cliquez sur Explorateur de jobs.

  3. Filtrez les jobs pour en afficher un nombre restreint.

  4. Cliquez sur le job pour lequel vous souhaitez afficher les détails d'exécution des requêtes.

  5. Dans le volet Résultats de la requête, cliquez sur l'onglet Graphique d'exécution pour afficher les détails d'exécution de votre job.

    Graphique d'exécution des jobs.

Pour en savoir plus sur l'interprétation des insights, consultez la section Interpréter les insights sur les performances des requêtes.

Obtenir les détails d'un job BigQuery

Pour demander des conseils ou obtenir de l'aide pour cette fonctionnalité, envoyez un e-mail à l'adresse bq-performance-troubleshooting+feedback@google.com.

L'explorateur de jobs d'administration vous permet d'afficher la page de détails BigQuery. La page d'informations sur les jobs BigQuery regroupe plusieurs informations sur les requêtes sur une seule page pour vous aider à diagnostiquer et à résoudre les problèmes liés aux requêtes. L'onglet Performances compile les informations sur les requêtes, y compris le graphique d'exécution, le texte SQL et l'historique d'exécution.

L'onglet Performances permet également de comparer les requêtes. Vous pouvez ainsi comparer votre utilisation historique de la requête, analyser toute dégradation possible des performances et la résoudre. Pour en savoir plus sur la comparaison des jobs, consultez Comparer des jobs.

Avant de commencer

Pour obtenir les autorisations nécessaires pour utiliser les détails des jobs BigQuery et les détails au niveau du système, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre organisation ou votre projet :

  • Afficher les détails du job : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) : projet dans lequel les requêtes ont été exécutées
  • Afficher les détails au niveau du système : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) : projet d'administration

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système :

  • Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet
  • Pour afficher les données au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation
  • Pour filtrer par réservation dans votre organisation : bigquery.reservations.list sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Afficher les informations sur le job

Pour afficher la page "Détails de la tâche" :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : filtrez les tâches pour affiner les tâches disponibles affichées.

  3. Cliquez sur l'ID du job que vous souhaitez afficher. Pour les requêtes qui ne créent pas de job, l'ID de requête s'affiche et le lien est désactivé. Pour toutes les autres requêtes, cliquez sur l'ID de job pour afficher la page Informations sur le job.

L'onglet Performances s'affiche par défaut. Vous pouvez accéder aux autres onglets pour afficher des informations supplémentaires sur le job.

Informations sur les requêtes disponibles

La liste suivante décrit les informations et les métriques disponibles dans l'onglet Performances.

  • Requête SQL : texte de la requête SQL qui a créé le job.

  • Détails du job : informations sur le job, y compris l'ID du job, l'heure de création, les octets traités, etc. Pour en savoir plus, consultez Afficher les détails des jobs.

  • Variance des performances : informations sur les performances du job par rapport à une exécution précédente de la même requête. BigQuery compare le job actuel à une exécution passée avec un nombre d'octets traités similaire (+/- 5 %) et la durée de job la plus courte, le cas échéant. Si aucune exécution passée de ce type n'existe, BigQuery compare le job actuel à la moyenne des exécutions passées au cours des 30 derniers jours. S'il n'y a pas d'exécutions passées, cette section indique qu'aucun job similaire n'a été trouvé pour la comparaison.

  • Historique des exécutions : liste des autres exécutions de cette requête par hachage de requête. Dans ce panneau, vous pouvez sélectionner un job à comparer à celui que vous consultez. Pour en savoir plus sur la comparaison des jobs, consultez Comparer des jobs.

  • Charge système pendant l'exécution : description des ressources BigQuery utilisées pour exécuter le job. Cela inclut des informations sur les paramètres de réservation utilisés par ce job, le cas échéant.

  • Graphique d'exécution : graphique d'exécution de ce job. Pour en savoir plus, consultez Obtenir des insights sur les performances des requêtes.

Comparer les jobs

Pour demander des conseils ou obtenir de l'aide pour cette fonctionnalité, envoyez un e-mail à l'adresse bq-performance-troubleshooting+feedback@google.com.

La comparaison des performances des jobs vous permet de comparer votre job de référence à des jobs ciblés. L'analyse des requêtes met en évidence les détails des jobs qui diffèrent de manière significative entre les deux jobs. Cela vous aide à résoudre les problèmes de performances potentiels entre deux jobs de requête.

Pour optimiser vos requêtes lorsque vous en comparez deux, vous devez tenir compte de détails importants tels que la durée du job, le temps de slot et les octets traités.

Avant de commencer

Pour obtenir les autorisations nécessaires pour utiliser les détails des jobs BigQuery et les détails au niveau du système, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre organisation ou votre projet :

  • Afficher les détails du job : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) : projet dans lequel les requêtes ont été exécutées
  • Afficher les détails au niveau du système : Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) : projet d'administration

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour utiliser les détails des jobs BigQuery et les détails au niveau du système :

  • Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet
  • Pour afficher les données au niveau de l'organisation : bigquery.jobs.listAll sur l'organisation
  • Pour filtrer par réservation dans votre organisation : bigquery.reservations.list sur l'organisation

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Comprendre la comparaison des performances des jobs

Les sections suivantes décrivent la page Comparaison des performances des tâches et les informations de dépannage qu'elle fournit.

Vous pouvez activer l'option Afficher uniquement les différences significatives pour n'afficher que les différences significatives entre les deux tâches pour toutes les métriques incluses sur cette page.

Les différences importantes sont mises en évidence en vert, en jaune et en rouge :

  • Vert : la variation est positive. Par exemple, une durée de requête plus courte étant préférable, si le job cible s'exécute plus rapidement que le job de référence, il est marqué en vert.
  • Jaune : la variation est négative, mais la différence est inférieure à 20 %.
  • Rouge : le changement est négatif et la différence est supérieure à 20 %.

Analyse au niveau de la requête

Le volet Analyse au niveau de la requête décrit les différences entre les deux jobs au niveau de la requête. Il comporte trois onglets : Métriques, Texte SQL et Graphique d'exécution.

  • L'onglet Métriques décrit les métriques de requête pour les deux jobs. Utilisez cet onglet pour déterminer s'il existe des écarts entre la durée du job, les accélérateurs inutilisés et d'autres métriques.

  • L'onglet Texte SQL affiche les deux instructions SQL qui ont créé les jobs et met en évidence les différences entre elles. Utilisez cet onglet pour déterminer si les modifications apportées aux instructions SQL ont affecté les performances du job.

  • L'onglet Graphique d'exécution compare les graphiques d'exécution des deux jobs. Utilisez cet onglet pour déterminer si des écarts se sont produits à une étape quelconque de l'exécution des jobs.

Analyse au niveau du système

Le volet Analyse au niveau du système décrit les facteurs susceptibles d'affecter les deux jobs au niveau du système. Il se compose de trois sections : la table Projet, la table Réservation et la table Paramètres.

Le volet Analyse au niveau du système peut suggérer des points à améliorer en fonction des différences entre les deux requêtes.

Par exemple, si une tâche a reçu moins d'emplacements que lors des exécutions précédentes, elle peut être affectée par des contraintes de ressources dans le système. Si cela est indiqué, vérifiez les métriques au niveau du projet pour voir si le projet dans son ensemble a reçu moins d'emplacements. Si le projet n'a pas reçu moins d'emplacements, il est probable qu'un conflit se soit produit au niveau du projet, par exemple une augmentation de la simultanéité des jobs. Si le projet a reçu moins d'emplacements, vérifiez le niveau de réservation pour identifier les éventuelles contraintes.

  • Le tableau Projet compare les deux jobs au niveau du projet. Utilisez ce tableau pour déterminer si une optimisation est possible au niveau du projet.

  • Le tableau Reservation compare les deux jobs au niveau de la réservation. Utilisez ce tableau pour identifier les différences d'utilisation des réservations entre les deux requêtes qui pourraient affecter les performances des jobs.

  • Le tableau Paramètres compare les paramètres de réservation des deux jobs. Utilisez ce tableau pour détecter les modifications apportées aux paramètres de réservation qui ont pu avoir un impact sur les performances.

Comparer deux jobs

Pour comparer deux jobs :

  1. Accédez à la page Explorateur de jobs.

    Accéder à l'explorateur de jobs

  2. Facultatif : filtrez les tâches pour affiner les tâches disponibles affichées.

  3. Cliquez sur l'ID du job initial que vous souhaitez afficher et comparer. La page Détails du job s'affiche.

  4. Cliquez sur l'onglet Performances.

  5. Cliquez sur Comparer le job.

  6. Dans le champ Job one (baseline job) (Tâche 1 [tâche de référence]), cliquez sur Browse (Parcourir). Le panneau Jobs comparables similaires s'affiche.

  7. Identifiez le job auquel vous souhaitez comparer votre job de référence, puis cliquez sur Comparer. La comparaison des performances des jobs s'affiche.

  8. Pour n'afficher que les différences significatives entre les deux tâches, activez l'option Afficher uniquement les différences significatives.

Modifier les jobs comparés

Pour modifier les jobs comparés :

  1. Accédez à la page Comparaison des performances des jobs.

  2. Dans le champ Job one (baseline job) (Tâche 1 [tâche de référence]), cliquez sur Browse (Parcourir).

  3. Dans le volet Jobs comparables similaires, identifiez le job que vous souhaitez comparer, puis cliquez sur Comparer.

Tarifs

L'explorateur de jobs est disponible sans frais supplémentaires. Les requêtes utilisées pour remplir ces graphiques ne sont pas facturées et n'utilisent pas d'emplacements dans les réservations appartenant à l'utilisateur. Les requêtes qui traitent un trop grand volume de données expirent.

Étapes suivantes