Résoudre les problèmes de gestion des charges de travail BigQuery

Ce document explique comment résoudre les problèmes courants liés à la gestion des charges de travail BigQuery, y compris l'allocation et l'attribution des réservations, les erreurs de configuration des réservations, les engagements de capacité, les conflits d'emplacements, la surveillance des réservations et la journalisation des conversations d'analyse conversationnelle.

Pour afficher et gérer les réservations, les engagements et les graphiques de ressources d'administration, assurez-vous de disposer des rôles Identity and Access Management (IAM) requis, tels que le rôle Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) ou Administrateur de ressources BigQuery (roles/bigquery.resourceAdmin) sur le projet d'administration. Pour en savoir plus, consultez la page Contrôle des accès avec IAM.

Résoudre les problèmes liés aux réservations

Utilisez les informations suivantes pour résoudre les problèmes courants liés aux réservations, tels que les erreurs lors de l'ajout d'emplacements, les raisons pour lesquelles une réservation n'est pas utilisée pour un job BigQuery ou les réservations non reconnues.

Impossible d'ajouter d'autres emplacements à la taille de la réservation

Si vous rencontrez des erreurs telles que Failed to allocate slots for reservation in the current system state ou Failed to update reservation: Failed to allocate slots for reservation lorsque vous essayez d'ajouter des emplacements à votre réservation, il s'agit généralement d'un problème temporaire. Pour résoudre le problème, procédez comme suit :

  • Réessayez avec un nombre d'emplacements inférieur.
  • Si la tentative avec un nombre d'emplacements inférieur échoue, attendez 15 minutes, puis réessayez.

Si, après plusieurs tentatives et un délai d'attente de 30 minutes, vous recevez toujours la même erreur, contactez Cloud Customer Care.

Le quota est insuffisant pour traiter cette requête

Si le message d'erreur indique There is insufficient quota to complete this request, la requête dépasse la limite de quota définie pour le projet.

Pour résoudre cette erreur, effectuez l'une des opérations suivantes :

  • Ajoutez un nombre d'emplacements inférieur à la réservation afin que la requête ne dépasse pas la limite de quota.
  • Demandez une augmentation de quota dans la région correspondante. Pour en savoir plus, consultez Demander une augmentation de quota.

Réservation non utilisée par BigQuery pour exécuter un job

Dans plusieurs scénarios, un job peut s'exécuter en utilisant la tarification à la demande ou un pool d'emplacements partagés sans frais au lieu de la réservation que vous avez créée.

La requête et la réservation se trouvent dans des régions différentes

Les réservations sont des ressources régionales. Une requête s'exécute au même emplacement que les tables référencées dans la requête.

Si l'emplacement d'une table ne correspond pas à l'emplacement de la réservation, la requête n'utilise pas la réservation et s'exécute à la place en utilisant la tarification à la demande (ou le pool d'emplacements partagés sans frais pour les jobs de chargement et d'exportation par lot éligibles).

Interroger des tables BigQuery Omni

Lorsque vous interrogez une table BigQuery Omni, veillez à créer la réservation dans la même région que la table, et non dans une région colocalisée. Si vous créez la réservation dans la région BigQuery colocalisée, la requête s'exécute à l'aide de la tarification à la demande.

La réservation a été créée, mais le projet ne lui a pas été attribué

Pour utiliser les emplacements d'une réservation, vous devez créer une attribution qui attribue le projet, le dossier ou l'organisation à la réservation spécifique. Assurez-vous que le projet dispose d'une attribution correspondante pour la réservation.

Incompatibilité de type de mission

Veillez à sélectionner le bon type de mission lors de la création d'une attribution. Sinon, les jobs n'utiliseront pas la réservation.

Par exemple, si vous sélectionnez PIPELINE comme type de mission, tous les jobs de requête s'exécutent avec la tarification à la demande. Remplacez le type d'attribution par QUERY pour que les jobs de requête s'exécutent à l'aide de la réservation.

Requêtes à plusieurs instructions

Si vous exécutez des requêtes à plusieurs instructions, l'objet de job parent n'est associé à aucune réservation, même si les jobs enfants s'exécutent dans le cadre d'une réservation.

Pour vérifier si le job a réellement utilisé une réservation, vérifiez les métadonnées du job enfant.

Récupérer les résultats mis en cache

Lorsqu'un job de requête récupère des résultats mis en cache, le champ de réservation est vide, car BigQuery n'effectue aucun calcul et récupère les résultats directement à partir de la table temporaire.

Opérations de modification de ligne de capture des données modifiées

Si vous disposez de tables de capture de données modifiées (CDC), BigQuery applique les modifications de ligne en attente dans l'intervalle max_staleness en tant que jobs d'arrière-plan qui utilisent le type d'attribution BACKGROUND. S'il n'y a pas d'attribution BACKGROUND, ces jobs utilisent la tarification à la demande. Envisagez de créer une attribution BACKGROUND pour le projet afin d'éviter des coûts à la demande inattendus. Vous pouvez identifier ces jobs grâce à la sous-chaîne queueworker_cdc_background_merge_coalesce dans l'identifiant du job.

Types de modèles BigQuery ML qui utilisent des services externes

Si aucune attribution de réservation avec un type de mission ML_EXTERNAL n'est trouvée dans le projet, les jobs de création de modèles externes s'exécutent à l'aide de la tarification à la demande. L'attribution du type de job QUERY s'applique aux modèles BigQuery ML standards et aux modèles de factorisation matricielle (qui nécessitent une réservation d'édition Enterprise ou Enterprise Plus), tandis que les modèles externes nécessitent une attribution ML_EXTERNAL. Pour en savoir plus, consultez Attribuer des emplacements aux charges de travail BigQuery.

Réservations non reconnues identifiées dans le projet

BigQuery possède des réservations qui représentent un pool d'emplacements partagés sans frais pour certaines opérations dans BigQuery.

default-pipeline

Par défaut, le chargement ou l'exportation de données par lots dans BigQuery utilise un pool d'emplacements partagés sans frais. Lorsque vous inspectez ces jobs de chargement ou d'extraction, le champ de réservation affiche default-pipeline.

L'utilisation du pool d'emplacements partagés n'entraîne aucuns frais. Si vous souhaitez des performances constantes et prévisibles, envisagez d'acheter une réservation PIPELINE.

Résoudre les problèmes liés aux tâches de gestion des réservations

Vous pouvez rencontrer les erreurs suivantes lors de la création ou de la mise à jour d'une réservation.

La taille de la réservation ou le nombre d'emplacements de référence doit être un multiple de 50

Message d'erreur

  • Max reservation size can only be configured in multiples of 50, except when covered by excess commitments.
  • Baseline slots can only be configured in multiples of 50, except when covered by excess commitments.

Cause

Les emplacements sont toujours ajustés automatiquement à un multiple de 50. BigQuery augmente le nombre d'emplacements en fonction de l'utilisation réelle et l'arrondit à la tranche de 50 emplacements la plus proche. En l'absence d'engagement ou si l'engagement ne peut pas couvrir les augmentations, vous ne pouvez augmenter les emplacements de référence et d'autoscaling que par multiples de 50.

Si baseline slots ou max reservation size - baseline slots n'est pas un multiple de 50 (et n'est pas couvert par des engagements de capacité excédentaire), la réservation ne peut pas être mise à l'échelle jusqu'à la taille maximale de la réservation, ce qui entraîne cette erreur.

Solution

Effectuez l'une des opérations suivantes :

  • Achetez des engagements de capacité supplémentaires pour couvrir l'augmentation du nombre d'emplacements.
  • Choisissez un nombre d'emplacements de base et maximal par incréments de 50.

Impossible d'utiliser le nombre maximal d'emplacements sans activer l'équité basée sur les réservations

Message d'erreur

  • Cannot use max slots without enabling reservation-based fairness.

Cause

Vous essayez de configurer une capacité de réservation maximale, par exemple des réservations max_slots ou prévisibles, ce qui nécessite l'activation de l'équité basée sur les réservations sur le projet propriétaire de la réservation.

Solution

Vous devez activer l'équité basée sur les réservations sur le projet.

Résoudre les problèmes liés aux engagements de capacité

Cette section décrit les étapes de dépannage qui vous aideront si vous rencontrez des problèmes avec les engagements de capacité BigQuery.

Les emplacements achetés sont en attente

Les emplacements sont soumis à la capacité disponible. Lorsque vous achetez des engagements d'emplacements et que BigQuery les alloue, la colonne État affiche une coche. Si BigQuery ne peut pas allouer immédiatement les emplacements demandés, la colonne État reste en attente. Vous devrez peut-être attendre plusieurs heures avant que les emplacements ne soient disponibles. Si vous avez besoin d'accéder plus rapidement aux emplacements, essayez les solutions suivantes :

  1. Supprimez l'engagement en attente.
  2. Souscrivez un nouvel engagement pour un plus petit nombre d'emplacements. Selon la capacité, l'engagement le plus petit peut devenir immédiatement actif.
  3. Achetez les emplacements restants en tant qu'engagement distinct. Les emplacements peuvent apparaître comme étant en attente dans la colonne État, mais ils deviennent généralement actifs en quelques heures.
  4. Facultatif : lorsque les deux engagements deviennent actifs, fusionnez-les en un seul engagement, à condition qu'ils se trouvent dans la même région et la même édition, et qu'ils aient le même plan d'engagement.

Si un engagement d'emplacements échoue ou prend beaucoup de temps, envisagez d'utiliser temporairement la tarification à la demande. Avec cette solution, vous pouvez exécuter des requêtes critiques dans un autre projet qui n'est attribué à aucune réservation, attribuer le projet à None ou supprimer complètement l'attribution du projet.

Résoudre les problèmes de conflit d'emplacements

Un conflit d'emplacements peut se produire lorsque le nombre d'emplacements est insuffisant pour exécuter tous vos jobs, ce qui entraîne des problèmes de performances. Pour déterminer si la dégradation des performances provient d'une augmentation de la charge de travail ou de modifications de la configuration de l'environnement, vous pouvez comparer deux intervalles système entre les réservations et les projets.

Pour résoudre les problèmes de contention d'emplacements, suivez les étapes et les bonnes pratiques ci-dessous.

Si vous avez essayé ces bonnes pratiques, mais que vous rencontrez toujours des problèmes de performances, vous pouvez demander de l'aide.

Pics de simultanéité des jobs

Utilisez la vue détaillée des graphiques de ressources d'administration pour vérifier si une augmentation soudaine des exécutions de jobs s'accompagne de pics d'utilisation simultanée des emplacements. Ces pics peuvent indiquer que trop de jobs se disputent les emplacements disponibles dans votre réservation.

Bonne pratique : Envisagez d'optimiser les requêtes gourmandes en ressources ou d'augmenter la capacité d'emplacements de votre réservation. Pour en savoir plus sur l'optimisation des performances des requêtes, consultez Optimiser le calcul des requêtes.

Utilisation élevée des emplacements

Utilisez la vue détaillée pour vérifier si la durée des jobs a augmenté, en particulier si certains jobs dépassent la capacité maximale de votre réservation. Une utilisation constamment élevée des emplacements peut indiquer une contention d'emplacements en cours.

Bonne pratique : Vérifiez les requêtes à l'aide du filtre de conflit d'emplacements de l'explorateur de jobs pour identifier les requêtes qui consomment le plus d'emplacements et les optimiser.

Durées de job longues

Si les jobs prennent beaucoup plus de temps, consultez la vue détaillée. Une simultanéité élevée des jobs et des pics d'utilisation des emplacements peuvent indiquer un conflit d'emplacements.

Bonne pratique : Isolez les jobs critiques en mettant temporairement en pause les jobs moins importants ou en réduisant votre taux global d'envoi de jobs.

Messages de conflit d'emplacements

Le tableau d'insights peut afficher des messages tels que There were NUMBER jobs detected with slot_contention in the reservation., qui indiquent des problèmes de conflit d'emplacements. Consultez l'explorateur de jobs pour examiner les détails des jobs spécifiques signalés dans ces messages.

Bonne pratique : Optimisez les requêtes identifiées ou ajustez l'allocation d'emplacements de votre réservation.

Résoudre les problèmes de surveillance des réservations

Les sections suivantes décrivent comment résoudre les problèmes courants liés à la surveillance des réservations et de l'utilisation des emplacements BigQuery.

Les métriques d'utilisation des emplacements ne correspondent pas à INFORMATION_SCHEMA

Si vous constatez des écarts entre les métriques d'utilisation des emplacements dans les graphiques de ressources et les données INFORMATION_SCHEMA, essayez de procéder comme suit :

  • Réduisez la précision. Modifiez la précision du graphique pour passer d'intervalles d'une heure à des intervalles d'une seconde.
  • Aligner l'agrégation Assurez-vous d'utiliser des méthodes d'agrégation qui correspondent entre les graphiques de ressources et les données INFORMATION_SCHEMA. Par exemple, pour mieux refléter les pics d'utilisation dans les graphiques de ressources, remplacez l'agrégation des métriques par p99 ou p90 de manière cohérente.

Les emplacements empruntés s'affichent lorsque les emplacements inactifs sont désactivés

Vos graphiques de surveillance peuvent afficher une valeur non nulle pour borrowed_slots même si ignore_idle_slots=true est défini pour une ou plusieurs réservations. Ce paramètre empêche une réservation d'emprunter des emplacements inactifs, mais ne l'empêche pas de prêter ses emplacements inutilisés à d'autres réservations.

Ces emplacements empruntés apparaissent dans les cas suivants :

  • Prêt à d'autres réservations Une réservation avec ignore_idle_slots=true peut prêter ses emplacements de référence inutilisés à d'autres réservations du même projet d'administration, de la même région et de la même édition qui autorisent l'emprunt d'emplacements inactifs (ignore_idle_slots=false). Si toutes les réservations d'un projet d'administration, d'une région et d'une édition ont ignore_idle_slots=true, les emplacements inactifs ne sont pas partagés entre elles.

    Par exemple, supposons que la réservation A dispose de 100 emplacements, qu'elle n'est pas utilisée et qu'elle est configurée avec ignore_idle_slots=true. La réservation B se trouve dans les mêmes projet d'administration, région et édition. Elle dispose de 100 emplacements, nécessite 150 emplacements pour sa charge de travail et est configurée avec ignore_idle_slots=false. La réservation B peut emprunter 50 emplacements inactifs à la réservation A pour répondre à ses besoins. Dans ce cas, les graphiques de surveillance indiquent 50 lent_slots pour la réservation A et 50 borrowed_slots pour la réservation B.

  • L'utilisation dépasse la capacité. Si l'utilisation des emplacements d'une réservation dépasse temporairement sa capacité (emplacements de référence + emplacements avec autoscaling), les graphiques de surveillance affichent cette différence sous la forme borrowed_slots. Ce comportement peut se produire même pour les réservations avec ignore_idle_slots=true.

Le nombre d'emplacements utilisés peut parfois dépasser la somme de vos emplacements de base et de vos emplacements avec autoscaling. Les emplacements excédentaires (par rapport à la somme de vos emplacements de base et de vos emplacements avec autoscaling) ne vous sont pas facturés.

Les emplacements empruntés apparaissent avant qu'une réservation ne soit entièrement utilisée

Les tableaux de bord Monitoring utilisent des données échantillonnées, qui peuvent ne pas refléter précisément le moment exact de l'utilisation des emplacements dans un intervalle d'échantillonnage.

Pour une analyse plus précise de l'utilisation des emplacements, interrogez les colonnes liées aux emplacements inactifs, telles que les colonnes borrowed_slots et lent_slots dans la vue INFORMATION_SCHEMA.RESERVATIONS_TIMELINE.

Résoudre les problèmes de journalisation des conversations

Utilisez les informations suivantes pour résoudre les problèmes courants liés à la journalisation des conversations de Conversational Analytics dans BigQuery. Étant donné que les erreurs de journalisation n'entraînent jamais l'échec d'un tour de conversation et ne sont pas signalées dans le chat ni dans Cloud Logging, une table de destination vide ou manquante est le principal signal d'un problème de configuration ou d'autorisation.

La table de journaux est manquante ou vide

Si la table de destination n'est pas créée ou reste vide après un tour de conversation, vérifiez les causes potentielles suivantes :

  • La journalisation des conversations n'est ni enregistrée, ni publiée. Dans BigQuery Studio, actualisez la page, rouvrez les paramètres de l'agent et vérifiez que l'option Activer la journalisation des conversations est activée, que l'ensemble de données et la table de destination sont définis, et que vos modifications sont publiées.

  • L'ensemble de données de destination est manquant ou se trouve dans un autre projet. Vérifiez que l'ensemble de données de destination existe déjà dans le même projet que l'agent de données. Vous pouvez vérifier que l'ensemble de données existe en exécutant bq show PROJECT_ID:LOG_DATASET. Remplacez PROJECT_ID par l'ID du projet contenant l'agent de données et LOG_DATASET par l'ID de l'ensemble de données de destination. L'agent de service crée la table de journaux lors du premier tour enregistré, mais il ne crée pas l'ensemble de données.

  • L'ensemble de données de destination est un ensemble de données en lecture seule, tel qu'un ensemble de données associé. Un ensemble de données associé au partage BigQuery ou un ensemble de données externe (par exemple, un ensemble de données fédéré AWS Glue) est en lecture seule et ne peut pas stocker les journaux de conversation. Pour vérifier le type d'ensemble de données, exécutez bq show --format=prettyjson PROJECT_ID:LOG_DATASET et inspectez le champ "type" ("LINKED" ou "EXTERNAL"). Choisissez un ensemble de données standard accessible en écriture dans le même projet que l'agent de données.

  • Autorisations manquantes pour l'agent de service ou la CMEK. Vérifiez que l'agent de service de l'API Conversational Analytics (service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.iam.gserviceaccount.com, en utilisant le numéro du projet de l'agent plutôt que l'ID du projet) dispose du rôle Éditeur de données BigQuery (roles/bigquery.dataEditor) sur l'ensemble de données de journaux. Si l'ensemble de données utilise des clés Cloud KMS gérées par le client (CMEK), vérifiez que le compte de service de chiffrement BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com) dispose du rôle roles/cloudkms.cryptoKeyEncrypterDecrypter sur la clé.

  • Le périmètre VPC Service Controls bloque les écritures. L'agent de service de l'API Conversational Analytics écrit dans la table de journaux à partir de l'infrastructure gérée par Google. Par conséquent, l'octroi de roles/bigquery.dataEditor seul ne suffit pas lorsqu'un périmètre de service limite bigquery.googleapis.com. Contrairement aux autres causes de cette liste, un blocage de périmètre enregistre les journaux d'audit "Policy Denied" (Règle refusée) dans Cloud Logging dans le projet de l'agent. Filtrez par log_id("cloudaudit.googleapis.com/policy") sous bigquery.googleapis.com (pour la recherche ou la création de tables) et bigquerystorage.googleapis.com (pour les ajouts de lignes) pour confirmer le blocage. Vérifiez que geminidataanalytics.googleapis.com et bigquery.googleapis.com se trouvent dans le périmètre, puis ajoutez une règle d'entrée pour l'agent de service sur bigquery.googleapis.com. Pour obtenir un exemple de règle d'entrée, consultez Contrôle des accès, chiffrement et sécurité réseau. Pour obtenir des conseils généraux sur la configuration des périmètres, consultez Configurer la sécurité des périmètres avec VPC Service Controls.

  • Surface de conversation ou configuration de l'agent non compatibles. Les conversations du volet Aperçu de BigQuery Studio ne sont pas enregistrées. Testez l'agent à partir de l'écran de chat principal de l'agent publié. Les agents qui utilisent un champ d'application de recherche au lieu de tables BigQuery spécifiques, qui configurent des graphiques de propriétés en tant que sources de connaissances ou qui ne déclarent aucune table BigQuery ne sont pas consignés. Pour en savoir plus, consultez la section Limites.

  • Les tables de sources de connaissances utilisent des règles d'accès. Si une table de source de connaissances utilise des règles d'accès au niveau des lignes, une sécurité au niveau des colonnes (tags avec stratégie) ou un masquage dynamique des données, les tours ne sont pas enregistrés.

  • Conflit de schéma sur une table de destination existante. Si vous avez configuré une table existante comme destination et qu'une colonne porte le même nom qu'une colonne de schéma de journal de conversation, mais qu'elle a un type ou un mode différent, BigQuery n'écrit pas de lignes dans cette table.

Les lignes s'affichent généralement quelques secondes après la fin d'un tour. Si les lignes n'apparaissent toujours pas après quelques minutes, actualisez l'ensemble de données.

Les conversations de certains utilisateurs ne sont pas enregistrées

Cause

Avant chaque tour, la vérification de la confidentialité utilise les identifiants de l'utilisateur qui discute pour vérifier que les tables de sources de connaissances de l'agent ne comportent pas de règles de sécurité au niveau des lignes, de sécurité au niveau des colonnes ou de masquage des données. Si un utilisateur n'est pas autorisé à exécuter cette vérification, ses tours ne sont pas enregistrés.

Solution

Attribuez à tous les utilisateurs du chat le rôle Lecteur de données BigQuery (roles/bigquery.dataViewer) sur les tables de sources de connaissances et le rôle Utilisateur de job BigQuery (roles/bigquery.jobUser) sur le projet qui exécute leurs requêtes, ou attribuez un rôle personnalisé avec les autorisations bigquery.tables.get et bigquery.rowAccessPolicies.list sur les tables de sources de connaissances.

L'enregistrement de l'agent échoue avec une erreur INVALID_ARGUMENT

Message d'erreur

  • The BigQuery Agent Analytics table must be in the same project as the agent (agent project: ..., table project: ...).

  • BigQuery Agent Analytics can only be enabled on agents whose datasource is BigQuery. Remove bigquery_agent_analytics_enabled and bigquery_agent_analytics_table, or point the agent at a BigQuery datasource.

Cause

L'ensemble de données de destination se trouve dans un projet différent de celui de l'agent de données, ou la source de données de l'agent n'est pas BigQuery.

Solution

Sélectionnez un ensemble de données de destination existant dans le même projet que l'agent de données, ou configurez l'agent de données avec une source de données BigQuery.

Échec de l'octroi de l'accès à l'ensemble de données, car l'agent de service n'existe pas

Message d'erreur

  • Service account service-PROJECT_NUMBER@gcp-sa-geminidataanalytics... does not exist

Cause

L'agent de service de l'API Conversational Analytics n'a pas encore été provisionné dans le projet.

Solution

Effectuez l'une des opérations suivantes :

  • Configurez d'abord la destination des journaux sur l'agent, puis attribuez à nouveau le rôle.

  • Provisionnez l'identité du service en exécutant la commande suivante :

    gcloud beta services identity create \
        --service=geminidataanalytics.googleapis.com \
        --project=PROJECT_ID

    Remplacez PROJECT_ID par l'ID du projet contenant l'agent de données.

Les paramètres de journalisation des conversations ne sont pas disponibles dans BigQuery Studio

Cause

Vous consultez la version publiée de l'agent de données, où les paramètres de configuration sont en lecture seule, ou l'agent de données n'a pas de tables BigQuery spécifiques sélectionnées comme sources de connaissances.

Solution

Basculez le sélecteur de vue sur Brouillon, assurez-vous que des tables BigQuery spécifiques sont sélectionnées comme sources de connaissances, mettez à jour les paramètres de journalisation des conversations, puis publiez l'agent.

Étapes suivantes