Résoudre les problèmes de découverte de données Knowledge Catalog

La découverte de données Knowledge Catalog (anciennement Dataplex Universal Catalog), également appelée découverte autonome, vous permet d'analyser automatiquement les buckets Cloud Storage pour extraire les métadonnées et publier des tables dans BigQuery. Vous pouvez résoudre les problèmes et les erreurs d'analyse de découverte courantes, telles que les échecs de publication de tables BigQuery et BigLake, les incohérences de schéma de dossier et les tables qui ne se mettent pas à jour après des modifications de schéma. Pour en savoir plus, consultez Découvrir et cataloguer des données Cloud Storage.

Si vous avez besoin d'aide pour résoudre un problème qui n'est pas abordé dans ce document, contactez Cloud Customer Care.

Échec de la publication de la table BigQuery (FAILED_BIGQUERY_TABLE_PUBLISH)

Lorsqu'une analyse de découverte s'exécute, elle peut ne pas publier les tables dans BigQuery. Dans ce cas, l'analyse consigne une action FAILED_BIGQUERY_TABLE_PUBLISH dans Cloud Logging.

Ce problème se produit dans les conditions suivantes :

  • Autorisations IAM insuffisantes : le compte de service Knowledge Catalog ou le compte de service de connexion BigQuery ne dispose pas des rôles requis pour déléguer des connexions, accéder à Cloud Storage ou écrire dans l'ensemble de données de destination.
  • Incompatibilité de connexion ou d'ensemble de données BigQuery : l'ID de connexion spécifié n'est pas valide, ou la connexion et l'ensemble de données de destination se trouvent dans des régions différentes.
  • Erreurs de configuration de table : la création ou la modification de la table applique des paramètres incorrects ou non compatibles.

Pour résoudre ce problème, effectuez les vérifications suivantes :

  • Vérifier les rôles du compte de service : vérifiez que le compte de service Knowledge Catalog service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com dispose du rôle Agent de service de publication BigLake Dataplex Discovery (roles/dataplex.discoveryBigLakePublishingServiceAgent).
  • Vérifier les autorisations de connexion : si vous créez des tables BigLake, vérifiez que le compte de service de connexion BigQuery dispose d'un accès en lecture au bucket Cloud Storage à l'aide du rôle Lecteur d'objets Storage (roles/storage.objectViewer) ou Agent de service Dataplex Discovery (roles/dataplex.discoveryServiceAgent).
  • Vérifiez la connexion et l'emplacement de l'ensemble de données : assurez-vous que la connexion BigQuery et l'ensemble de données BigQuery existent dans la même région, et qu'ils sont compatibles avec l'emplacement du bucket Cloud Storage.
  • Inspecter les journaux pour en savoir plus : explorez les journaux de vos jobs DataScan dans Cloud Logging. Si l'erreur contient BigQuery: Permission denied, vérifiez les autorisations du compte de service. S'il contient TABLE_CONFIG, vérifiez que les fichiers de données sont conformes aux exigences de BigQuery.

La création de tables BigLake échoue pour les buckets Cloud Storage volumineux

Lorsqu'une analyse de découverte traite des buckets Cloud Storage contenant un volume important de données ou des fichiers individuels volumineux (par exemple, des fichiers Avro de plus de 30 Mo), l'analyse peut créer l'ensemble de données BigQuery, mais ne pas publier les tables BigLake.

Dans ce cas, les erreurs suivantes peuvent s'afficher dans Cloud Logging :

  • FAILED_BIGQUERY_TABLE_PUBLISH
  • com.google.cloud.bigquery.BigQueryException: Read timed out

Ce problème est une limite d'évolutivité connue. Si vous avez besoin d'un provisionnement immédiat des tables, configurez votre analyse de découverte pour inclure un sous-ensemble plus petit et filtré des données de votre bucket.

Incohérences de schéma dans les dossiers Cloud Storage

Une analyse de découverte de données ne parvient pas à enregistrer des tables externes ou ne détecte pas les fichiers de certains dossiers.

Ce problème se produit si vos dossiers Cloud Storage contiennent des fichiers dont les schémas sont incompatibles ou dont les formats sont différents. L'analyse de découverte ne regroupe les fichiers dans une seule table que s'ils se trouvent dans le même dossier et ont un schéma compatible.

Lorsqu'une analyse de découverte de données analyse un chemin d'accès Cloud Storage, elle s'attend à ce que les fichiers d'un dossier et la structure de partition des dossiers soient cohérents. L'analyse signale une action si elle détecte l'un des éléments suivants :

  • Format de données non valide (INVALID_DATA_FORMAT) : des formats de données incohérents sont détectés dans le même dossier ou sur plusieurs partitions (par exemple, en mélangeant des fichiers .csv et .parquet dans le même répertoire).
  • Définition de partition non valide (INVALID_PARTITION_DEFINITION) : les clés de partition sont incohérentes ou manquantes. Par exemple, en utilisant Year=2023/Mon=Jan dans un chemin d'accès et Year=2023/Dept=Sales dans un autre.
  • Schéma de données incompatible (INCOMPATIBLE_DATA_SCHEMA) : des schémas incohérents ou incompatibles sont détectés dans les fichiers d'un même dossier ou d'une même table.

Pour les formats fortement typés comme Avro et Parquet, les incohérences de schéma sont dues aux éléments suivants :

  • Types de données incompatibles : une colonne est de type string dans un fichier et de type int ou boolean dans un autre.
  • Valeurs par défaut manquantes : de nouveaux champs sont ajoutés ou supprimés dans les fichiers plus récents sans spécifier de valeurs par défaut dans la définition du schéma, ce qui empêche l'évolution correcte du schéma.
  • Format de fichier corrompu : un ou plusieurs fichiers sont incorrects ou corrompus, ce qui empêche l'analyse de lire et d'extraire le schéma.

Pour résoudre ce problème, vérifiez la structure de vos fichiers et les définitions de schéma :

  • Organisez les fichiers par schéma et par format : vérifiez que tous les fichiers d'un même dossier partagent le même format et la même structure de schéma. Déplacez les fichiers comportant des colonnes, des types primitifs ou des formats différents vers des dossiers ou des préfixes distincts afin qu'ils puissent être enregistrés en tant que tables distinctes.
  • Utilisez des définitions de partition cohérentes : assurez-vous que les clés et les structures de partition sont cohérentes dans tous les dossiers de partition (par exemple, en utilisant systématiquement Year=YYYY/Month=MM/).
  • Suivez les règles d'évolution des schémas : lorsque vous mettez à jour des schémas (par exemple, en ajoutant ou en supprimant des champs de fichiers Avro), définissez toujours des valeurs par défaut afin que le service de découverte puisse fusionner les variantes de schéma.
  • Identifier les fichiers corrompus : vérifiez le résultat de l'analyse ou les journaux pour identifier si un fichier particulier ne parvient pas à être décodé. Déplacez temporairement des fichiers pour déterminer si un fichier spécifique est à l'origine de l'échec de l'analyse.

Les tables découvertes ne sont pas mises à jour en cas de modification du schéma

Après avoir modifié des fichiers dans Cloud Storage ou exécuté une nouvelle analyse, le schéma mis à jour n'est pas reflété dans les tables BigQuery publiées.

Ce problème se produit si l'étiquette metadata-managed-mode de la table publiée est définie sur user_managed. Par défaut, la découverte publie les tables en tant que discovery_managed. Si vous ou un autre utilisateur modifiez manuellement les propriétés du schéma de la table, vous devez remplacer l'étiquette par user_managed pour bloquer les mises à jour automatiques.

Pour résoudre ce problème, vérifiez les libellés de la table dans BigQuery :

  1. Dans la console Google Cloud , accédez à la page BigQuery.
  2. Dans le volet Explorateur, développez votre projet, sélectionnez l'ensemble de données, puis cliquez sur la table concernée.
  3. Cliquez sur l'onglet Détails.
  4. Dans la section Libellés, vérifiez la valeur de la clé metadata-managed-mode.
  5. Si vous souhaitez que l'analyse de découverte reprenne la gestion et la mise à jour du schéma, cliquez sur Modifier > Modifier les détails, remplacez la valeur par discovery_managed, puis cliquez sur Enregistrer.