Résoudre les problèmes de lignée de données

Ce document vous aide à résoudre les problèmes les plus courants liés à l'absence d'affichage des graphiques de traçabilité des données dans Knowledge Catalog (anciennement Dataplex Universal Catalog).

Types de projets

Les éléments de données peuvent résider dans différents projets. Vous trouverez ci-dessous un résumé des projets possibles et de leurs noms d'éléments.

Projet de stockage BigQuery

Ce projet stocke vos éléments de données BigQuery. Vous pouvez le trouver dans les détails de l'élément en tant que partie de Table ID, avant le premier point.

Dans l'UI BigQuery, le nom du projet de stockage s'affiche dans le champ "ID de la table", avant le premier point du nom complet de la table. — **Figure 1.** Nom d'un projet de stockage BigQuery.

Projet Compute

Ce projet stocke les métadonnées de traçabilité des données. Pour BigQuery, c'est là que vous exécutez un job. Si vous exécutez un job à l'aide de la Google Cloud console, vous pouvez trouver le nom du projet Compute dans le sélecteur de projet :

L'UI BigQuery affiche un projet de calcul appelé "docs-compute" sur la page où vous exécutez des requêtes SQL. — **Figure 2.** Nom d'un projet Compute qui exécute des jobs BigQuery.

Lorsque vous envoyez des requêtes à l'API BigQuery, spécifiez le projet Compute dans l'URL, par exemple :

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Projet actif

Il s'agit du projet à partir duquel vous consultez la traçabilité des données. La Google Cloud console affiche le projet actif dans le sélecteur de projet. Si vous utilisez l'API, le projet actif est celui à partir duquel vous effectuez des appels d'API.

L'UI BigQuery affiche la provenance des données pour un ensemble de données appelé "source-001", qui se trouve dans un projet appelé "docs-source". — **Figure 3.** Projet actif dans la Google Cloud console.

La traçabilité des données BigQuery ne s'affiche pas

Le problème suivant se produit après l'exécution d'un job BigQuery. Dans ce cas, le problème peut être dû à trois scénarios :

L'API Data Lineage est désactivée dans le projet actif ou le projet Compute.
Vous ne disposez pas du rôle Lecteur de la traçabilité des données (roles/datalineage.viewer) dans le projet actif ou le projet Compute.
La traçabilité des données n'est pas encore arrivée. En fonction du volume et de la complexité des données traitées, l'affichage de la traçabilité des données peut prendre entre 30 minutes et 24 heures.

Si le message "Échec de l'extraction de la traçabilité en raison d'autorisations manquantes" s'affiche en bas de la page, vous ne disposez pas des autorisations nécessaires pour le projet actif. Sinon, vous ne disposez pas des autorisations nécessaires pour le projet Compute.

Graphique de traçabilité vide. — **Figure 4.** Exemple de traçabilité qui ne s'affiche pas dans l'interface utilisateur de BigQuery.

Pour résoudre ce problème, vérifiez si l'API Data Lineage est activée pour le projet Compute. Après avoir activé l'API, vous devez exécuter un job pour afficher la traçabilité des données. En fonction du volume et de la complexité des données traitées, l'affichage de la traçabilité des données peut prendre entre 30 minutes et 24 heures.

Ensuite, vérifiez si l'API Data Lineage est activée pour le projet actif.

Lorsque l'API Data Lineage est activée, accordez le rôle Lecteur de la traçabilité des données (roles/datalineage.viewer) dans le projet actif et le projet Compute.

Les métadonnées du processus BigQuery ne s'affichent pas

Le problème suivant se produit lorsque vous ouvrez le volet des détails de la table, qui n'affiche pas tous les détails tels que l'instruction SQL ou la propriété Process type. Cela se produit même si la traçabilité des données s'affiche correctement.

Cela peut se produire lorsque vous ne disposez pas des autorisations nécessaires pour afficher les métadonnées dans le projet Compute.

Exemple :

Table source BigQuery : docs-source.dataset.source-001
Table cible BigQuery : docs-target.dataset.target-001
Traçabilité des données entre docs-source.dataset.source-001 et docs-target.dataset.target-001 dans le projet Compute docs-compute
Vous disposez du rôle Lecteur de la traçabilité des données pour les projets actifs et Compute docs-compute.

Lorsque vous cliquez sur les détails du processus BigQuery, le message suivant s'affiche dans la Google Cloud console :

You don't have permission to view BigQuery process metadata in project X.

Dans l'UI BigQuery, dans l'onglet "Traçabilité", le volet "Détails" affiche un message d'erreur. — **Figure 5.** Exemple de détails du processus BigQuery qui ne s'affichent pas dans l'interface utilisateur de BigQuery.

Pour résoudre ce problème, accordez à l'utilisateur l'autorisation bigquery.jobs.get (par exemple, incluse dans le rôle Lecteur de ressources BigQuery ) dans le projet Compute.

Les détails de la table BigQuery ne s'affichent pas

Le problème suivant se produit lorsque vous ouvrez le volet des détails de la table, qui n'affiche que la propriété Fully qualified name. Cela se produit même si la traçabilité des données s'affiche correctement. Cela peut se produire lorsque vous ne disposez pas de toutes les autorisations requises dans les projets de stockage de la table.