Afficher les relations entre les données dans Knowledge Catalog

Knowledge Catalog (anciennement Dataplex Universal Catalog) découvre les liens potentiels entre les éléments de données, ce qui vous aide à identifier les données associées et à comprendre la nature de la relation.

Avant de commencer

Avant d'afficher les relations entre les composants de données, assurez-vous de disposer des rôles requis.

Rôles requis

Pour afficher les relations entre les éléments de données dans Knowledge Catalog, vous n'avez besoin d'aucun rôle IAM spécifique à Knowledge Catalog. Knowledge Catalog utilise vos autorisations existantes sur les systèmes sources où résident les assets (BigQuery, par exemple) pour déterminer si vous pouvez voir les relations. Par exemple, pour afficher les relations impliquant une table BigQuery, vous avez besoin de l'autorisation bigquery.tables.get.

Si vous n'êtes pas autorisé à afficher un élément dans son système source, toutes les relations impliquant cet élément sont masquées dans le graphique des relations Knowledge Catalog. Cela garantit que la visibilité des relations respecte les limites de sécurité et les autorisations établies dans les systèmes sources.

À propos des relations entre les données

Les relations de données illustrent la façon dont les composants de données sont connectés. Par exemple, si vous trouvez une table contenant des données client, ses relations peuvent révéler des tables associées listant les commandes ou les demandes d'assistance. De plus, les relations servent de guide structurel et fournissent un contexte essentiel aux grands modèles de langage. L'IA génère ainsi des réponses plus précises et formule des requêtes exactes pour récupérer des informations spécifiques.

Knowledge Catalog détecte et stocke automatiquement les relations courantes entre les composants de données. Les données sur les relations proviennent de différentes sources, telles que les suivantes :

  • Knowledge Catalog enregistre l'historique des requêtes et l'analyse en continu pour détecter les schémas potentiels de JOIN entre les tables.
  • Les insights sur les données suggèrent des relations entre les données à la demande en analysant les attributs de schéma et les chevauchements de données à l'aide de grands modèles de langage.

Éléments de données compatibles

Vous pouvez afficher les relations entre les données pour les tables et les vues BigQuery.

Afficher les relations entre les données

Pour afficher les relations entre les données des tables et des vues BigQuery, utilisez la consoleGoogle Cloud ou l'API Dataplex.

Console

Pour afficher les relations de données d'une table dans BigQuery :

  1. Dans la console Google Cloud , accédez à la page Rechercher de Knowledge Catalog.

    Accéder à la recherche

  2. Recherchez une table BigQuery pour laquelle vous souhaitez afficher les relations.

  3. Dans les résultats de recherche, cliquez sur le tableau pour ouvrir sa page d'entrée.

L'onglet Relations liste les relations et les informations suivantes :

  • Cible : nom de l'élément de données connecté.
  • Relation : colonnes spécifiques utilisées pour associer les composants.
  • Type : nature du lien. Exemple :JOIN
  • Origine : origine de la relation. (par exemple, l'historique des requêtes).
  • Action : exemple de requête permettant de découvrir le lien entre les composants.

REST

Les relations découvertes sont stockées dans Knowledge Catalog sous la forme de EntryLinks qui établissent une relation entre deux éléments de données (entrées) dans Knowledge Catalog. Les détails de la relation, tels que les colonnes jointes et la source de la relation, sont stockés en tant qu'aspects de EntryLinks.

Pour afficher les relations entre les données, utilisez les méthodes suivantes :

  • LookupEntryLinks récupère tous les EntryLinks qui font référence à une entrée de données spécifique en tant que source ou cible pour renvoyer l'ensemble complet des relations associées à une entrée donnée.

  • LookupContext fournit un point de terminaison unique pour ancrer les agents d'IA avec des métadonnées contextuelles. Il renvoie un package concis et préformaté de métadonnées, y compris les composants de données associés.

Emplacements

Vous pouvez utiliser les relations de données dans tous les emplacements BigQuery.

Limites

  • La découverte automatique des relations à partir des journaux de requêtes n'est disponible que pour les tables et les vues BigQuery.
  • Knowledge Catalog analyse un échantillon de l'historique des requêtes pour identifier les relations. Cela signifie que certaines requêtes peuvent ne pas permettre de découvrir des liens.
  • La découverte des relations peut prendre jusqu'à 48 heures après l'exécution de la requête.

Étapes suivantes