Afficher les relations entre les données dans Knowledge Catalog

Les relations de données dans Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permettent de trouver des tables et des vues BigQuery associées, et d'inspecter leur connexion. Vous pouvez ensuite explorer les ensembles de données associés ou fournir un contexte structurel aux agents IA pour une génération de requêtes plus précise.

Avant de commencer

Avant d'afficher les relations entre les éléments de données, assurez-vous de disposer des rôles requis.

Rôles requis

Pour afficher les relations entre les éléments de données dans Knowledge Catalog, vous n'avez pas besoin de rôles IAM spécifiques à Knowledge Catalog. Knowledge Catalog utilise vos autorisations existantes sur les systèmes sources où résident les éléments, tels que BigQuery, pour déterminer votre capacité à voir les relations. Par exemple, pour afficher les relations impliquant une table BigQuery, vous devez disposer de l'autorisation bigquery.tables.get.

Si vous n'êtes pas autorisé à afficher un élément dans son système source, le graphique des relations Knowledge Catalog masque toutes les relations impliquant cet élément. Cela garantit que la visibilité des relations respecte les limites de sécurité et les autorisations établies dans les systèmes sources.

À propos des relations entre les données

Les relations entre les données illustrent la manière dont les éléments de données sont connectés. Par exemple, si vous localisez une table contenant des données client, ses relations peuvent révéler des tables associées listant les commandes ou les demandes d'assistance. De plus, les relations servent de guide structurel, fournissant un contexte essentiel aux grands modèles de langage. L'IA génère ainsi des réponses plus précises, en formulant des requêtes exactes pour récupérer des informations spécifiques.

Knowledge Catalog découvre et stocke automatiquement les liens potentiels et les relations communes entre les éléments de données, ce qui vous aide à comprendre la nature de chaque connexion. Les données de relation proviennent de différentes sources, telles que :

  • Knowledge Catalog des journaux de requêtes historiques qui analyse en continu l'historique des requêtes pour détecter les modèles JOIN potentiels entre les tables.
  • Les insights sur les données suggèrent des relations entre les données à la demande en analysant les attributs de schéma et les chevauchements de données à l'aide de grands modèles de langage.

Éléments de données compatibles

Vous pouvez afficher les relations de données pour les tables et les vues BigQuery.

Afficher les relations entre les données

Pour afficher les relations de données pour les tables et les vues BigQuery, utilisez la consoleGoogle Cloud ou l'API Dataplex.

Console

Pour afficher les relations de données d'une table dans BigQuery, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Rechercher de Knowledge Catalog.

    Accéder à la recherche

  2. Recherchez une table BigQuery dont vous souhaitez afficher les relations.

  3. Dans les résultats de recherche, cliquez sur le nom de la table pour ouvrir sa page d'entrée.

  4. Accédez à l'onglet Relations pour afficher les informations suivantes sur chaque relation de données :

    • Cible : nom de l'élément de données connecté.
    • Relation : colonnes spécifiques utilisées pour associer les éléments.
    • Type : nature du lien. Par exemple, les jointures fréquentes et les relations découvertes par les insights sur les données s'affichent sous la forme JOIN.

    • Origine : origine de la relation.

      • Query history est l'origine des jointures fréquentes.
      • Data insights est l'origine des relations découvertes par les insights sur les données.

    • Action : exemple de requête que vous pouvez utiliser pour découvrir le lien entre les composants.

REST

Les relations découvertes sont stockées dans Knowledge Catalog en tant que EntryLinks qui établissent une relation entre deux éléments de données (entrées) dans Knowledge Catalog. Les détails de la relation, tels que les colonnes jointes et la source de la relation, sont stockés en tant qu'aspects de EntryLinks.

Pour afficher les relations entre les données, utilisez les méthodes suivantes :

  • LookupEntryLinks récupère toutes les EntryLinks qui font référence à une entrée de données spécifique en tant que source ou cible pour renvoyer l'ensemble complet des relations associées à une entrée donnée.

  • LookupContext fournit un point de terminaison unique pour ancrer les agents IA avec des métadonnées contextuelles. Il renvoie un package de métadonnées concis et préformaté, y compris les éléments de données associés.

Emplacements

Vous pouvez utiliser les relations de données dans tous les emplacements BigQuery.

Limites

  • Knowledge Catalog analyse un échantillon de l'historique des requêtes pour identifier les relations, ce qui signifie que certaines requêtes peuvent ne pas aboutir à la découverte de liens.
  • La détection des relations peut prendre jusqu'à 72 heures après l'exécution de la requête.

Étapes suivantes