Afficher les relations entre les données dans Knowledge Catalog

Knowledge Catalog (anciennement Dataplex Universal Catalog) découvre les liens potentiels entre les éléments de données, ce qui vous aide à découvrir les données associées et à comprendre la nature de la relation.

Avant de commencer

Avant d'afficher les relations entre les composants de données, assurez-vous de disposer des rôles requis.

Rôles requis

Pour afficher les relations entre les composants de données dans Knowledge Catalog, vous n'avez besoin d'aucun rôle IAM spécifique à Knowledge Catalog. Knowledge Catalog utilise vos autorisations existantes sur les systèmes sources où résident les composants (BigQuery, par exemple) pour déterminer si vous pouvez voir les relations. Par exemple, pour afficher les relations impliquant une table BigQuery, vous devez disposer de l'autorisation bigquery.tables.get.

Si vous n'êtes pas autorisé à afficher un élément dans son système source, le graphique des relations Knowledge Catalog masque toutes les relations impliquant cet élément. Cela garantit que la visibilité des relations respecte les limites de sécurité et les autorisations établies dans les systèmes sources.

À propos des relations entre les données

Les relations de données illustrent la façon dont les composants de données sont connectés. Par exemple, si vous trouvez une table contenant des données client, ses relations peuvent révéler des tables associées listant les commandes ou les demandes d'assistance. De plus, les relations agissent comme un guide structurel, fournissant un contexte essentiel aux grands modèles de langage. L'IA génère ainsi des réponses plus précises, en formulant des requêtes exactes pour récupérer des informations spécifiques.

Knowledge Catalog découvre et stocke automatiquement les relations courantes entre les éléments de données. Les données de relation proviennent de différentes sources, telles que les suivantes :

  • Knowledge Catalog des journaux de requêtes historiques qui analysent en permanence l'historique des requêtes pour détecter les schémas JOIN potentiels entre les tables.
  • Les insights sur les données suggèrent des relations entre les données à la demande en analysant les attributs de schéma et les chevauchements de données à l'aide de grands modèles de langage.

Éléments de données compatibles

Vous pouvez afficher les relations entre les données pour les tables et les vues BigQuery.

Afficher les relations entre les données

Pour afficher les relations entre les données des tables et des vues BigQuery, utilisez la consoleGoogle Cloud ou l'API Dataplex.

Console

Pour afficher les relations entre les données d'une table dans BigQuery, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Rechercher de Knowledge Catalog.

    Accéder à la recherche

  2. Recherchez une table BigQuery dont vous souhaitez afficher les relations.

  3. Dans les résultats de recherche, cliquez sur le nom de la table pour ouvrir la page de son entrée.

  4. Accédez à l'onglet Relations pour afficher les informations suivantes sur chaque relation de données :

    • Cible : nom de l'élément de données connecté.
    • Relation : colonnes spécifiques utilisées pour associer les composants.
    • Type : nature du lien. Par exemple, les jointures fréquentes et les relations découvertes par les insights sur les données s'affichent sous la forme JOIN.

    • Origine : origine de la relation.

      • Query history est l'origine des jointures fréquentes.
      • Data insights est l'origine des relations découvertes par les insights sur les données.

    • Action : exemple de requête que vous pouvez utiliser pour découvrir le lien entre les composants.

REST

Les relations découvertes sont stockées dans Knowledge Catalog sous la forme d'EntryLinks qui établissent une relation entre deux éléments de données (entrées) dans Knowledge Catalog. Les détails de la relation, tels que les colonnes jointes et la source de la relation, sont stockés en tant qu'aspects de EntryLinks.

Pour afficher les relations entre les données, utilisez les méthodes suivantes :

  • LookupEntryLinks récupère tous les EntryLinks qui référencent une entrée de données spécifique en tant que source ou cible pour renvoyer l'ensemble complet des relations associées à une entrée donnée.

  • LookupContext fournit un point de terminaison unique pour ancrer les agents d'IA avec des métadonnées contextuelles. Il renvoie un package de métadonnées concis et préformaté, y compris les éléments de données associés.

Emplacements

Vous pouvez utiliser les relations de données dans tous les emplacements BigQuery.

Limites

  • Knowledge Catalog analyse un échantillon de l'historique des requêtes pour identifier les relations, ce qui signifie que certaines requêtes peuvent ne pas aboutir à la découverte de liens.
  • La détection des relations peut prendre jusqu'à 72 heures après l'exécution de la requête.

Étapes suivantes