Utiliser Knowledge Catalog avec BigQuery

Knowledge Catalog (anciennement Dataplex Universal Catalog) interagit avec BigQuery en tant que couche centrale de gouvernance des données et d'accès agentique pour les métadonnées de BigQuery. Pour en savoir plus, consultez la présentation de Knowledge Catalog.

Comment utiliser Knowledge Catalog avec BigQuery ?

Knowledge Catalog interagit avec BigQuery de la manière suivante.

Ingestion automatisée des métadonnées

Knowledge Catalog découvre et indexe automatiquement les métadonnées techniques des éléments BigQuery. parmi lesquels :

• Types d'éléments : ensembles de données, tables, vues, modèles, routines, connexions, ensembles de données associés et graphiques (preview).
• BigQuery Sharing : échanges et fiches de BigQuery Sharing (anciennement Analytics Hub).
• Mises à jour en temps réel : le système est compatible avec l'ingestion en temps quasi réel et fournit des flux de modifications de métadonnées à l'aide de Pub/Sub pour informer les systèmes en aval des modifications ou des suppressions de schémas dans BigQuery.
• Découverte des données sombres : Knowledge Catalog peut analyser des fichiers non structurés (comme des PDF dans Cloud Storage), extraire des entités et les convertir en éléments interrogeables dans BigQuery. Cette fonctionnalité permet de rendre disponibles les "données sombres" auparavant inaccessibles pour l'analyse basée sur BigQuery et l'ancrage de l'IA.

Représentation et enrichissement des métadonnées

• Entrées : chaque table ou élément BigQuery est représenté par une entrée dans le catalogue, plutôt que par la table entière (par exemple, project.dataset.table).
• Intégration du tableau de données sur la qualité des données : Knowledge Catalog fournit un tableau de données sur la qualité des données pour chaque entrée du catalogue. En plus des analyses de données Knowledge Catalog intégrées, les résultats des assertions de Dataform sont une source pour ce tableau de données.

• Enrichissement automatique des métadonnées : pour les tables et les vues créées avec Dataform, vous pouvez définir des métadonnées sémantiques directement dans votre code. Ces métadonnées sont automatiquement synchronisées avec Knowledge Catalog une fois qu'une action de pipeline a été effectuée. Les types d'aspects suivants sont acceptés :

  • Présentation : documentation et résumé de l'entrée.
  • Aspects génériques : tags de métadonnées sémantiques pour les détails techniques, tels que les informations sur le système et le type de table.

  Pour vérifier l'état d'une mise à jour de métadonnées, suivez les instructions de la section Afficher les exécutions manuelles précédentes.

  Une fois les métadonnées synchronisées, vous pouvez rechercher et afficher l'entrée dans Knowledge Catalog. Pour en savoir plus, consultez Rechercher des ressources.

• Métadonnées au niveau des colonnes : les colonnes ou les champs individuels sont représentés sous forme de chemins, ce qui vous permet d'associer des métadonnées spécifiques, comme des marqueurs d'informations permettant d'identifier personnellement l'utilisateur ou des scores de qualité des données, à des champs individuels d'une table BigQuery plutôt qu'à la table elle-même.

• Aspects : les métadonnées techniques sont enrichies d'aspects, qui ajoutent un contexte métier aux données, comme la propriété, la qualité des données et la documentation.

• Produits de données : vous pouvez regrouper des éléments BigQuery associés dans des produits de données (par exemple, des données d'entreprise d'e-commerce) qui partagent des contraintes d'accès et de gouvernance.

Découverte et recherche de données

• Recherche sémantique : les utilisateurs peuvent utiliser le langage naturel pour rechercher des données BigQuery, ce qui est particulièrement utile pour les data scientists et les agents IA qui souhaitent trouver des produits de données de confiance à l'aide de requêtes longues ou complexes.
• Traduction de noms : pour faciliter la recherche programmatique, le système permet de traduire les noms SQL BigQuery, ou les noms complets, en noms d'entrées Knowledge Catalog.

Accès et ancrage agentiques

• Accès agentique : les agents IA peuvent découvrir et utiliser de manière adaptative les outils de Knowledge Catalog via un serveur MCP local ou distant.
• Contexte pour les agents IA : Knowledge Catalog organise un graphique de contexte qui associe les ensembles de données BigQuery à la sémantique métier, ce qui permet de réduire les hallucinations de l'IA en s'assurant que les modèles utilisent des données approuvées par l'entreprise.

Gouvernance et conformité

• Traçabilité des données : Knowledge Catalog suit automatiquement la façon dont les données circulent et se transforment dans et hors des tables BigQuery. Cette fonctionnalité est essentielle pour auditer les informations sensibles, telles que les informations permettant d'identifier l'utilisateur, dans l'ensemble du patrimoine de données.
• Contrôle des accès : la gestion des métadonnées est intégrée à Identity and Access Management (IAM) et à VPC Service Controls pour s'assurer que la découverte et l'accès aux métadonnées BigQuery respectent les règles de sécurité de l'organisation.

Étapes suivantes

En savoir plus sur Knowledge Catalog :

• Cas d'utilisation de Knowledge Catalog
• Questions fréquentes sur Knowledge Catalog
• À propos de la gestion des métadonnées dans Knowledge Catalog