Les environnements de données d'entreprise contiennent souvent des centaines d'ensembles de données, de tables et de modèles de données répartis sur plusieurs systèmes de stockage. Pour savoir qui est propriétaire de chaque ensemble de données, s'il contient des informations sensibles telles que des informations permettant d'identifier personnellement l'utilisateur ou s'il respecte les normes de qualité, vous devez généralement examiner manuellement les sources de données ou rechercher des documents dispersés.
Les aspects et les types d'aspects dans Knowledge Catalog (anciennement Dataplex Universal Catalog) résolvent ce problème en vous offrant un moyen standardisé et extensible d'associer un contexte métier structuré, des règles de gouvernance et des attributs opérationnels directement aux éléments de données.
Ce document décrit les concepts architecturaux, les règles de champ d'application et les limites de gouvernance pour les types d'aspects et les aspects dans Knowledge Catalog. Pour associer des aspects à des entrées existantes ou créer des types d'aspects personnalisés, consultez Gérer les aspects et enrichir les métadonnées.
Types d'aspects
Un type d'aspect (AspectType) est un modèle de schéma réutilisable qui définit les champs de métadonnées, les types de données et les règles de validation d'un aspect. Avant de pouvoir créer ou associer un aspect, vous devez disposer d'un type d'aspect qui définit son schéma.
Lorsque vous créez un type d'aspect personnalisé, vous devez spécifier un ID conforme aux consignes de dénomination des ressources Knowledge Catalog.
Catégories de types d'aspects
Les types d'aspects sont divisés en deux catégories en fonction de la propriété et du champ d'application : les types d'aspects personnalisés et les types d'aspects système.
Types d'aspects personnalisés
Les types d'aspects personnalisés sont des modèles de schéma créés et gérés par votre organisation. Ils vous permettent de capturer des métadonnées spécifiques à un domaine, telles que la propriété de l'entreprise, les niveaux de SLA, les règles de conservation des données ou les classifications de conformité.
Les types d'aspects personnalisés s'appliquent aux entrées et aux colonnes, mais pas aux liens d'entrée. Vous pouvez ainsi utiliser des types d'aspects personnalisés pour définir votre propre taxonomie spécifique à l'organisation pour les éléments de données et les champs de schéma individuels. Comme les types d'aspects personnalisés ne s'appliquent pas aux liens d'entrée, vous ne pouvez pas les utiliser pour définir des métadonnées de relation personnalisées entre les entrées. Les liens d'entrée ne sont compatibles qu'avec certains types d'aspects système. Vous pouvez définir un type d'aspect personnalisé dans un emplacement régional spécifique ou en tant que ressource global :
- Types d'aspects globaux : répliqués dans toutes les régions Google Cloud et pouvant être associés à des entrées résidant dans n'importe quelle région. La définition d'un type d'aspect global vous permet d'appliquer un schéma standardisé unique à l'ensemble de votre parc distribué sans gérer les doublons. Toutefois, étant donné que les définitions de schéma sont répliquées à l'échelle mondiale, choisissez un type d'aspect régional si les exigences du règlement de conformité ou de résidence des données de votre organisation exigent que les définitions de métadonnées restent strictement limitées à une limite géographique spécifique.
- Types d'aspects régionaux : stockés dans une région spécifique, telle que
us-central1oueurope-west1, et ne peuvent être associés qu'aux entrées qui résident dans cette même région. Choisissez un type d'aspect régional pour respecter les exigences de souveraineté des données ou lorsque les structures de métadonnées sont propres à une charge de travail régionale. Si vous avez besoin de la même structure de métadonnées dans plusieurs régions isolées, vous devez créer et gérer des définitions de types d'aspect distinctes dans chaque région cible.
Pour en savoir plus sur la définition du champ d'application des ressources, consultez Contraintes liées au projet et à l'emplacement.
Types d'aspects système
Les types d'aspects système sont des modèles prédéfinis fournis et gérés par Google Cloud . Les types d'aspects système sont toujours globaux et sont stockés dans un projet géré par Google avec le numéro de projet 655216118709 et l'alias dataplex-types. Exemple :
projects/655216118709/locations/global/aspectTypes/schema
Les types d'aspects du système se répartissent en deux groupes fonctionnels :
- Types d'aspects système réutilisables : modèles first party que vous pouvez associer à des entrées ou à des colonnes pour enregistrer des métadonnées standardisées, telles que des définitions de schéma, un profilage automatisé des données ou des fiches d'évaluation de la qualité des données.
- Types d'aspects système restreints : gérés automatiquement par les services Google Cloud pour représenter les attributs d'infrastructure sous-jacents, tels que les mises en page de table BigQuery ou les configurations de bucket Cloud Storage. Vous pouvez afficher les aspects sous des types restreints, mais vous ne pouvez pas les créer, les modifier ni les supprimer manuellement.
Chaque type d'aspect système dispose de ses propres autorisations IAM. Pour en savoir plus, consultez Autorisations IAM pour les types d'aspects, d'entrées et de liens d'entrée système.
Le tableau suivant liste les types d'aspects système fournis par Knowledge Catalog :
| Catégorie | Description | Types d'aspects fournis par Knowledge Catalog |
|---|---|---|
| Type d'aspect système réutilisable | Modèles prédéfinis que vous pouvez associer à des entrées, des colonnes ou des liens d'entrée. |
|
| Type d'aspect système restreint | Modèles d'infrastructure gérés automatiquement par les services Google Cloud . Les aspects sont en lecture seule. |
y compris, mais sans s'y limiter :
|
Types d'aspects personnalisés et Gemini dans BigQuery
Gemini dans BigQuery fonde la génération de code SQL et le raisonnement sur les données sur des définitions de schéma standards, des contraintes de table et des champs de description de table ou de colonne natifs. Les types d'aspects personnalisés définis par l'utilisateur dans Knowledge Catalog sont stockés dans le plan du catalogue pour la gouvernance, la recherche et la récupération d'API, mais ne sont pas injectés de manière dynamique dans le pipeline de récupération des requêtes contextuelles de Gemini.
Cela signifie que les fonctionnalités d'IA générative de BigQuery ne peuvent pas lire automatiquement les métadonnées stockées dans les champs d'aspect personnalisés lorsqu'elles génèrent des requêtes SQL ou répondent à des questions sur vos données.
Meilleure pratique recommandée
Pour vous assurer que les modèles d'IA générative dans BigQuery intègrent le contexte métier dans les requêtes générées, vous devez renseigner les descriptions de tables et de colonnes natives dans BigQuery, ainsi que les aspects de catalogue personnalisés. Cette double approche permet de s'assurer que les assistants IA opérationnels récupèrent le contexte des tables de manière interactive, tandis que les pipelines de gouvernance du catalogue appliquent les règles de métadonnées de l'entreprise.
Aspects
Un aspect (Aspect) est une instance concrète d'un type d'aspect associé à une entrée, une colonne ou une relation spécifique, contenant les valeurs de métadonnées réelles. Les aspects sont encapsulés directement dans leurs ressources parentes, ce qui vous permet d'effectuer des opérations de lecture et d'écriture atomiques en même temps que les mises à jour des entrées. Cela signifie que vous pouvez récupérer ou mettre à jour une entrée et toutes ses métadonnées associées en un seul appel d'API, ce qui évite les problèmes de cohérence liés aux appels multiples.
Emplacement et niveaux cibles des aspects
Vous pouvez associer des aspects à trois niveaux cibles distincts dans Knowledge Catalog :
- Aspects au niveau de l'entrée : décrivent l'élément de données dans son ensemble. Utilisez des aspects d'entrée pour la propriété au niveau de l'actif (
contacts), les synthèses (overview), les métriques d'utilisation de l'ensemble de données (usage) et les scores de qualité agrégés (data-quality-scorecard). - Aspects au niveau des colonnes (chemins de schéma) : décrivent des colonnes individuelles ou des champs imbriqués dans une table structurée. Lorsque vous référencez une colonne, associez l'aspect à l'aide de la notation de chemin de schéma
@Schema.<column_name>(par exemple,@Schema.email_addressou@Schema.billing_address.postal_code). Utilisez des aspects au niveau des colonnes pour la classification des informations permettant d'identifier personnellement l'utilisateur, les règles de qualité des données au niveau des colonnes et les tags sémantiques. - Aspects au niveau du lien d'entrée : décrivent la relation entre deux entrées associées. Vous pouvez associer des aspects à des liens d'entrée directionnels ou non directionnels (à l'exception des liens
schema-join) pour enregistrer les métadonnées de relation. Utilisez des aspects au niveau du lien d'entrée pour les scores de confiance de jointure, les règles de transformation ou les notes de traçabilité de mappage.
Le tableau suivant récapitule les emplacements d'aspects acceptés :
| Niveau cible | Ressource cible | Syntaxe de l'identifiant de clé | Types d'aspects courants |
|---|---|---|---|
| Débutant | Élément de données (table, modèle, ensemble de fichiers) | <aspect_type_id> |
contacts, overview, data-profile, SLA personnalisés |
| Au niveau des colonnes | Champ ou colonne dans un schéma d'entrée | <aspect_type_id>@Schema.<column_name> |
Classification des informations permettant d'identifier personnellement l'utilisateur, règles de masquage des colonnes, scores de validation des champs |
| Niveau du lien d'entrée | Relation sémantique entre les entrées | <aspect_type_id> |
Confiance de la relation, critères de jointure, traçabilité du mappage |
Catégories d'aspects
Selon le EntryType applicable, les aspects associés à une entrée sont classés comme obligatoires ou facultatifs :
- Aspects obligatoires : définis comme obligatoires par le
EntryTypede l'entrée. Les aspects obligatoires doivent être renseignés lors de la création de l'entrée et ne peuvent pas être supprimés tant que l'entrée existe. Pour les entrées système (telles que les tables BigQuery), les aspects requis tels queSchemasont renseignés et synchronisés automatiquement par Google Cloud. - Aspects facultatifs : métadonnées supplémentaires associées par les intendants des données, les pipelines automatisés ou les agents IA pour enrichir une entrée au-delà des exigences de son modèle de référence. Les aspects facultatifs peuvent être ajoutés, mis à jour ou supprimés à tout moment sans affecter le cycle de vie de l'entrée.
Types d'aspects du système spécialisés
Knowledge Catalog fournit des types d'aspects système réutilisables spécialisés qui enregistrent les résultats du profilage des données, de la qualité des données et de l'extraction des relations :
- Fiche d'évaluation de la qualité des données (
data-quality-scorecard) : enregistre les scores globaux de qualité des données, l'état de l'évaluation et les scores de dimension par colonne générés par les analyses de la qualité des données Dataplex. - Règles de données (
data-rules) et modèles de règles (data-quality-rule-template) : stockez et gérez des règles et des modèles de validation de données réutilisables qui peuvent être appliqués à plusieurs ensembles de données. - Profil de données (
data-profile) : stocke les métriques statistiques sur les données de la table, telles que les pourcentages de valeurs nulles, les valeurs distinctes et les fréquences de distribution. - Profil de graphe (
graph-profile) : capture les entités extraites par l'IA, les bords de relation et les Knowledge Graphs extraits de documents non structurés.
Contraintes de champ d'application du projet et de l'emplacement
Pour maintenir les limites de gouvernance des données et éviter les dépendances accidentelles de métadonnées entre régions, Knowledge Catalog applique les contraintes de champ d'application suivantes :
| Ressource | Règle d'emplacement | Règle de projet |
|---|---|---|
| Entries | L'emplacement de l'entrée doit correspondre à celui de son EntryType, ou le EntryType doit être global. |
Peut référencer des types d'entrées globaux ou du même projet. |
| Aspects des entrées | Le AspectType de l'aspect doit se trouver au même emplacement que l'entrée, ou le AspectType doit être global. |
Peut référencer des types d'aspects système globaux ou des types d'aspects personnalisés du même projet. |
| Liens d'entrée | L'emplacement du lien d'entrée doit correspondre à son EntryLinkType, ou le EntryLinkType doit être global. |
Peut associer des entrées résidant dans différents projets au sein de la même organisation. |
| Types d'entrées | Composé de types d'aspect stockés au même emplacement que le type d'entrée, ou de types d'aspect global. |
Si un type d'entrée fait référence à des types d'aspect personnalisés, ces types d'aspect doivent se trouver dans le même projet et au même emplacement. |
Étapes suivantes
Gérer les aspects et enrichir les métadonnées
Associez des aspects à des entrées, des colonnes et des liens d'entrée, et gérez les types d'aspects personnalisés à l'aide de la console, de la gcloud CLI ou des API.
À propos des métadonnées dans Knowledge Catalog
Explorez le métamodèle unifié, y compris les groupes d'entrées, les entrées, les types d'aspects et les graphiques de contexte actifs.
Ajouter des métadonnées à une table
Suivez un tutoriel par étapes pour découvrir des éléments et associer des métadonnées d'aspect personnalisées à une table BigQuery.
Rechercher et découvrir des assets
Recherchez des ressources dans Google Cloud et des sources personnalisées à l'aide de prédicats de recherche basés sur des aspects.