(Obsolète) Concepts de maillage de données

Avertissement : La fonctionnalité de maillage de données de Google Cloud Cortex Framework est désormais obsolète et désactivée. Cette modification est due à l'évolution des services de gestion des données de Google Cloud. La solution de maillage de données a été conçue à l'aide de Data Catalog pour la gestion des métadonnées, qui est désormais remplacé par Knowledge Catalog, plus avancé . Knowledge Catalog fournit une API unifiée, des fonctionnalités de métadonnées améliorées et de nouvelles fonctionnalités pour une expérience de gouvernance des données plus complète.

Pour les utilisateurs existants de Cortex Framework qui ont implémenté la fonctionnalité de maillage de données, nous vous recommandons de passer à Knowledge Catalog pour bénéficier d'une assistance continue et accéder aux dernières fonctionnalités. Pour obtenir un guide de migration détaillé, consultez Passer à Knowledge Catalog.

Avant de consulter le guide détaillé sur le déploiement d'un maillage de données avec Google Cloud Cortex Framework, cette page fournit une base sur la manière dont les concepts de maillage de données pertinents sont généralement implémentés dans un Google Cloud produit et plus spécifiquement dans le contexte de Cortex Framework. Une fois que vous aurez compris les concepts de maillage de données, consultez le Guide de l'utilisateur du maillage de données pour Cortex Framework Data Foundation.

Remarque : Pour mieux comprendre les concepts généraux de maillage de données, consultez Créer un maillage de données moderne et distribué avec Google Cloud.

Knowledge Catalog

Le tableau suivant définit les concepts de maillage de données dans Knowledge Catalog :

Concept	Description	Contexte de Cortex Framework
Lac	Unité de premier niveau pour organiser les données dans un maillage de données. Gérer Knowledge Catalog – Lacs.	Une source de données, par exemple SAP ECC, Salesforce ou Google Ads.
Zone	Unité de deuxième niveau pour organiser les données dans un lac.	Couches de traitement spécifiques dans une source de données, comme les données brutes par rapport aux données CDC.
Élément Knowledge Catalog	Référence aux données stockées dans Cloud Storage ou BigQuery associées à une zone. Il s'agit d'une référence à l'élément de données et non aux données elles-mêmes.	Référence aux ensembles de données BigQuery enregistrés dans des zones.
Libellé	Paires clé/valeur arbitraires qui peuvent être appliquées à des lacs ou des zones.	Libellez des lacs ou des zones entiers (plutôt que tables ou des colonnes) avec des métadonnées qui peuvent être consultées dans Knowledge Catalog ou utilisées pour des applications personnalisées.
Data Catalog	Métadonnées techniques et métier qui peuvent être utilisées pour découvrir, comprendre ou gérer des éléments de données dans un entrepôt.	Annotez des tables ou des colonnes (plutôt que des lacs ou des zones) avec des tags de métadonnées enrichis qui peuvent être utilisés dans la recherche Knowledge Catalog ou des applications personnalisées.
Modèles de tags de catalogue	Modèle définissant les champs disponibles et leurs types dans un tag. Gérer Knowledge Catalog – Modèles de tags	Définissez un ensemble de modèles pour des utilisations telles que le tagging des éléments de données avec des secteurs d'activité.
Tag de catalogue	Ensemble de champs et de leurs valeurs qui contiennent des métadonnées applicables à une table ou une colonne. Instance d'un modèle de tag.	Annotez une table ou une colonne avec des valeurs de métadonnées pertinentes pour cet élément, telles qu'un secteur d'activité spécifique.
Glossaire du catalogue	Dictionnaire de termes qui peuvent être définis et associés à des colonnes BigQuery. Gérer Knowledge Catalog – Glossaires.	Définissez des termes ou des acronymes utilisés dans les éléments BigQuery. Notez que cette fonctionnalité est prévue pour l'avenir et n'est pas encore disponible.
Traçabilité des données	Graphique représentant les dépendances des éléments BigQuery.	Elles ne sont pas définies par le maillage de données Cortex, mais il s'agit d'un outil Knowledge Catalog pertinent pour aider les utilisateurs à découvrir les sources de données des éléments BigQuery.
Événement de traçabilité	Point dans le temps où une opération a eu lieu pour déplacer des données entre des éléments BigQuery. Contient une liste de liens.	Créé automatiquement pour les opérations BigQuery et Composer compatibles.
Lien de traçabilité	Arête représentant les données circulant d'un élément source vers un élément cible dans le cadre d'un événement de traçabilité.	Il peut être analysé pour prendre en charge des cas d'utilisation au-delà des graphiques de visualisation de la traçabilité présentés dans la console.

BigQuery

Le tableau suivant définit les concepts de maillage de données dans BigQuery :

Concept	Description	Contexte de Cortex Framework
Taxonomie des stratégies	Hiérarchie de tags avec stratégie. Gérer BigQuery – Tags avec stratégie.	Organisez les tags avec stratégie associés qui peuvent être utilisés pour le contrôle des accès dans une hiérarchie avec autorisations héritées.
Tag avec stratégie	Tag appliqué à des colonnes spécifiques d'une table ou d'une vue BigQuery. Les tags avec stratégie peuvent être appliqués à n'importe quel niveau de la hiérarchie. Un seul tag avec stratégie peut être appliqué à une colonne particulière.	Annotez les colonnes avec des tags utilisés pour le contrôle des accès au niveau des colonnes. Les comptes principaux du tag avec stratégie définissent les lecteurs "détaillés" ou "non masqués" qui peuvent voir les données brutes de la colonne.
Règles relatives aux données	Règles appliquées à un tag avec stratégie qui définissent comment et qui peut afficher les données masquées de la colonne.	Les comptes principaux de la règle relative aux données définissent les "lecteurs masqués" qui peuvent voir les données masquées de la colonne. Toute personne ne disposant pas de privilèges de lecteur masqué ou non masqué ne pourra pas interroger la colonne.
Règle de masquage	Règles appliquées à une règle relative aux données qui définissent comment les données sont masquées, par exemple, hachage, affichage d'une valeur par défaut, des quatre derniers caractères, et autres.	Appliqué de manière situationnelle aux colonnes sensibles.
Règle d'accès aux lignes	Instructions SQL qui définissent les groupes pouvant interroger des lignes dans des tables en fonction de valeurs de colonnes spécifiques.	Utilisé pour le contrôle des accès au niveau des lignes lorsque le contrôle au niveau des éléments et des colonnes est insuffisant.

Concept de maillage de données Cortex

Le tableau suivant définit des concepts de maillage de données spécifiques dans Cortex Framework :

Concept	Description	Contexte de Cortex Framework
Ressource de métadonnées	Entités de métadonnées qui peuvent être réutilisées dans plusieurs éléments BigQuery. Par exemple, les lacs, les modèles de tags de catalogue et les taxonomies de stratégies. Il s'agit spécifiquement des métadonnées et non des données elles-mêmes dans BigQuery.	Définit des ressources réutilisables pour permettre une gestion cohérente du maillage de données Cortex.
Élément BigQuery	Table ou vue BigQuery.	Objets Cortex BigQuery existants régis par le maillage de données.
Annotation d'élément BigQuery	Métadonnées appliquées à une table ou une vue BigQuery spécifique. Cela inclut les descriptions, les règles d’accès, et les mappages vers les ressources de métadonnées.	Associez des métadonnées à des éléments BigQuery pour permettre la découverte et le contrôle des accès.
Spécification de ressource	Fichier YAML définissant une ressource de métadonnées ou une annotation d'élément BigQuery.	L'ensemble complet des spécifications de ressources codifie la configuration du maillage de données à déployer.