Data Catalog est obsolète. Si vous migrez des workflows, des scripts, des bibliothèques clientes ou des configurations Terraform programmatiques de Data Catalog vers Knowledge Catalog, vous devez mettre à jour votre code pour utiliser l'API Dataplex.
Ce document fournit un mappage complet des ressources, des fonctionnalités et des méthodes d'API Data Catalog à leurs équivalents dans l'API Dataplex.
Pour connaître la procédure de migration détaillée, consultez Passer de Data Catalog à Knowledge Catalog. Pour la documentation de référence de l'API, consultez la documentation de l'API REST Dataplex et la documentation de l'API RPC Dataplex.
Mappage des ressources
Le tableau suivant décrit la correspondance entre les ressources de Data Catalog et celles de Knowledge Catalog :
| Ressource Data Catalog | Ressource Knowledge Catalog | Description |
|---|---|---|
| Modèle de tag public | Type d'aspect (global) |
Les modèles de tags sont des ressources régionales dans Data Catalog qui peuvent être utilisées dans plusieurs régions. Ils correspondent aux types d'aspect global dans Knowledge Catalog. |
| Tag public | Aspect facultatif | Les tags publics correspondent à des aspects facultatifs associés à une entrée ou une colonne dans Knowledge Catalog. |
| Groupe d'entrées | Groupe d'entrées | Les groupes d'entrées servent de conteneurs d'organisation et de sécurité dans les deux services. Pour les sources Google Cloud , les groupes d'entrées système tels que @bigquery sont établis automatiquement par projet. |
| Entrée personnalisée | Entrée personnalisée (avec les aspects requis) | Les propriétés d'entrée personnalisées standards sont modélisées en tant qu'aspects requis définis par le EntryType de l'entrée personnalisée. |
| Entrée système (Google Cloud) | Entrée système (avec les aspects requis) | Les métadonnées décrivant les entités intégrées (telles que Schema pour les tables BigQuery) sont capturées dans les aspects requis des types d'aspect définis par le système. |
| Glossaires d'entreprise | Glossaires d'entreprise | Taxonomies de termes commerciaux qui normalisent le contexte commercial dans toute l'entreprise. |
Comparatif des fonctionnalités
Le tableau suivant compare les fonctionnalités de gestion des métadonnées de Knowledge Catalog et de Data Catalog :
| Fonctionnalité | Knowledge Catalog | Data Catalog |
|---|---|---|
| Sources Google Cloud acceptées | Toutes les sources décrites dans les sources Google Cloud acceptées. | Toutes les sources décrites dans la documentation de Data Catalog. |
| Ingestion de sources personnalisées | Ingestion dans des entrées personnalisées avec une structure régie, définie par des types d'entrée. Les entrées et groupes d'entrées personnalisés Data Catalog sont disponibles dans Knowledge Catalog sous le type d'entrée |
Ingestion dans des entrées personnalisées génériques. |
| Enrichissement des métadonnées | Capturé à l'aide de glossaires d'entreprise, d'aspects et de types d'aspects. Les liens d'entrée sont acceptés. Vous pouvez associer des aspects directement aux liens d'entrées. |
Capturé à l'aide de glossaires d'entreprise, de tags et de modèles de tag. Les liens vers les entrées ne sont pas acceptés. |
| Liens d'entrée | Compatible Les types intégrés tels que synonym, definition, related et schema-join vous permettent de connecter des entrées et des colonnes. |
Non disponible. |
| Flux de modifications des métadonnées | Notifications de modification des métadonnées en quasi-temps réel diffusées sur Pub/Sub. | Non disponible. |
| Rechercher | La recherche est effectuée sur toutes les sources Google Cloud compatibles, les entrées personnalisées, les aspects et le contenu Data Catalog migré au sein de la même organisation et du même périmètre VPC Service Controls. | La recherche porte sur les sources compatibles, les entrées personnalisées et les tags créés dans Data Catalog. |
| Traçabilité des données | Récupère les détails des entrées pour les nœuds d'éléments à l'aide de l'API Dataplex. Affiche les aspects associés dans la console Google Cloud . | Récupère les détails des entrées à l'aide de l'API Data Catalog. |
| Glossaires d'entreprise | Vous permet de créer des taxonomies de termes commerciaux et de les associer à des composants de données (entrées) et à des colonnes. | Vous permet d'associer des termes à des colonnes. |
Mapper les méthodes de l'API Data Catalog à Knowledge Catalog
Les tableaux suivants fournissent un mappage méthode par méthode entre l'API Data Catalog (google.cloud.datacatalog.v1) et l'API Dataplex (google.cloud.dataplex.v1.CatalogService).
Groupes d'entrées
Le concept de groupes d'entrées est cohérent dans les deux services :
| Méthode de l'API Data Catalog | Méthode de l'API Dataplex |
|---|---|
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
Entrées
Le concept d'entrées, qui représentent des composants de données, est cohérent dans les deux services :
| Méthode de l'API Data Catalog | Méthode de l'API Dataplex |
|---|---|
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Remarque : Vous pouvez également utiliser les méthodes |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
entries.lookup (REST)LookupEntry (RPC) |
projects.locations.lookupEntry (REST)LookupEntry (RPC)
Remarque : Pour utiliser |
projects.locations.entryGroups.entries.modifyEntryContacts (REST)ModifyEntryContacts (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Remarque : Utilisez |
projects.locations.entryGroups.entries.modifyEntryOverview (REST)ModifyEntryOverview (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Remarque : Utilisez |
projects.locations.entryGroups.entries.tags.reconcile (REST)ReconcileTags (RPC) |
projects.locations.metadataJobs.create (REST)CreateMetadataJob (RPC),projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Remarque : Utilisez |
catalog.search (REST)SearchCatalog (RPC) |
projects.locations.searchEntries (REST)SearchEntries (RPC)
Remarque : |
Modèles de tags et types d'aspects
Les types d'aspects remplacent les modèles de tags Data Catalog :
| Méthode de l'API Data Catalog | Méthode de l'API Dataplex |
|---|---|
projects.locations.tagTemplates.create (REST)CreateTagTemplate (RPC) |
projects.locations.aspectTypes.create (REST)CreateAspectType (RPC) |
projects.locations.tagTemplates.get (REST)GetTagTemplate (RPC) |
projects.locations.aspectTypes.get (REST)GetAspectType (RPC) |
projects.locations.tagTemplates.patch (REST)UpdateTagTemplate (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.delete (REST)DeleteTagTemplate (RPC) |
projects.locations.aspectTypes.delete (REST)DeleteAspectType (RPC) |
catalog.search (REST) avec type=tag_templateSearchCatalog (RPC) avec type=tag_template |
projects.locations.aspectTypes.list (REST)ListAspectTypes (RPC) |
Champs du modèle de tag
Les champs de modèle de balise correspondent au contenu du champ metadata_template dans un type d'aspect. Utilisez UpdateAspectType avec le metadata_template modifié pour créer, mettre à jour, renommer ou supprimer des champs :
| Méthode de l'API Data Catalog | Méthode de l'API Dataplex |
|---|---|
projects.locations.tagTemplates.fields.create (REST)CreateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.patch (REST)UpdateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.rename (REST)RenameTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.delete (REST)DeleteTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Valeurs d'énumération des champs de modèle de balise
Modifiez les valeurs d'énumération en mettant à jour le champ metadata_template dans le type d'aspect correspondant :
| Méthode de l'API Data Catalog | Méthode de l'API Dataplex |
|---|---|
projects.locations.tagTemplates.fields.enumValues.rename (REST)RenameTagTemplateFieldEnumValue (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Tags et aspects
Les aspects remplacent les tags Data Catalog. Les aspects sont encapsulés directement dans leurs entrées ou liens d'entrée parents, et sont gérés à l'aide de la méthode UpdateEntry avec update_mask :
| Méthode de l'API Data Catalog | Méthode de l'API Dataplex |
|---|---|
projects.locations.entryGroups.entries.tags.create (REST)CreateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.list (REST)ListTags (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC)
Remarque : Pour filtrer les aspects dans la réponse, utilisez les paramètres |
projects.locations.entryGroups.entries.tags.patch (REST)UpdateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.delete (REST)DeleteTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Tags avec stratégie et taxonomies
Les API pour les tags avec stratégie et les taxonomies ne changent pas et ne nécessitent pas de migration. Elles continuent d'être diffusées sous le point de terminaison datacatalog.googleapis.com (service Policy Tag Manager). L'API Data Catalog (datacatalog.googleapis.com) doit rester activée dans les projets qui utilisent le contrôle des accès au niveau des colonnes BigQuery ou le masquage dynamique des données.
Fonctionnalités non compatibles avec Knowledge Catalog
Les comportements et fonctionnalités Data Catalog suivants ne sont pas compatibles avec Knowledge Catalog ou fonctionnent différemment :
- Types d'aspects privés : le concept d'aspects et de types d'aspects privés (qui correspondent aux tags et modèles de tags privés dans Data Catalog) n'existe pas. Tous les types d'aspect personnalisés sont régis par les autorisations Identity and Access Management des projets et des groupes d'entrées.
- Recherche de tags avec stratégie : la recherche de tags avec stratégie à l'aide des prédicats
policytagoupolicytagidn'est pas compatible avec la recherche dans le catalogue. - Transfert des autorisations : lorsque vous importez des groupes d'entrées personnalisées, des entrées personnalisées, des modèles de tags et des tags Data Catalog dans Knowledge Catalog, leurs autorisations d'origine ne sont pas conservées. Vous devez configurer les autorisations IAM pour les ressources importées. Pour une comparaison détaillée des autorisations anciennes et de remplacement, consultez Mapper les autorisations IAM entre Data Catalog et Knowledge Catalog.
- Résultats d'inspection Sensitive Data Protection : l'envoi direct des résultats d'inspection Sensitive Data Protection à Knowledge Catalog n'est pas accepté. Envoyez plutôt les résultats d'inspection à Data Catalog, puis transférez-les vers Knowledge Catalog.
- Liste des types de projets : il n'est pas possible de lister les types d'entrées, les types de liens d'entrée et les types d'aspects dans les projets en un seul appel d'API. Les requêtes doivent être limitées à un seul projet.
- Recherche d'administrateurs : la recherche d'administrateurs (rappel complet) n'est pas acceptée. À la place, exportez les métadonnées vers Cloud Storage et interrogez-les à l'aide de BigQuery.
Étapes suivantes
Passer de Data Catalog
Guide pas à pas pour migrer les modèles de balises, les entrées personnalisées et les workflows.
À propos des métadonnées dans Knowledge Catalog
Découvrez le métamodèle flexible Knowledge Catalog et le graphique de contexte actif.
Documentation de référence de l'API REST Dataplex
Parcourez la documentation de référence de l'API REST pour le service Dataplex Catalog.
Documentation de référence de l'API RPC Dataplex
Parcourez la documentation de référence de l'API gRPC pour le service Dataplex Catalog.