Passer de Data Catalog à Knowledge Catalog

Knowledge Catalog (anciennement Dataplex Universal Catalog) remplace Data Catalog. Il offre une gestion plus complexe des métadonnées, des fonctionnalités avancées de gouvernance des données, une recherche de données plus performante, un contrôle des accès moins complexe et une API unifiée pour faciliter le développement. Ce document vous explique comment migrer votre contenu et votre utilisation de Data Catalog vers Knowledge Catalog.

Si vous n'avez jamais utilisé de catalogue, commencez par configurer Knowledge Catalog comme expérience de catalogue par défaut.

Knowledge Catalog dispose d'une interface Web et d'une API unifiées. En passant à Knowledge Catalog, vos charges de travail et utilisateurs existants et futurs bénéficient de fonctionnalités améliorées. Pour en savoir plus, consultez À propos de la gestion des métadonnées dans Knowledge Catalog.

Pour comparer Knowledge Catalog et Data Catalog, consultez Knowledge Catalog et Data Catalog.

Avant de commencer

Avant de commencer la transition, consultez les fonctionnalités de gestion des métadonnées non compatibles avec Knowledge Catalog.

Vue d'ensemble de la transition

La page Gérer la transition vers Knowledge Catalog de la console Google Cloud fournit un point d'accès unique pour gérer la transition.

Cette section décrit les différents scénarios de transition et présente le processus de transition pour chacun d'eux.

Si vous ne disposez d'aucune métadonnée personnalisée dans Data Catalog ou si vous n'avez jamais utilisé Data Catalog

Si vous utilisez Data Catalog et que vous n'avez pas de métadonnées personnalisées (tags, modèles de tags, entrées personnalisées ou groupes d'entrées, par exemple), ou si vous n'avez jamais utilisé Data Catalog, effectuez la transition en définissant Knowledge Catalog comme UI de catalogue par défaut.

Si vous disposez de métadonnées personnalisées Data Catalog ou de charges de travail programmatiques

Si vous utilisez Data Catalog avec des métadonnées personnalisées (comme des tags, des modèles de tags, des entrées personnalisées ou des groupes d'entrées), Knowledge Catalog peut importer automatiquement ces métadonnées personnalisées en tant qu'éléments read-only. Pour activer cette fonctionnalité, vous devez modifier la configuration, comme indiqué dans la phase préparatoire.

La deuxième phase est la phase de mise à niveau, au cours de laquelle l'état actif (read-write) de vos métadonnées personnalisées est transféré vers Knowledge Catalog. Au cours de cette phase, vous devez également mettre à jour toutes les charges de travail programmatiques (telles que les API, les bibliothèques clientes, les modules Terraform et les commandes Google Cloud CLI) pour qu'elles interagissent avec Knowledge Catalog.

Vous trouverez ci-dessous des informations plus détaillées sur chaque phase du processus de transition :

  1. Phase préparatoire : effectuez les tâches de configuration nécessaires pour rendre le contenu Data Catalog simultanément disponible dans Knowledge Catalog en tant qu'éléments read-only. Pendant cette phase, Data Catalog reste la source de référence pour le contenu de vos métadonnées.

    La phase préparatoire comprend les tâches suivantes :

    1. Rendez publics les modèles de tags privés Data Catalog.
    2. Configurez les autorisations IAM Knowledge Catalog pour vos métadonnées personnalisées.

    Pour en savoir plus, consultez Phase préparatoire.

  2. Phase de mise à niveau : transférez votre utilisation du catalogue et l'état actif (read-write) de vos métadonnées personnalisées vers Knowledge Catalog.

    La phase de mise à niveau comprend les tâches suivantes :

    1. Définissez l'UI de catalogue par défaut sur Knowledge Catalog.
    2. Mettez à niveau les métadonnées personnalisées Data Catalog vers Knowledge Catalog.
    3. Mettez à jour les charges de travail programmatiques.

    Une fois la phase de mise à niveau terminée, Knowledge Catalog devient la source de référence pour toutes vos métadonnées. Vous n'avez plus besoin d'utiliser Data Catalog.

    Pour en savoir plus, consultez Phase de mise à niveau.

Rôles requis

Pour obtenir les autorisations nécessaires pour passer de Data Catalog à Knowledge Catalog, accordez les rôles IAM suivants sur la ressource :

  • Rendre publics des modèles de tags privés : Propriétaire de modèles de tags Data Catalog (roles/datacatalog.tagTemplateOwner)

    Ce rôle prédéfini contient l'autorisation datacatalog.tagTemplates.update, qui est requise pour rendre publics des modèles de tags privés.

  • Définir l'UI de catalogue par défaut sur Knowledge Catalog : Administrateur de configurations de migration DataCatalog (roles/datacatalog.migrationConfigAdmin)

    Ce rôle prédéfini contient l'autorisation datacatalog.migrationConfig.set, qui est requise pour définir l'UI de catalogue par défaut.

  • Mettre à niveau les modèles de tags publics Data Catalog vers Knowledge Catalog : Propriétaire de modèles de tags Data Catalog (roles/datacatalog.tagTemplateOwner)

    Ce rôle prédéfini contient l'autorisation datacatalog.tagTemplates.update, qui est requise pour mettre à niveau les modèles de tags publics.

  • Mettre à niveau les groupes d'entrées Data Catalog vers Knowledge Catalog : Propriétaire du groupe d'entrées DataCatalog (roles/datacatalog.entryGroupOwner)

    Ce rôle prédéfini contient l'autorisation datacatalog.entryGroups.update, qui est nécessaire pour mettre à niveau les groupes d'entrées.

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Phase préparatoire

Cette phase implique des tâches visant à rendre le contenu des métadonnées Data Catalog simultanément disponible dans Knowledge Catalog, en mode read-only.

Voici les points clés à retenir pendant la phase préparatoire :

  • Data Catalog reste la source de référence pour vos métadonnées personnalisées.
  • La recherche dans Knowledge Catalog peut ne pas inclure tous les modèles de tags et tags publics Data Catalog tant que vous n'avez pas terminé la phase préparatoire.

Les groupes d'entrées personnalisés, les entrées, les tags et les modèles de tags publics Data Catalog sont automatiquement disponibles dans Knowledge Catalog en tant que ressources read-only.

Le tableau suivant présente le mappage entre les ressources Data Catalog et Knowledge Catalog lorsque les ressources Data Catalog sont disponibles simultanément dans Knowledge Catalog :

Mappage entre Data Catalog et Knowledge Catalog
Ressource Data Catalog Ressource Knowledge Catalog correspondante Description
Modèle de tag Type d'aspect (global)

Les modèles de tags dans Data Catalog sont des ressources régionales. Leur contenu est disponible simultanément en tant que types d'aspects globaux dans Knowledge Catalog. Cela permet de préserver les références multirégionales entre les tags et les modèles de tags. Les définitions des types d'aspects globaux sont répliquées dans toutes les régions Google Cloud .

Les concepts standards tels que Schema sont représentés par des types d'aspects système fournis par Knowledge Catalog. Pour en savoir plus, consultez Catégories de types d'aspects.

Tag Aspect facultatif Les tags sont disponibles simultanément en tant qu'aspects facultatifs dans Knowledge Catalog. Pour en savoir plus, consultez Catégories d'aspects.
Groupe d'entrées Groupe d'entrées Les groupes d'entrées pour les entrées système sont établis par projet et par région dans Knowledge Catalog. Les groupes d'entrées créés dans Data Catalog sont disponibles simultanément dans Knowledge Catalog.
Entrée personnalisée Entrée personnalisée Toutes les entrées personnalisées de Data Catalog sont disponibles simultanément en tant qu'entrées de GenericEntryType dans Knowledge Catalog. Pour en savoir plus, consultez Catégories de types d'entrées.
Entrée système (Google Cloud) Aspect nécessitant une entrée système Les métadonnées décrivant les entrées système, telles que Schema pour les tables BigQuery, sont capturées dans les aspects requis des types d'aspect définis par le système.

Rendre publics les modèles de tags privés Data Catalog

Knowledge Catalog n'est pas compatible avec le concept d'aspects privés (qui correspondent aux tags privés). Par conséquent, les tags et modèles de tags privés ne sont pas disponibles simultanément dans Knowledge Catalog. Pour propager des modèles de tags et des tags privés dans Knowledge Catalog, vous devez les rendre publics.

Avant de continuer, examinez la structure des modèles de tags privés pour vérifier que leur structure et leurs métadonnées sont cohérentes avec la visibilité des tags publics.

Pour rendre publics des tags et modèles de tags privés, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Modèles de balises.

    Accéder aux modèles de tag

  2. Cliquez sur Gérer la transition vers Knowledge Catalog.

  3. Cliquez sur l'onglet Modèles de tags privés.

  4. Cliquez sur Gérer les modèles de tags.

  5. Sur la page Modèles de tags, cliquez sur le modèle de tag privé que vous souhaitez modifier.

  6. Sur la page Détails du modèle, cliquez sur Modifier.

  7. Dans la section Visibilité, sélectionnez Public.

  8. Cliquez sur Mettre à jour.

REST

Pour rendre publics les modèles de tags privés, utilisez la méthode tagTemplates.patch.

Configurer les autorisations IAM Knowledge Catalog pour vos métadonnées personnalisées

Les types d'aspects et les groupes d'entrées personnalisés Knowledge Catalog qui représentent des modèles de tags et des groupes d'entrées de Data Catalog n'héritent pas des autorisations IAM d'origine de Data Catalog. Les autorisations IAM spécifiques requises diffèrent également entre Knowledge Catalog et Data Catalog.

Par exemple, si vous souhaitez créer des aspects à l'aide d'un type d'aspect propagé (qui représente un modèle de tag Data Catalog), vous devez configurer les autorisations IAM nécessaires pour ce type d'aspect. De même, lorsque vous ingérez des métadonnées personnalisées, vous devez configurer les autorisations IAM nécessaires pour créer des entrées personnalisées dans un groupe d'entrées personnalisées propagé.

Si vous utilisez des rôles IAM Data Catalog pour gérer l'accès dans Data Catalog au niveau d'un projet ou à un niveau supérieur, les autorisations Knowledge Catalog nécessaires sont automatiquement incluses. Toutefois, si vous utilisez des rôles personnalisés ou si vous attribuez des rôles IAM directement à des ressources spécifiques, vous devez configurer manuellement les autorisations Knowledge Catalog pour ces aspects spécifiques et ces groupes d'entrées personnalisés.

Pour en savoir plus sur la correspondance entre les autorisations IAM dans Data Catalog et celles dans Knowledge Catalog, consultez Mappage des autorisations IAM entre Data Catalog et Knowledge Catalog.

Pour configurer les autorisations IAM Knowledge Catalog nécessaires pour les types d'aspects et les groupes d'entrées personnalisés, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Modèles de balises.

    Accéder aux modèles de tag

  2. Cliquez sur Gérer la transition vers Knowledge Catalog.

  3. Cliquez sur l'onglet Autorisations IAM de Dataplex.

  4. Pour configurer les autorisations IAM Knowledge Catalog pour les types d'aspects, cliquez sur Types d'aspects et modèles de tags.

    1. Pour le modèle de tag propagé depuis Data Catalog, cliquez sur  > Autorisations.

    2. Cliquez sur Ajouter des comptes principaux.

    3. Ajoutez un compte principal et attribuez-lui les rôles requis.

    4. Cliquez sur Enregistrer.

  5. Pour configurer les autorisations IAM de Knowledge Catalog pour les groupes d'entrées, cliquez sur Groupes d'entrées.

    1. Pour le groupe d'entrées propagé depuis Data Catalog, cliquez sur  > Autorisations.

    2. Cliquez sur Ajouter des comptes principaux.

    3. Ajoutez un compte principal et attribuez-lui les rôles requis.

    4. Cliquez sur Enregistrer.

REST

Pour configurer les autorisations IAM de Knowledge Catalog pour les types d'aspects, utilisez la méthode aspectTypes.setIamPolicy.

Pour configurer les autorisations IAM de Knowledge Catalog pour les groupes d'entrées, utilisez la méthode entryGroups.setIamPolicy.

Phase de mise à niveau

Cette phase implique des tâches permettant de déplacer l'état actif (read-write) de vos métadonnées personnalisées Data Catalog vers Knowledge Catalog.

Voici les points clés à retenir pendant la phase de mise à niveau :

  • Vous pouvez découvrir et lire les métadonnées Data Catalog et Knowledge Catalog dans Knowledge Catalog.
  • Pour mettre à jour les métadonnées dans la console Google Cloud , vous serez redirigé vers leur source. Par exemple, si vous mettez à jour des modèles de tags Data Catalog, vous serez redirigé vers la page des modèles de tags dans Data Catalog.

Définir l'UI de catalogue par défaut sur Knowledge Catalog

Si vous définissez l'UI de catalogue par défaut sur Knowledge Catalog, les effets seront les suivants :

  • L'interface Web vous encourage à créer des ressources dans Knowledge Catalog. Par exemple, la valeur par défaut est Créer des types d'aspects au lieu de Créer des modèles de tags, et Créer un groupe d'entrées (Knowledge Catalog) au lieu de Créer un groupe d'entrées (Data Catalog).

  • Définir l'UI de catalogue par défaut sur Knowledge Catalog est généralement une opération à sens unique. Toutefois, Knowledge Catalog vous permet de revenir en arrière dans des cas exceptionnels, par exemple lorsque vous souhaitez redéfinir l'UI de catalogue par défaut sur Data Catalog. Si vous rétablissez les modifications, vous ne pourrez plus accéder aux contenus créés dans Knowledge Catalog dans l'interface Web Data Catalog.

Pour définir l'UI de catalogue par défaut sur Knowledge Catalog, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Modèles de balises.

    Accéder aux modèles de tag

  2. Cliquez sur Gérer la transition vers Knowledge Catalog.

  3. Cliquez sur l'onglet UI de catalogue par défaut.

  4. Cliquez sur Définir l'UI de catalogue par défaut sur Knowledge Catalog.

REST

Pour définir l'UI de catalogue par défaut sur Knowledge Catalog, utilisez la méthode setConfig.

Mettre à niveau les métadonnées personnalisées Data Catalog vers Knowledge Catalog

Vous pouvez migrer les modèles de tags publics Data Catalog et les groupes d'entrées personnalisés vers Knowledge Catalog. Veillez à mettre à niveau chaque modèle de tag et chaque groupe d'entrées personnalisées séparément.

Voici un résumé du processus de mise à niveau :

  • Effet

    • Transfère l'état actif des ressources de Data Catalog vers Knowledge Catalog. Après la mise à niveau, vous devez utiliser Knowledge Catalog pour modifier la ressource ou accéder à son état actuel.

  • Modifications apportées au contenu et au flux de données

    • Marque la ressource comme read-only dans Data Catalog.
    • Marque la ressource comme read-write dans Knowledge Catalog.
    • Arrête la disponibilité simultanée de cette ressource.

  • Dépendances

    • La mise à niveau d'un modèle de tag entraîne également celle de tous les tags qui l'utilisent.
    • La mise à niveau des groupes d'entrées entraîne celle de toutes les entrées qu'ils contiennent.
    • La mise à niveau des entrées n'affecte pas l'état de mise à niveau de leurs tags et des modèles de tags correspondants.

Avant la mise à niveau, vous pouvez utiliser l'API Data Catalog et l'API Dataplex pour modifier le contexte métier d'une entrée (par exemple, overview, contacts). Après la mise à niveau, vous ne devez utiliser que l'API Dataplex.

Vous trouverez ci-dessous la description des opérations autorisées pour une entrée Data Catalog personnalisée taguée, en fonction de l'état de mise à niveau du groupe d'entrées personnalisées et du modèle de tag associés :

  • Lorsqu'un modèle de tag est actif dans Data Catalog, vous pouvez l'utiliser pour créer des tags. Une fois le modèle de balise mis à niveau vers Knowledge Catalog, vous ne pouvez plus l'utiliser pour créer des balises dans Data Catalog.
  • Vous ne pouvez créer des aspects à l'aide de types d'aspects propagés à partir de modèles de tags Data Catalog qu'après avoir mis à niveau les modèles de tags.

Pour mettre à niveau les modèles de tags et les groupes d'entrées personnalisées Data Catalog vers Knowledge Catalog, procédez comme suit :

Console

  1. Dans la console Google Cloud , accédez à la page Modèles de balises.

    Accéder aux modèles de tag

  2. Cliquez sur Gérer la transition vers Knowledge Catalog.

  3. Cliquez sur l'onglet Passer à Knowledge Catalog.

  4. Pour mettre à niveau les modèles de tags Data Catalog vers Knowledge Catalog, cliquez sur Afficher les types d'aspects et les modèles de tags.

    1. Sélectionnez les modèles de tags que vous souhaitez mettre à niveau.

    2. Cliquez sur Mettre à niveau.

    3. Dans la boîte de dialogue de confirmation, cliquez sur Confirmer.

  5. Pour mettre à niveau les groupes d'entrées personnalisées Data Catalog vers Knowledge Catalog, cliquez sur Afficher les groupes d'entrées.

    1. Sélectionnez les groupes d'entrées que vous souhaitez mettre à niveau.

    2. Cliquez sur Mettre à niveau.

    3. Dans la boîte de dialogue de confirmation, cliquez sur Confirmer.

REST

Pour mettre à niveau les modèles de tags et les groupes d'entrées personnalisées Data Catalog vers Knowledge Catalog, utilisez la méthode tagTemplates.patch.

Une fois la phase de mise à niveau terminée, Knowledge Catalog devient la source de référence pour toutes vos métadonnées. Vous n'avez plus besoin d'utiliser Data Catalog.

Mettre à jour les charges de travail programmatiques

Knowledge Catalog est fourni avec une nouvelle API, des bibliothèques clientes, des modules Terraform et des commandes Google Cloud CLI. Par conséquent, vous devez mettre à jour vers Knowledge Catalog toutes les charges de travail existantes qui utilisent Data Catalog de manière programmatique. Consultez les exemples de code pour Knowledge Catalog.

Assurez-vous d'aligner la mise à jour des charges de travail programmatiques sur la mise à niveau des ressources dépendantes, telles que les modèles de tags et les groupes d'entrées personnalisées. Cela est nécessaire, car la mise à niveau déplace l'état actif (read-write) d'une ressource de Data Catalog vers Knowledge Catalog.

Voici un exemple de séquence de mise à jour des charges de travail programmatiques pour interagir avec Knowledge Catalog, coordonnée avec la mise à niveau des ressources dépendantes :

  1. Si vos charges de travail peuvent tolérer une cohérence à terme, déplacez les opérations read des charges de travail vers Knowledge Catalog.

  2. Déplacez les charges de travail effectuant des opérations de taggage write vers Knowledge Catalog en coordination avec la mise à niveau de leurs modèles de tags correspondants.

  3. Déplacez les charges de travail effectuant des opérations d'ingestion personnalisées write vers Knowledge Catalog en coordination avec la mise à niveau des groupes d'entrées personnalisées correspondants.

Si vous devez dissocier la mise à jour des charges de travail et celle des ressources correspondantes, envisagez d'implémenter une logique dans les charges de travail pour acheminer read-write vers Data Catalog ou Knowledge Catalog en fonction de l'état de mise à niveau des ressources. Les charges de travail fonctionneront donc indépendamment de l'état de mise à niveau de la ressource associée.

Étapes suivantes