Ce document s'adresse aux propriétaires de produits de données qui souhaitent mettre à jour ou supprimer des produits de données, ou accorder l'accès à ces produits dans Knowledge Catalog (anciennement Dataplex Universal Catalog).
Pour en savoir plus sur l'architecture et les concepts clés des produits de données, consultez À propos des produits de données.
Avant de commencer
-
Activez les API Dataplex et BigQuery.
Rôles requis pour activer les API
Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (
roles/serviceusage.serviceUsageAdmin), qui contient l'autorisationserviceusage.services.enable. Découvrez comment attribuer des rôles.
Rôles requis
Pour obtenir les autorisations nécessaires pour gérer les produits de données, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :
-
Autorisations complètes pour créer, modifier, supprimer et gérer les autorisations pour les produits de données :
Administrateur des produits de données Dataplex (
roles/dataplex.dataProductsAdmin) -
Mettre à jour et gérer les produits de données existants :
Éditeur de produits de données Dataplex (
roles/dataplex.dataProductsEditor) -
Ajouter des aspects tels que
schema,overviewetcontacts: Propriétaire des entrées et des liens d'entrée Dataplex (roles/dataplex.entryOwner) -
Rechercher et ajouter des composants :
Lecteur de catalogue Dataplex (
roles/dataplex.catalogViewer) -
Modifier les types d'aspects système tels que la documentation et l'aspect contrat de la fréquence d'actualisation :
Éditeur de catalogue Dataplex (
roles/dataplex.catalogEditor)
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Ces rôles prédéfinis contiennent les autorisations requises pour gérer les produits de données. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour gérer les produits de données :
-
Modifiez le type d'aspect système
overview:dataplex.entryGroups.useOverviewAspect -
Modifiez le type d'aspect système
refresh cadence:dataplex.entryGroups.useRefreshCadenceAspect -
Approuver une demande d'accès à un produit de données :
dataplex.dataProducts.approve
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Contrôle des accès pour les modèles BigQuery
L'accès aux modèles BigQuery dans un produit de données est géré par le biais des conditions IAM appliquées à la stratégie IAM de l'ensemble de données parent.
Si vous supprimez un modèle BigQuery, puis le recréez en utilisant le même nom, Knowledge Catalog restaure les autorisations précédemment accordées aux groupes Google ou aux comptes de service via le produit de données.
Définir des autorisations pour rendre un produit de données détectable
Pour permettre aux consommateurs potentiels de rechercher un produit de données, de l'afficher et de demander à y accéder, les propriétaires de produits de données doivent s'assurer que le produit est détectable en accordant les rôles IAM appropriés sur la ressource du produit de données :
Rechercher des produits de données, les afficher et demander l'accès : consommateur de produits de données Dataplex (
dataplex.dataProductsConsumer)Afficher les définitions et les métadonnées des produits de données (accès en lecture seule) : lecteur de produits de données Dataplex (
dataplex.dataProductsViewer)
Gérer les demandes d'accès aux produits de données
Lorsqu'un consommateur de produit de données demande l'accès, le propriétaire du produit de données reçoit une notification par e-mail. Les propriétaires peuvent examiner, approuver ou refuser ces demandes à l'aide de la console Google Cloud ou de l'API.
Console
Examiner les demandes d'accès pour un produit de données spécifique
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données pour lequel vous souhaitez examiner les demandes d'accès.
Cliquez sur l'onglet Gestion des demandes d'accès.
Sélectionnez le demandeur dont vous souhaitez examiner la demande.
Cliquez sur Actions, puis sur Approuver ou Refuser.
Cliquez sur Enregistrer.
Examiner les demandes d'accès à plusieurs produits de données
Dans la console Google Cloud , accédez à la page Workflows de gouvernance de Knowledge Catalog.
Cliquez sur l'onglet Approbations en attente.
Facultatif : Filtrez la liste par nom de produit de données spécifique pour isoler ses demandes.
Sélectionnez la demande cible, puis cliquez sur Approuver ou Refuser.
Cliquez sur Enregistrer.
Comportement après approbation
Demandes des utilisateurs : les consommateurs qui ont demandé l'accès pour leur identité utilisateur sont automatiquement ajoutés en tant que membres au groupe Google mappé au groupe d'accès.
Demandes de compte de service : les consommateurs qui ont demandé l'accès à un compte de service sont autorisés à emprunter l'identité du compte de service du producteur de données mappé au groupe d'accès.
Une fois la demande traitée, son état est automatiquement mis à jour et l'entrée est déplacée vers l'onglet Journal des approbations.
REST
Lister toutes les demandes d'accès en attente
Pour lister toutes les demandes d'accès en attente d'examen dans un projet et un lieu spécifiques, envoyez une requête GET à l'aide de la méthode de collection personnalisée :listReviewable :
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listReviewable"
Remplacez les éléments suivants :
PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où se trouve le produit de données (par exemple,
us-central1)
Approuver une demande d'accès
Les propriétaires de produits de données disposant de l'autorisation dataplex.dataProducts.approve peuvent approuver une demande en attente en envoyant une requête POST à la méthode personnalisée :approve :
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:approve"
Remplacez les éléments suivants :
PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où se trouve le produit de données (par exemple,
us-central1)CHANGE_REQUEST_ID : ID unique de la demande d'accès que vous souhaitez approuver
Contrairement aux approbations effectuées dans la console, l'approbation d'une demande de modification à l'aide de l'API REST ne modifie pas automatiquement les appartenances aux groupes Google ni ne configure l'usurpation de jetons de compte de service. Vous devez effectuer manuellement les étapes suivantes de gestion des accès en aval :
Pour les demandes d'accès à l'identité des utilisateurs : ajoutez le consommateur du produit de données au groupe Google mappé. Pour en savoir plus, consultez Ajouter un membre à un groupe Google.
Pour les demandes d'accès aux comptes de service : accordez le rôle IAM Créateur de jetons du compte de service (
roles/iam.serviceAccountTokenCreator) au compte de service du consommateur de produit de données sur la ressource en exécutant la commande suivante :gcloud iam service-accounts add-iam-policy-binding PRODUCER_SERVICE_ACCOUNT \ --member="serviceAccount:CONSUMER_SERVICE_ACCOUNT" \ --role="roles/iam.serviceAccountTokenCreator"Remplacez les éléments suivants :
PRODUCER_SERVICE_ACCOUNT : adresse e-mail complète du compte de service mappé au groupe d'accès du produit de données
CONSUMER_SERVICE_ACCOUNT : adresse e-mail complète du compte de service appartenant au consommateur qui demande l'accès
Refuser une demande d'accès
Les propriétaires de produits de données disposant de l'autorisation dataplex.dataProducts.approve peuvent refuser une demande en attente en envoyant une requête POST à la méthode personnalisée :reject avec une charge utile de justification :
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"comment": "REJECTION_REASON"
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:reject"
Remplacez les éléments suivants :
PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où se trouve le produit de données (par exemple,
us-central1)CHANGE_REQUEST_ID : ID unique de la demande d'accès que vous souhaitez refuser
Mettre à jour un produit de données
Vous pouvez modifier les informations de base (par exemple, le nom du produit de données, la description, les informations sur le propriétaire), les composants, les groupes d'accès, les autorisations, le contrat, les aspects et la documentation supplémentaire d'un produit de données existant.
Modifier les informations de base d'un produit de données
Console
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données que vous souhaitez modifier.
Cliquez sur Modifier.
Mettez à jour le nom du produit de données, l'icône du produit de données, la description, l'adresse e-mail du ou des propriétaires du produit de données, l'adresse e-mail du ou des approbateurs du produit de données et les libellés selon vos besoins.
Cliquez sur Enregistrer.
REST
Pour mettre à jour les informations de base d'un produit de données, utilisez la méthode dataProducts.patch.
Par exemple, pour mettre à jour la description d'un produit de données, envoyez la requête PATCH suivante :
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"description": "NEW_DESCRIPTION"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="description"
Remplacez les éléments suivants :
- NEW_DESCRIPTION : nouvelle description du produit de données
- PROJECT_ID : ID de votre projet Google Cloud
- LOCATION : région où existe le produit de données
- DATA_PRODUCT_ID : ID de votre produit de données
Mettre à jour les composants d'un produit de données
Console
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données pour lequel vous souhaitez modifier les composants.
Cliquez sur l'onglet Composants.
Pour ajouter un composant, procédez comme suit :
Cliquez sur +Ajouter.
Recherchez et sélectionnez les composants que vous souhaitez ajouter à votre produit de données. Les composants que vous sélectionnez doivent se trouver dans la même région que le produit de données.
Si vous disposez des autorisations nécessaires, vous pouvez afficher les métadonnées des composants en cliquant dessus.
Pour affiner les résultats de recherche, utilisez Filtres.
Après avoir sélectionné les composants, cliquez sur Ajouter.
Pour supprimer un composant du produit de données, procédez comme suit :
Pour le composant que vous souhaitez supprimer, cliquez sur > Supprimer.
Pour confirmer l'action, cliquez sur Supprimer.
REST
Pour ajouter un élément de données au produit de données, utilisez la méthode dataAssets.create. Pour obtenir un exemple de code, consultez Facultatif : Ajouter des composants.
Pour supprimer un composant de données du produit de données, utilisez la méthode dataAssets.delete. Par exemple, envoyez la requête DELETE suivante :
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID"
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud
- LOCATION : région dans laquelle vous souhaitez créer le produit de données
- DATA_PRODUCT_ID : ID unique de votre produit de données
- DATA_ASSET_ID : ID de l'élément de données que vous souhaitez supprimer du produit de données
Modifier les groupes d'accès et les autorisations associées aux composants
Console
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données pour lequel vous souhaitez mettre à jour les groupes d'accès et les autorisations.
Cliquez sur l'onglet Groupes et autorisations d'accès.
Pour modifier un groupe d'accès, procédez comme suit :
Cliquez sur Modifier.
Modifiez le nom, la description et l'identifiant du groupe d'accès si nécessaire.
Pour ajouter un groupe d'accès, cliquez sur Ajouter un groupe d'accès, puis procédez comme suit :
Dans le champ Nom du groupe d'accès, saisissez le nom du nouveau groupe d'accès. Exemple :
AnalystDans le champ Description du groupe d'accès, saisissez une description du groupe d'accès.
Dans le champ Identifiant du groupe d'accès, saisissez l'adresse e-mail d'un groupe Google ou d'un compte de service (ou des deux) que vous souhaitez attribuer à ce groupe d'accès :
Groupe Google : les consommateurs de produits de données qui demandent l'accès pour eux-mêmes sont ajoutés en tant que membres au groupe Google mappé.
Compte de service : les consommateurs de produits de données qui demandent l'accès pour leurs comptes de service reçoivent le rôle IAM Créateur de jetons du compte de service (
roles/iam.serviceAccountTokenCreator) pour emprunter l'identité du compte de service du producteur de données mappé au groupe d'accès.
Cliquez sur Ajouter.
Pour supprimer un groupe d'accès :
Pour le groupe d'accès que vous souhaitez supprimer, cliquez sur > Supprimer.
Pour confirmer l'action, cliquez sur Supprimer.
Si aucun groupe d'accès n'est configuré pour le produit de données sélectionné, vous pouvez en ajouter un en cliquant sur Ajouter un groupe d'accès.
Pour modifier les autorisations d'un composant, procédez comme suit :
Pour l'élément dont vous souhaitez modifier les autorisations, cliquez sur > Autorisations.
Mettez à jour les groupes d'accès et les rôles IAM requis.
Cliquez sur Configurer.
REST
Pour mettre à jour les groupes d'accès associés à un produit de données, utilisez la méthode dataProducts.patch. Pour obtenir un exemple de code, consultez Configurer des groupes d'accès.
Pour mettre à jour les autorisations d'un composant, utilisez la méthode dataAssets.patch. Pour obtenir un exemple de code, consultez Configurer les autorisations des composants.
Mettre à jour le contrat du produit de données
Console
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données pour lequel vous souhaitez modifier le contrat.
Cliquez sur l'onglet Contrat.
Pour modifier le contrat existant, procédez comme suit :
Cliquez sur Modifier.
Mettez à jour les champs nécessaires.
Cliquez sur Enregistrer.
Si aucun contrat n'est associé au produit de données sélectionné, vous pouvez en ajouter un en cliquant sur Ajouter un contrat.
REST
Pour mettre à jour un contrat, utilisez la méthode entries.patch. Pour obtenir un exemple de code, consultez Ajouter un contrat.
Mettre à jour des aspects d'un produit de données
Console
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données pour lequel vous souhaitez mettre à jour les aspects.
Cliquez sur l'onglet Aspects.
Pour modifier un aspect, procédez comme suit :
Cliquez sur l'aspect que vous souhaitez modifier.
Cliquez sur Modifier.
Modifiez les champs Type d'aspect, Pays et Région si nécessaire.
Cliquez sur Enregistrer.
Pour ajouter un aspect au produit de données, procédez comme suit :
Cliquez sur + Ajouter un aspect.
Dans le champ Sélectionner un type d'aspect, recherchez et sélectionnez un type d'aspect dans la liste. Exemple :
Geo contextDans le champ Pays, sélectionnez le pays auquel appartient l'élément.
Dans le champ Région, sélectionnez la région commerciale à laquelle appartient le composant.
Cliquez sur Enregistrer.
Pour supprimer un aspect, procédez comme suit :
Cliquez sur l'aspect que vous souhaitez supprimer.
Cliquez sur Supprimer.
Pour confirmer l'action, cliquez sur Confirmer.
REST
Pour mettre à jour un aspect de l'entrée du produit de données, utilisez la méthode entries.patch.
Mettre à jour la documentation du produit de données
Console
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données pour lequel vous souhaitez mettre à jour la documentation.
Cliquez sur l'onglet Vue d'ensemble.
Cliquez sur Modifier à côté de Documentation.
Mettez à jour le guide de l'utilisateur, les exemples de requêtes et les autres documents selon les besoins.
Cliquez sur Enregistrer.
REST
La documentation fait partie de l'aspect overview. Pour mettre à jour la documentation du produit de données, utilisez la méthode entries.patch.
Supprimer un produit de données
Pour supprimer un produit de données, vous devez d'abord supprimer tous les composants du produit de données.
Console
Dans la console Google Cloud , accédez à la page Produits de données de Knowledge Catalog.
Cliquez sur le produit de données que vous souhaitez supprimer.
Cliquez sur l'onglet Composants.
Pour chaque composant listé, cliquez sur > Supprimer. Confirmez l'opération en cliquant sur Supprimer.
Après avoir supprimé tous les composants, supprimez le produit de données en cliquant sur Supprimer.
Dans la boîte de dialogue de confirmation, saisissez
delete, puis cliquez sur Supprimer.
REST
Pour supprimer un produit de données, utilisez la méthode dataProducts.delete.
Par exemple, envoyez la requête DELETE suivante :
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud
- LOCATION : région où existe le produit de données
- DATA_PRODUCT_ID : ID du produit de données que vous souhaitez supprimer
Conservation des données et suppression de projets
Lorsque vous supprimez un projet Google Cloud contenant des produits de données, les ressources associées suivent le cycle de vie de suppression Google Cloud standard, également appelé effacement. Pour obtenir un aperçu détaillé des processus techniques et des délais régissant ce comportement, consultez Suppression des données sur Google Cloud.
Cycle de vie des ressources lors de la suppression d'un projet
Le cycle de vie de vos produits et ressources de données est géré en deux étapes principales après une demande de suppression de projet :
Suppression réversible (état
Hidden) : dès que vous lancez la suppression d'un projet, tous les produits et composants de données qu'il contient sont marqués commeHidden. Pendant cette période de grâce de 30 jours, les métadonnées sont conservées, mais ne sont plus accessibles via les API Dataplex ni la console Google Cloud . Vous pouvez restaurer le projet et ses ressources à tout moment pendant cette période.Suppression définitive (état
Purged) : une fois le délai de grâce de 30 jours expiré, le projet et toutes ses métadonnées Knowledge Catalog sont définitivement supprimés. Knowledge Catalog utilise une règle de suppression de lignes interne pour supprimer de manière vérifiable ces enregistrements du stockage.
Comportement des stratégies IAM sur les ressources interprojets
Il existe une distinction opérationnelle essentielle entre les métadonnées du Knowledge Catalog et les règles IAM appliquées à vos données physiques sous-jacentes (telles que les ensembles de données BigQuery ou les buckets Cloud Storage).
Bien que les métadonnées du Knowledge Catalog du projet soient automatiquement supprimées définitivement, les liaisons IAM appliquées aux ressources de données situées dans un autre projet (projet B) ne sont pas automatiquement révoquées lorsque le projet du propriétaire du produit de données (projet A) est supprimé.
Associations orphelines : étant donné que les ressources physiques du projet cible restent actives, le système IAM ne supprime pas automatiquement les identifiants principaux associés au projet supprimé.
Évitez les autorisations zombies : pour vous assurer que l'accès aux données est complètement désactivé, supprimez manuellement les composants de données de vos produits de données ou supprimez explicitement les liaisons IAM associées de vos ressources inter-projets avant de supprimer un projet.
Restauration de projets
Si vous restaurez un projet supprimé pendant la période de grâce de 30 jours, Knowledge Catalog tente de restaurer vos ressources et leur visibilité dans le catalogue. Pour les composants inter-projets, comme les liaisons IAM sous-jacentes n'ont pas été révoquées automatiquement lors du processus de suppression, l'accès aux données reprend généralement immédiatement pour le projet restauré.
Étapes suivantes
- En savoir plus sur les produits de données
- Découvrez comment rechercher des produits de données.
- Découvrez comment créer un produit de données.