Créer des produits de données

Ce document s'adresse aux propriétaires de produits de données qui souhaitent créer et configurer des produits de données dans Dataplex Universal Catalog.

Pour en savoir plus sur l'architecture et les concepts clés des produits de données, consultez À propos des produits de données.

Avant de commencer

  1. Enable the Dataplex, BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  2. Assurez-vous que vos composants de données (par exemple, les ensembles de données, les tables et les vues BigQuery) sont créés et renseignés.

    Pour en savoir plus sur la création de composants de données, consultez les documents suivants :

  3. Identifiez ou créez les groupes Google que vous souhaitez configurer dans votre produit de données. Chaque produit de données doit avoir un groupe Google unique.

Rôles requis

Cette section décrit les rôles IAM minimaux requis pour deux groupes d'utilisateurs principaux : les propriétaires de produits de données (ceux qui créent et gèrent les produits de données) et les consommateurs de produits de données (ceux qui recherchent et utilisent les produits de données).

Rôles d'un propriétaire de produits de données

Pour obtenir les autorisations nécessaires pour créer et gérer des produits de données, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer et gérer des produits de données. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer et gérer des produits de données :

  • Modifiez le type d'aspect système overview : dataplex.entryGroups.useOverviewAspect
  • Modifiez le type d'aspect système refresh cadence : dataplex.entryGroups.useRefreshCadenceAspect

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles pour un consommateur de produit de données

Pour que les consommateurs de produits de données puissent rechercher, afficher et demander l'accès à des produits de données, vous devez, en tant que propriétaire de produits de données, vous assurer que le produit de données est détectable. Pour ce faire, accordez aux consommateurs de produits de données les rôles IAM suivants sur le produit de données :

  • Rechercher des produits de données et y accéder dans la recherche Dataplex Universal Catalog : consommateur de produits de données Dataplex (dataplex.dataProductsConsumer)
  • Accès en lecture seule pour afficher les définitions et les métadonnées des produits de données : lecteur de produits de données Dataplex (dataplex.dataProductsViewer)
  • Demander l'accès aux produits de données : consommateur de produits de données Dataplex (dataplex.dataProductsConsumer)

Créer et configurer un produit de données

La création d'un produit de données implique les tâches générales suivantes :

  1. Créer un produit de données

    Cette étape initiale obligatoire consiste à définir des informations de base telles que le nom unique du produit de données, sa description, la région dans laquelle il est créé et les informations sur son propriétaire.

  2. Facultatif : Ajouter des composants

    Au cours de cette phase, vous sélectionnez les composants à inclure dans le produit de données. Une contrainte clé est que les composants doivent résider dans la même région que le produit de données lui-même. Vous pouvez ajouter jusqu'à 10 composants à un produit de données.

    Pour obtenir la liste des composants compatibles, consultez Composants compatibles.

  3. Facultatif : Configurer les groupes d'accès et les autorisations associées aux éléments

    Dans cette phase facultative, vous simplifiez le contrôle des accès en créant des groupes d'accès. Ces groupes d'accès servent d'alias conviviaux (par exemple, Analyst ou Reader) pour les groupes Google sous-jacents. Vous attribuez ensuite des autorisations en sélectionnant un rôle IAM spécifique et en le mappant à un groupe d'accès pour un composant spécifique.

  4. Facultatif : ajoutez des informations supplémentaires, comme des contrats, des aspects et de la documentation.

    Cette phase facultative améliore la gouvernance et les métadonnées. Vous pouvez ajouter un contrat, qui est un type d'aspect first party, pour communiquer formellement la fréquence d'actualisation des données convenue, en spécifiant des paramètres tels que la fréquence d'actualisation, l'heure d'actualisation et le seuil. Vous pouvez également inclure des aspects pour fournir des métadonnées supplémentaires pour votre produit de données. Vous ajoutez également une documentation au format texte enrichi, comme des guides de l'utilisateur et des exemples de requêtes.

Pour créer et configurer un produit de données, suivez les étapes décrites dans les sections suivantes :

Créer un produit de données

Console

  1. Dans la console Google Cloud , accédez à la page Produits de données de Dataplex Universal Catalog.

    Accéder à la page "Produits de données"

  2. Cliquez sur Créer.

  3. Dans le volet Créer des produits de données, saisissez les informations suivantes :

    • Nom du produit de données : saisissez un nom unique pour votre produit de données.
    • ID du produit de données : identifiant unique généré automatiquement. Vous pouvez modifier ce champ.
    • ID du projet : identifiant unique du projet dans lequel le produit de données est créé. Parcourez la page, puis sélectionnez le projet.
    • Région : sélectionnez la région ou la multirégion dans laquelle le produit de données est créé.
    • Icône : parcourez et sélectionnez une icône pour identifier visuellement le produit de données. Cette opération est facultative.
    • Description : saisissez une brève description du produit de données.
    • Contacts : saisissez l'adresse e-mail du propriétaire du produit de données.
    • Libellés : ajoutez des libellés clé/valeur pour organiser vos ressources. Cette opération est facultative.

  4. Cliquez sur Créer un produit de données.

REST

Pour créer un produit de données, utilisez la méthode dataProducts.create.

Par exemple, envoyez la requête POST suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"display_name": "DISPLAY_NAME", "owner_emails": ["EMAIL_IDs"]}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts?data_product_id=DATA_PRODUCT_ID

Remplacez les éléments suivants :

  • DISPLAY_NAME : nom convivial de votre produit de données
  • EMAIL_IDs : ID d'adresse e-mail des propriétaires du produit de données, séparés par une virgule
  • PROJECT_ID : ID de votre projet Google Cloud
  • LOCATION : région dans laquelle vous souhaitez créer le produit de données
  • DATA_PRODUCT_ID : ID unique de votre produit de données

Facultatif : Ajoutez des composants.

Console

  1. Dans le volet Ajouter des composants, cliquez sur + Ajouter.

  2. Recherchez et sélectionnez les composants que vous souhaitez ajouter à votre produit de données. Les composants que vous sélectionnez doivent se trouver dans la même région que le produit de données.

    Si vous disposez des autorisations nécessaires, vous pouvez afficher les métadonnées des composants en cliquant dessus.

  3. Pour affiner les résultats de recherche, utilisez Filtres.

  4. Après avoir sélectionné les composants, cliquez sur Ajouter.

  5. Cliquez sur Continuer.

REST

Pour ajouter un élément de données à votre produit de données, utilisez la méthode dataAssets.create.

Par exemple, envoyez la requête POST suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"resource": "RESOURCE_NAME"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets?data_asset_id=DATA_ASSET_ID

Remplacez les éléments suivants :

  • RESOURCE_NAME : nom complet de la ressource de l'élément de données (par exemple, //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)
  • PROJECT_ID : ID de votre projet Google Cloud
  • LOCATION : région où se trouve le produit de données.
  • DATA_PRODUCT_ID : ID du produit de données
  • DATA_ASSET_ID : ID unique de cet élément de données dans le produit de données

Facultatif : Configurer les groupes d'accès et les autorisations associées aux composants

Dans le volet Configurer les groupes d'accès et les autorisations associées aux éléments, vous pouvez créer des groupes d'accès et attribuer des autorisations aux éléments.

Configurer les groupes d'accès

Console

  1. Cliquez sur Ajouter un groupe d'accès.

  2. Dans le champ Nom du groupe d'accès, saisissez le nom du groupe d'accès. Exemple :Analyst

  3. Dans le champ Description du groupe d'accès, saisissez une description du groupe d'accès.

  4. Dans le champ Identifiant du groupe d'accès, saisissez l'adresse e-mail d'un groupe Google que vous souhaitez attribuer à ce groupe d'accès. Les consommateurs de produits de données qui demandent l'accès à ce groupe d'accès peuvent être ajoutés en tant que membres au groupe Google mappé.

    Si vous n'avez pas de groupe Google, vous pouvez en créer un. Pour en savoir plus, consultez Créer et gérer des groupes Google dans la console Google Cloud .

  5. Cliquez sur Ajouter.

REST

Pour configurer un groupe d'accès pour le produit de données, utilisez la méthode dataProducts.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_groups": ACCESS_GROUPS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="access_groups"

Remplacez les éléments suivants :

  • ACCESS_GROUPS_MAP : objet JSON représentant un mappage où chaque clé est un ID de groupe d'accès et la valeur est un objet AccessGroup. Exemple :

    {
"analyst": {
  "id": "analyst","display_name": "Analyst access group","description": "Access group for analysts","principal":
{"google_group": "analyst-team@example.com"}
  }
}

  • PROJECT_ID : ID de votre projet Google Cloud

  • LOCATION : région où existe le produit de données

  • DATA_PRODUCT_ID : ID de votre produit de données

Configurer les autorisations sur les composants

Une fois que vous avez configuré les groupes d'accès, vous pouvez configurer les autorisations pour les composants du produit de données.

Console

  1. Dans la section Autorisations des composants, sélectionnez le composant pour lequel vous souhaitez configurer les autorisations.

  2. Cliquez sur Configurer les autorisations.

  3. Dans le champ Sélectionner un groupe d'accès, sélectionnez un groupe d'accès.

  4. Dans le champ Attribuer un rôle IAM, sélectionnez un rôle IAM que vous souhaitez attribuer au groupe d'accès.

    Par exemple, si votre composant est une table BigQuery nommée Sales, que vous avez sélectionné le groupe d'accès Analyst et que vous lui avez attribué le rôle BigQuery Metadata Viewer, les consommateurs de produits de données qui font partie du groupe d'accès Analyst disposent de l'autorisation BigQuery Metadata Viewer sur la table Sales.

    Vous pouvez attribuer plusieurs rôles à un composant.

  5. Cliquez sur Configurer. Les autorisations attribuées à l'asset s'affichent.

  6. Pour configurer les autorisations pour d'autres composants, répétez ces étapes.

  7. Cliquez sur Continuer.

REST

Pour configurer les autorisations pour les composants du produit de données, utilisez la méthode dataAssets.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_group_configs": ACCESS_GROUP_CONFIGS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID?update_mask="access_group_configs"

Remplacez les éléments suivants :

  • ACCESS_GROUP_CONFIGS_MAP : objet JSON représentant un mappage où chaque clé est un ID de groupe d'accès et la valeur est un objet AccessGroupConfig. Exemple :

    {
"analyst": {
  iam_roles: ["roles/bigquery.dataViewer"]
  }
}

  • PROJECT_ID : ID de votre projet Google Cloud

  • LOCATION : région où existe le produit de données

  • DATA_PRODUCT_ID : ID de votre produit de données

  • DATA_ASSET_ID : ID du composant pour lequel vous souhaitez configurer les autorisations

Facultatif : Ajoutez des informations supplémentaires.

Vous pouvez également ajouter des contrats, des aspects et de la documentation supplémentaire pour le produit de données.

Ajouter un contrat

Console

  1. Dans le volet Ajouter des informations supplémentaires, cliquez sur Ajouter un contrat.

  2. Dans le champ Sélectionner un contrat, sélectionnez Refresh cadence.

  3. Dans le champ Fréquence, sélectionnez un calendrier convenu pour la fréquence de mise à jour ou de livraison des données. Cela permet d'assurer un flux prévisible du producteur de données au consommateur de données. Exemple :Weekly

  4. Dans le champ Heure d'actualisation, saisissez le délai maximal acceptable entre le moment où les données sont mises à jour à leur source et celui où elles deviennent disponibles pour le consommateur. Exemple :23:00 PST

  5. Dans le champ Seuil (en minutes), saisissez une limite mesurable en minutes pour le délai acceptable de livraison des données. Par exemple, saisissez 30 pour définir le seuil sur 30 minutes.

  6. Facultatif : Dans le champ Programmation Cron, saisissez une expression Cron qui définit la programmation de la génération et de la diffusion des données au format MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK.

    Les valeurs acceptées sont les suivantes :

    • MINUTE : 0-59
    • HOUR : 0-23
    • DAY_OF_MONTH : 1-31
    • MONTH : 1-31 ou JAN-DEC
    • DAY_OF_WEEK : 0-6 ou SUN-SAT

    Par exemple, 0 8 * * 1-5 s'exécute à 8h en semaine (du lundi au vendredi).

  7. Cliquez sur Enregistrer.

REST

Les contrats sont modélisés sous forme d'aspects sur le produit de données. Pour ajouter un contrat Refresh Cadence à un produit de données, utilisez la méthode entries.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
  "aspects": {
    "dataplex-types.global.refresh-cadence": {
      "aspectType": "projects/dataplex-types/locations/global/aspectTypes/refresh-cadence",
      "data": {
        "frequency": "REFRESH_FREQUENCY"
      }
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_ID/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"

Remplacez les éléments suivants :

  • REFRESH_FREQUENCY : calendrier convenu pour la fréquence de mise à jour ou de livraison des données, garantissant un flux prévisible du producteur de données au consommateur de données. Par exemple : Weekly
  • PROJECT_ID : ID de votre Google Cloud projet à partir duquel l'appel d'API est effectué
  • LOCATION : région du point de terminaison du service Dataplex Universal Catalog que vous appelez (par exemple, us-central1)
  • DATA_PRODUCT_PROJECT_ID : ID du projet dans lequel se trouve la ressource de produit de données
  • DATA_PRODUCT_LOCATION : emplacement de la ressource du produit de données
  • DATA_PRODUCT_ID : ID de votre produit de données

Ajouter des métadonnées supplémentaires

Pour ajouter des métadonnées supplémentaires pour le produit de données sous forme d'aspects, procédez comme suit :

Console

  1. Dans le volet Ajouter des détails supplémentaires, cliquez sur + Ajouter un aspect.

  2. Dans le champ Sélectionner un type d'aspect, recherchez et sélectionnez un type d'aspect dans la liste. Exemple :Geo context

  3. Dans le champ Pays, sélectionnez le pays auquel appartient l'élément.

  4. Dans le champ Région, sélectionnez la région commerciale à laquelle appartient le composant.

  5. Cliquez sur Enregistrer.

  6. Pour ajouter d'autres documents, tels qu'un guide de l'utilisateur ou des exemples de requêtes, cliquez sur Modifier à côté de Documentation. Un éditeur de texte enrichi s'ouvre. Ajoutez du contenu, puis cliquez sur Enregistrer.

  7. Cliquez sur Enregistrer.

    Le produit de données que vous venez de créer s'affiche sur la page Produits de données de Dataplex Universal Catalog.

REST

Pour ajouter des aspects et de la documentation à un produit de données, utilisez la méthode entries.patch.

La documentation d'un produit de données est gérée par le biais du type d'aspect système overview.

Étapes suivantes