Créer des produits de données

Ce document s'adresse aux propriétaires de produits de données qui souhaitent créer et configurer des produits de données dans Dataplex Universal Catalog.

Pour en savoir plus sur l'architecture et les concepts clés des produits de données, consultez À propos des produits de données.

Avant de commencer

Activez les API Dataplex et BigQuery.
Rôles requis pour activer les API
Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.
Activer les API
Assurez-vous que vos composants de données (par exemple, les ensembles de données, les tables et les vues BigQuery) sont créés et renseignés.

Pour en savoir plus sur la création de composants de données, consultez les documents suivants :
Identifiez ou créez les groupes Google que vous souhaitez configurer dans votre produit de données. Chaque produit de données doit avoir un groupe Google unique.

Rôles requis

Cette section décrit les rôles IAM minimaux requis pour deux groupes d'utilisateurs principaux : les propriétaires de produits de données (ceux qui créent et gèrent les produits de données) et les consommateurs de produits de données (ceux qui recherchent et utilisent les produits de données).

Rôles d'un propriétaire de produits de données

Pour obtenir les autorisations nécessaires pour créer et gérer des produits de données, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Autorisations complètes pour créer, modifier, supprimer et gérer les autorisations pour les produits de données : Administrateur des produits de données Dataplex (roles/dataplex.dataProductsAdmin)
Mettre à jour et gérer les produits de données existants : Éditeur de produits de données Dataplex (roles/dataplex.dataProductsEditor)
Ajouter des aspects tels que schema, overview et contacts : Propriétaire des entrées et des liens d'entrée Dataplex (roles/dataplex.entryOwner)
Rechercher et ajouter des composants : Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer)
Modifier les types d'aspects système tels que la documentation et l'aspect contrat de la fréquence d'actualisation : Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer et gérer des produits de données. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer et gérer des produits de données :

Modifiez le type d'aspect système overview : dataplex.entryGroups.useOverviewAspect
Modifiez le type d'aspect système refresh cadence : dataplex.entryGroups.useRefreshCadenceAspect

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles pour un consommateur de produit de données

Pour que les consommateurs de produits de données puissent rechercher, afficher et demander l'accès à des produits de données, vous devez, en tant que propriétaire de produits de données, vous assurer que le produit de données est détectable. Pour ce faire, accordez aux consommateurs de produits de données les rôles IAM suivants sur le produit de données :

Rechercher des produits de données et y accéder dans la recherche Dataplex Universal Catalog : consommateur de produits de données Dataplex (dataplex.dataProductsConsumer)
Accès en lecture seule pour afficher les définitions et les métadonnées des produits de données : lecteur de produits de données Dataplex (dataplex.dataProductsViewer)
Demander l'accès aux produits de données : consommateur de produits de données Dataplex (dataplex.dataProductsConsumer)

Créer et configurer un produit de données

La création d'un produit de données implique les tâches générales suivantes :

Créer un produit de données

Cette étape initiale obligatoire consiste à définir des informations de base, telles que le nom unique du produit de données, sa description, la région dans laquelle il est créé et les informations sur son propriétaire.
Facultatif : Ajouter des composants

Au cours de cette phase, vous sélectionnez les composants à inclure dans le produit de données. Une contrainte clé est que les composants doivent résider dans la même région que le produit de données lui-même. Vous pouvez ajouter jusqu'à 10 éléments à un produit de données.

Pour obtenir la liste des composants compatibles, consultez Composants compatibles.
Facultatif : Configurer les groupes d'accès et les autorisations associées aux éléments

Dans cette phase facultative, vous simplifiez le contrôle des accès en créant des groupes d'accès. Ces groupes d'accès servent d'alias conviviaux (par exemple, Analyst ou Reader) pour les groupes Google sous-jacents. Vous attribuez ensuite des autorisations en sélectionnant un rôle IAM spécifique et en le mappant à un groupe d'accès pour un composant spécifique.
Facultatif : ajoutez des informations supplémentaires, comme des contrats, des aspects et de la documentation.

Cette phase facultative améliore la gouvernance et les métadonnées. Vous pouvez ajouter un contrat, qui est un type d'aspect propriétaire, pour communiquer formellement la fréquence d'actualisation des données convenue, en spécifiant des paramètres tels que la fréquence d'actualisation, l'heure d'actualisation et le seuil. Vous pouvez également inclure des aspects pour fournir des métadonnées supplémentaires pour votre produit de données. Vous ajoutez également une documentation en texte enrichi, comme des guides de l'utilisateur et des exemples de requêtes.

Pour créer et configurer un produit de données, suivez les étapes décrites dans les sections suivantes :

Créer un produit de données

Console

Dans la console Google Cloud , accédez à la page Produits de données de Dataplex Universal Catalog.

Accéder à "Produits de données"
Cliquez sur Créer.
Dans le volet Créer des produits de données, saisissez les informations suivantes :
- Nom du produit de données : saisissez un nom unique pour votre produit de données.
- ID du produit de données : identifiant unique généré automatiquement. Vous pouvez modifier ce champ.
- ID du projet : identifiant unique du projet dans lequel le produit de données est créé. Parcourez la page, puis sélectionnez le projet.
- Région : sélectionnez la région ou la multirégion dans laquelle le produit de données est créé.
- Icône : parcourez et sélectionnez une icône pour identifier visuellement le produit de données. Cette opération est facultative.
- Description : saisissez une brève description du produit de données.
- Contacts : saisissez l'adresse e-mail du propriétaire du produit de données.
- Libellés : ajoutez des libellés clé/valeur pour organiser vos ressources. Cette opération est facultative.
Cliquez sur Créer un produit de données.

REST

Pour créer un produit de données, utilisez la méthode dataProducts.create.

Par exemple, envoyez la requête POST suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"display_name": "DISPLAY_NAME", "owner_emails": ["EMAIL_IDs"]}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts?data_product_id=DATA_PRODUCT_ID

Remplacez les éléments suivants :

DISPLAY_NAME : nom convivial de votre produit de données
EMAIL_IDs : ID d'adresse e-mail des propriétaires du produit de données, séparés par une virgule
PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région dans laquelle vous souhaitez créer le produit de données
DATA_PRODUCT_ID : ID unique de votre produit de données

Terraform

Pour créer un produit de données, utilisez la ressource google_dataplex_data_product.

resource "google_dataplex_data_product" "example_product" {
project         = "PROJECT_ID"
location        = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
display_name    = "DISPLAY_NAME"
description     = "DESCRIPTION"
owner_emails    = ["EMAIL_IDs"]

provider = google-beta
}

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région dans laquelle vous souhaitez créer le produit de données
DATA_PRODUCT_ID : ID unique de votre produit de données
DISPLAY_NAME : nom convivial pour votre produit de données
DESCRIPTION : brève description du produit de données
EMAIL_IDs : ID d'adresse e-mail des propriétaires du produit de données, séparés par une virgule (par exemple, ["user1@example.com", "user2@example.com"]).

Facultatif : Ajouter des composants

Console

Dans le volet Ajouter des composants, cliquez sur + Ajouter.
Recherchez et sélectionnez les composants que vous souhaitez ajouter à votre produit de données. Les composants que vous sélectionnez doivent se trouver dans la même région que le produit de données.

Si vous disposez des autorisations nécessaires, vous pouvez afficher les métadonnées des composants en cliquant dessus.
Pour affiner les résultats de recherche, utilisez Filtres.
Après avoir sélectionné les composants, cliquez sur Ajouter.

Remarque : En version Preview, vous pouvez ajouter jusqu'à 10 composants à un produit de données.
Cliquez sur Continuer.

REST

Pour ajouter un élément de données à votre produit de données, utilisez la méthode dataAssets.create.

Par exemple, envoyez la requête POST suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"resource": "RESOURCE_NAME"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets?data_asset_id=DATA_ASSET_ID

Remplacez les éléments suivants :

RESOURCE_NAME : nom complet de la ressource de l'élément de données (par exemple, //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)
PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où se trouve le produit de données.
DATA_PRODUCT_ID : ID du produit de données
DATA_ASSET_ID : ID unique de cet élément de données dans le produit de données

Terraform

Pour ajouter un composant de données à votre produit de données, utilisez la ressource google_dataplex_data_product_data_asset.

resource "google_dataplex_data_product_data_asset" "example_asset" {
project         = "PROJECT_ID"
location        = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
data_asset_id   = "DATA_ASSET_ID"
resource        = "RESOURCE_NAME"

provider = google-beta
}

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où se trouve le produit de données.
DATA_PRODUCT_ID : ID du produit de données
DATA_ASSET_ID : ID unique de cet élément de données dans le produit de données
RESOURCE_NAME : nom complet de la ressource de l'élément de données (par exemple, //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)

Facultatif : Configurer les groupes d'accès et les autorisations associées aux composants

Dans le volet Configurer les groupes d'accès et les autorisations associées aux composants, vous pouvez créer des groupes d'accès et attribuer des autorisations aux composants.

Configurer les groupes d'accès

Console

Cliquez sur Ajouter un groupe d'accès.
Dans le champ Nom du groupe d'accès, saisissez un nom pour le groupe d'accès. Exemple :Analyst
Dans le champ Description du groupe d'accès, saisissez une description du groupe d'accès.
Dans le champ Identifiant du groupe d'accès, saisissez l'adresse e-mail d'un groupe Google que vous souhaitez attribuer à ce groupe d'accès. Les consommateurs de produits de données qui demandent l'accès à ce groupe d'accès peuvent être ajoutés en tant que membres au groupe Google mappé.

Si vous n'avez pas de groupe Google, vous pouvez en créer un. Pour en savoir plus, consultez Créer et gérer des groupes Google dans la console Google Cloud .

Remarque : Vous pouvez ajouter jusqu'à trois groupes d'accès par produit de données.
Cliquez sur Ajouter.

REST

Pour configurer un groupe d'accès pour le produit de données, utilisez la méthode dataProducts.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_groups": ACCESS_GROUPS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="access_groups"

Remplacez les éléments suivants :

ACCESS_GROUPS_MAP : objet JSON représentant un mappage où chaque clé est un ID de groupe d'accès et la valeur est un objet AccessGroup. Exemple :

{
"analyst": {
  "id": "analyst","display_name": "Analyst access group","description": "Access group for analysts","principal":
{"google_group": "analyst-team@example.com"}
  }
}

PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où existe le produit de données
DATA_PRODUCT_ID : ID de votre produit de données

Terraform

Pour définir des groupes d'accès pour votre produit de données, utilisez le bloc imbriqué access_groups dans la ressource google_dataplex_data_product.

Par exemple, utilisez la configuration suivante :

resource "google_dataplex_data_product" "example_data_product" {
project         = "PROJECT_ID"
location        = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
display_name    = "DISPLAY_NAME"
owner_emails    = ["EMAIL_IDs"]

access_groups {
  id           = "analyst" # Internal identifier for configuration
  group_id     = "analyst" # Unique identifier of the access group, should be same as the 'id'
  display_name = "Business Analyst"
  description  = "Access group for regional analysts"
  principal {
    google_group = "analyst-team@example.com"
  }

provider = google-beta
}

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où existe le produit de données.
DATA_PRODUCT_ID : ID unique du produit de données
DISPLAY_NAME : nom convivial pour votre produit de données
EMAIL_IDs : ID d'adresse e-mail des propriétaires du produit de données, séparés par une virgule (par exemple, ["user1@example.com", "user2@example.com"]).

Configurer les autorisations sur les composants

Une fois que vous avez configuré les groupes d'accès, vous pouvez configurer les autorisations pour les composants du produit de données.

Console

Dans la section Autorisations des composants, sélectionnez le composant pour lequel vous souhaitez configurer les autorisations.
Cliquez sur Configurer les autorisations.
Dans le champ Sélectionner un groupe d'accès, sélectionnez un groupe d'accès.
Dans le champ Attribuer un rôle IAM, sélectionnez le rôle IAM que vous souhaitez attribuer au groupe d'accès.

Par exemple, si votre composant est une table BigQuery nommée Sales, que vous avez sélectionné le groupe d'accès Analyst et que vous lui avez attribué le rôle BigQuery Metadata Viewer, les consommateurs de produits de données qui font partie du groupe d'accès Analyst disposent de l'autorisation BigQuery Metadata Viewer sur la table Sales.

Vous pouvez attribuer plusieurs rôles à un composant.
Cliquez sur Configurer. Les autorisations attribuées à l'élément s'affichent.
Pour configurer les autorisations pour d'autres composants, répétez la procédure.
Cliquez sur Continuer.

REST

Pour configurer les autorisations pour les composants du produit de données, utilisez la méthode dataAssets.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_group_configs": ACCESS_GROUP_CONFIGS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID?update_mask="access_group_configs"

Remplacez les éléments suivants :

ACCESS_GROUP_CONFIGS_MAP : objet JSON représentant un mappage où chaque clé est un ID de groupe d'accès et la valeur est un objet AccessGroupConfig. Exemple :
```
{
"analyst": {
  iam_roles: ["roles/bigquery.dataViewer"]
  }
}
```
PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où existe le produit de données
DATA_PRODUCT_ID : ID de votre produit de données
DATA_ASSET_ID : ID du composant pour lequel vous souhaitez configurer les autorisations

Terraform

Attribuez des rôles IAM à vos groupes d'accès pour des composants spécifiques à l'aide du bloc access_group_configs dans la ressource google_dataplex_data_product_data_asset.

Par exemple, utilisez la configuration suivante :

resource "google_dataplex_data_product_data_asset" "example_data_asset" {
project         = "PROJECT_ID"
location        = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
data_asset_id   = "DATA_ASSET_ID"
resource        = "RESOURCE_NAME"

access_group_configs {
  access_group = "analyst" # Must match the 'id' defined in google_dataplex_data_product
  iam_roles    = ["roles/bigquery.dataViewer"]
}

provider = google-beta
}

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
LOCATION : région où se trouve le produit de données.
DATA_PRODUCT_ID : ID du produit de données
DATA_ASSET_ID : ID unique de cet élément de données dans le produit de données
RESOURCE_NAME : nom complet de la ressource de l'élément de données (par exemple, //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)

Facultatif : Ajoutez des informations supplémentaires.

Vous pouvez également ajouter des contrats, des aspects et de la documentation supplémentaire pour le produit de données.

Ajouter un contrat

Pour établir une base de confiance entre les producteurs et les consommateurs de données, vous pouvez associer un contrat à votre produit de données. En spécifiant des paramètres tels que le temps d'actualisation et les seuils, vous fournissez aux consommateurs le contexte nécessaire pour comprendre quand les données sont mises à jour et si elles répondent à leurs exigences métier spécifiques.

Console

Dans le volet Ajouter des informations supplémentaires, cliquez sur Ajouter un contrat.
Dans le champ Sélectionner un contrat, sélectionnez Refresh cadence.
Dans le champ Fréquence, sélectionnez une fréquence convenue pour la mise à jour ou la diffusion des données. Cela permet d'assurer un flux prévisible du producteur de données au consommateur de données. Exemple :Weekly
Dans le champ Heure d'actualisation, saisissez le délai maximal acceptable entre le moment où les données sont mises à jour à leur source et celui où elles deviennent disponibles pour le consommateur. Exemple :23:00 PST
Dans le champ Seuil (en minutes), saisissez une limite mesurable en minutes pour le délai acceptable de livraison des données. Par exemple, saisissez 30 pour définir le seuil sur 30 minutes.
Facultatif : Dans le champ Programmation Cron, saisissez une expression Cron qui définit la programmation de la génération et de la diffusion des données au format MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK.

Les valeurs acceptées sont les suivantes :
- MINUTE : 0-59
- HOUR : 0-23
- DAY_OF_MONTH : 1-31
- MONTH : 1-31 ou JAN-DEC
- DAY_OF_WEEK : 0-6 ou SUN-SAT
Par exemple, 0 8 * * 1-5 s'exécute à 8h en semaine (du lundi au vendredi).
Cliquez sur Enregistrer.

REST

Les contrats sont modélisés sous forme d'aspects sur le produit de données. Pour ajouter un contrat Refresh Cadence à un produit de données, utilisez la méthode entries.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
  "aspects": {
    "dataplex-types.global.refresh-cadence": {
      "aspectType": "projects/dataplex-types/locations/global/aspectTypes/refresh-cadence",
      "data": {
        "frequency": "REFRESH_FREQUENCY"
      }
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"

Remplacez les éléments suivants :

REFRESH_FREQUENCY : calendrier convenu pour la fréquence de mise à jour ou de livraison des données, garantissant un flux prévisible du producteur de données au consommateur de données. Par exemple : Weekly
PROJECT_ID : ID de votre Google Cloud projet dans lequel l'appel d'API est effectué
LOCATION : région du point de terminaison du service Dataplex Universal Catalog que vous appelez (par exemple, us-central1)
DATA_PRODUCT_PROJECT_NUMBER : numéro du projet dans lequel se trouve la ressource de produit de données
DATA_PRODUCT_LOCATION : emplacement de la ressource du produit de données
DATA_PRODUCT_ID : ID de votre produit de données

Terraform

Les contrats sont modélisés sous forme d'aspects sur le produit de données. Pour gérer un contrat, vous devez gérer l'entrée Dataplex Universal Catalog sous-jacente. Comme Terraform ne détecte pas automatiquement les aspects existants, vous devez d'abord importer google_dataplex_entry.

Pour importer l'entrée, utilisez la commande suivante :

terraform import google_dataplex_entry.data_product_metadata "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"

Configuration Terraform :

resource "google_dataplex_entry" "data_product_metadata" {
project        = "DATA_PRODUCT_PROJECT_NUMBER"
location       = "LOCATION"
entry_group_id = "@dataplex"
entry_id       = "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
entry_type     = "projects/655216118709/locations/global/entryTypes/data-product"

aspects {
  aspect_key = "655216118709.global.refresh-cadence"
  aspect {
    data = jsonencode({
      frequency = "REFRESH_FREQUENCY"
    })
  }
}

provider = google-beta
}

Remplacez les éléments suivants :

DATA_PRODUCT_PROJECT_NUMBER : numéro du projet dans lequel se trouve la ressource du produit de données
LOCATION : région du point de terminaison du service Dataplex Universal Catalog que vous appelez (par exemple, us-central1)
DATA_PRODUCT_ID : ID de votre produit de données
REFRESH_FREQUENCY : calendrier convenu pour la fréquence de mise à jour ou de livraison des données, garantissant un flux prévisible du producteur de données au consommateur de données. Par exemple : Weekly

Pour obtenir des informations générales sur le processus d'importation, consultez la documentation Terraform sur l'importation.

Ajouter des aspects

Utilisez les aspects pour enrichir votre produit de données avec des métadonnées structurées et réutilisables. Ces modèles permettent aux producteurs de données de communiquer de manière standardisée sur la qualité et l'adéquation d'un produit de données, ce qui améliore la gouvernance et aide les consommateurs à déterminer si le produit répond à leurs besoins commerciaux.

Pour ajouter des aspects au produit de données, procédez comme suit :

Console

Dans le volet Ajouter des détails supplémentaires, cliquez sur + Ajouter un aspect.
Dans le champ Sélectionner un type d'aspect, recherchez et sélectionnez un type d'aspect dans la liste. Exemple :Geo context
Dans le champ Pays, sélectionnez le pays auquel appartient l'élément.
Dans le champ Région, sélectionnez la région commerciale à laquelle appartient le composant.
Cliquez sur Enregistrer.

REST

Pour ajouter des aspects à un produit de données, utilisez la méthode entries.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
  "aspects": {
    "ASPECT_PROJECT_ID.ASPECT_LOCATION.ASPECT_NAME": {
      "aspectType": "projects/ASPECT_PROJECT_ID/locations/ASPECT_LOCATION/aspectTypes/ASPECT_NAME",
      "data": {}
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"

Remplacez les éléments suivants :

ASPECT_PROJECT_ID : ID de votre projet Google Clouddans lequel l'aspect est créé
ASPECT_LOCATION : région du point de terminaison du service Dataplex Universal Catalog où l'aspect est créé (par exemple, us-central1)
ASPECT_NAME : nom de l'aspect que vous souhaitez associer au produit de données
PROJECT_ID : ID de votre Google Cloud projet dans lequel l'appel d'API est effectué
LOCATION : région du point de terminaison du service Dataplex Universal Catalog que vous appelez (par exemple, us-central1)
DATA_PRODUCT_PROJECT_NUMBER : numéro du projet dans lequel se trouve la ressource du produit de données
DATA_PRODUCT_LOCATION : emplacement de la ressource du produit de données
DATA_PRODUCT_ID : ID de votre produit de données

Terraform

Pour gérer les aspects, vous devez gérer l'entrée Dataplex Universal Catalog sous-jacente. Étant donné que Terraform ne détecte pas automatiquement les aspects existants, vous devez d'abord importer le google_dataplex_entry.

Pour importer l'entrée, utilisez la commande suivante :

terraform import google_dataplex_entry.data_product_metadata "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"

Configuration Terraform :

resource "google_dataplex_entry" "data_product_metadata" {
project        = "DATA_PRODUCT_PROJECT_NUMBER"
location       = "LOCATION"
entry_group_id = "@dataplex"
entry_id       = "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
entry_type     = "projects/655216118709/locations/global/entryTypes/data-product"

aspects {
  aspect_key = "ASPECT_PROJECT_NUMBER.ASPECT_LOCATION.ASPECT_NAME"
  aspect {
    data = {}
  }
}

provider = google-beta
}

Remplacez les éléments suivants :

DATA_PRODUCT_PROJECT_NUMBER : numéro du projet dans lequel se trouve la ressource du produit de données
LOCATION : région du point de terminaison du service Dataplex Universal Catalog que vous appelez (par exemple, us-central1)
DATA_PRODUCT_ID : ID de votre produit de données
ASPECT_PROJECT_NUMBER : numéro du projet Google Cloud dans lequel l'aspect est créé
ASPECT_LOCATION : région du point de terminaison du service Dataplex Universal Catalog où l'aspect est créé (par exemple, us-central1)
ASPECT_NAME : nom de l'aspect que vous souhaitez associer au produit de données

Pour obtenir des informations générales sur le processus d'importation, consultez la documentation Terraform sur l'importation.

Ajouter une documentation

La documentation fournit aux utilisateurs le contexte essentiel pour comprendre et utiliser efficacement un produit de données. Vous pouvez inclure des détails en texte enrichi tels que des guides d'utilisation, des exemples de requêtes SQL et des descriptions de la logique métier pour aider les utilisateurs à générer des insights à partir des composants sous-jacents. Dans Dataplex Universal Catalog, la documentation est gérée par le biais de l'aspect système overview.

Pour ajouter de la documentation au produit de données, procédez comme suit :

Console

Dans le panneau Ajouter des informations, cliquez sur Modifier à côté de Documentation.
Saisissez le contenu dans l'éditeur de texte enrichi.
Cliquez sur Enregistrer.

Le produit de données que vous venez de créer s'affiche sur la page Produits de données de Dataplex Universal Catalog.

REST

La documentation est modélisée sous forme d'aspects sur le produit de données. Pour ajouter de la documentation, utilisez la méthode entries.patch.

Par exemple, envoyez la requête PATCH suivante :

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
  "aspects": {
    "dataplex-types.global.overview": {
      "aspectType": "projects/dataplex-types/locations/global/aspectTypes/overview",
      "data": {
        "content": "DOCUMENTATION"
      }
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre Google Cloud projet dans lequel l'appel d'API est effectué
LOCATION : région du point de terminaison du service Dataplex Universal Catalog que vous appelez (par exemple, us-central1)
DATA_PRODUCT_PROJECT_NUMBER : numéro du projet dans lequel se trouve la ressource du produit de données
DATA_PRODUCT_LOCATION : emplacement de la ressource du produit de données
DATA_PRODUCT_ID : ID de votre produit de données
DOCUMENTATION : contenu que vous souhaitez associer au produit de données

Terraform

La documentation est modélisée sous forme d'aspects sur le produit de données. Pour gérer la documentation, vous devez gérer l'entrée Dataplex Universal Catalog sous-jacente. Comme Terraform ne détecte pas automatiquement les aspects existants, vous devez d'abord importer google_dataplex_entry.

Pour importer l'entrée, utilisez la commande suivante :

terraform import google_dataplex_entry.data_product_metadata "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"

Configuration Terraform :

resource "google_dataplex_entry" "data_product_metadata" {
project        = "DATA_PRODUCT_PROJECT_NUMBER"
location       = "LOCATION"
entry_group_id = "@dataplex"
entry_id       = "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
entry_type     = "projects/655216118709/locations/global/entryTypes/data-product"

aspects {
  aspect_key = "655216118709.global.overview"
  aspect {
    data = jsonencode({
      content = "DOCUMENTATION"
    })
  }
}

provider = google-beta
}

Remplacez les éléments suivants :

DATA_PRODUCT_PROJECT_NUMBER : numéro du projet dans lequel se trouve la ressource du produit de données
LOCATION : région du point de terminaison du service Dataplex Universal Catalog que vous appelez (par exemple, us-central1)
DATA_PRODUCT_ID : ID de votre produit de données
DOCUMENTATION : contenu que vous souhaitez associer au produit de données

Pour obtenir des informations générales sur le processus d'importation, consultez la documentation Terraform sur l'importation.

Étapes suivantes

En savoir plus sur la gestion des produits de données
Découvrez comment rechercher des produits de données.
En tant que consommateur de données, découvrez comment demander l'accès aux produits de données.

Créer des produits de données Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Avant de commencer

Rôles requis

Rôles d'un propriétaire de produits de données

Autorisations requises

Rôles pour un consommateur de produit de données

Créer et configurer un produit de données

Créer un produit de données

Console

REST

Terraform

Facultatif : Ajouter des composants

Console

REST

Terraform

Facultatif : Configurer les groupes d'accès et les autorisations associées aux composants

Configurer les groupes d'accès

Console

REST

Terraform

Configurer les autorisations sur les composants

Console

REST

Terraform

Facultatif : Ajoutez des informations supplémentaires.

Ajouter un contrat

Console

REST

Terraform

Ajouter des aspects

Console

REST

Terraform

Ajouter une documentation

Console

REST

Terraform

Étapes suivantes

Créer des produits de données