Ajouter des métadonnées à une table BigQuery

Ajouter des métadonnées à une table BigQuery

Découvrez comment gérer les métadonnées dans Dataplex Universal Catalog.

Ce guide de démarrage rapide vous explique comment ajouter des métadonnées à une table BigQuery. Dans ce guide de démarrage rapide, vous allez :

1. Créer un ensemble de données et une table BigQuery à partir d'un ensemble de données public

2. Créez un modèle qui définit un ensemble de champs de métadonnées associés.

   Ce modèle est appelé type d'aspect. L'ensemble des champs de métadonnées associés qui décrivent les métadonnées techniques et métier de vos composants de données est appelé aspect.

3. Ajoutez des métadonnées à la table.

   Dans Dataplex Universal Catalog, chaque élément de données est représenté par une entrée. Pour associer des métadonnées à un élément de données, vous devez ajouter des aspects à l'entrée.

Avant de commencer

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Accéder à IAM
2. Sélectionnez le projet.
3. Cliquez sur  Accorder l'accès.

4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

5. Dans la liste Sélectionner un rôle, sélectionnez un rôle.
6. Pour attribuer des rôles supplémentaires, cliquez sur  Ajouter un autre rôle et ajoutez tous les rôles supplémentaires.
7. Cliquez sur Enregistrer.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Accéder à IAM
2. Sélectionnez le projet.
3. Cliquez sur  Accorder l'accès.

4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

5. Dans la liste Sélectionner un rôle, sélectionnez un rôle.
6. Pour attribuer des rôles supplémentaires, cliquez sur  Ajouter un autre rôle et ajoutez tous les rôles supplémentaires.
7. Cliquez sur Enregistrer.

Créer un ensemble de données et une table

1. Dans la console Google Cloud , accédez à la page BigQuery Studio.

   Accéder à BigQuery Studio

2. Créez un ensemble de données :

   1. Dans le volet Explorateur, recherchez votre projet. Cliquez sur Afficher les actions, puis sur Créer un ensemble de données.

   2. Dans le champ ID de l'ensemble de données, saisissez catalog_demo_dataset.

      Conservez les valeurs par défaut des autres champs.

   3. Cliquez sur Créer un ensemble de données.

3. Copiez une table publique dans votre ensemble de données :

   1. Dans le volet Explorateur, recherchez la table nommée bigquery-public-data.new_york_citibike.citibike_stations. Vous devrez peut-être définir le champ d'application de la recherche pour inclure le projet bigquery-public-data.

      Ce tableau fait partie de l'ensemble de données NYC Citi Bike Trips, un ensemble de données public qui contient des données sur un programme de vélos en libre-service.

   2. Sélectionnez la table citibike_stations.

   3. Cliquez sur Copier. Saisissez les informations suivantes :

      • Projet : sélectionnez votre projet.
      • Ensemble de données : sélectionnez catalog_demo_dataset.
      • Table : saisissez bike_stations.

   4. Cliquez sur Copier.

4. Dans le volet Explorateur, localisez l'ensemble de données catalog_demo_dataset et vérifiez que la table bike_stations figure dans l'ensemble de données.

Définir un modèle de métadonnées : créer un type d'aspect

1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

   Accéder au catalogue

2. Cliquez sur l'onglet Types d'aspects et modèles de tags, puis sur l'onglet Personnalisé.

3. Cliquez sur Créer un type d'aspect.

4. Dans le champ ID du type d'aspect, saisissez data-governance-demo.

5. Dans le champ Emplacement, sélectionnez global.

6. Dans la section Modèle, cliquez sur Ajouter un champ. Utilisez les informations du tableau suivant pour ajouter plusieurs champs au type d'aspect :

   Nom	Type	Obligatoire	Description
   source-of-data-asset	Texte	Non	-
   retention-date	Date et heure	Non	-
   data-classification	Enum Ajoutez les valeurs Public, Sensitive et Confidential.	Oui	-
   has-pii	Booléen	Oui	Whether the data asset has personally identifiable information

7. Cliquez sur Enregistrer.

Ajouter des métadonnées à la table : ajouter un aspect à l'entrée

1. Dans la console Google Cloud , accédez à la page Rechercher de Dataplex Universal Catalog.

   Accéder à la recherche

2. Dans le champ de recherche, saisissez catalog_demo_dataset.

3. Sélectionnez la table bike_stations.

4. Ajoutez un aspect personnalisé à l'entrée :

   1. Dans la section Tags et aspects, à côté de Tags et aspects facultatifs, cliquez sur Ajouter.

   2. Sélectionnez le type d'aspect data-governance-demo.

      Cela crée un aspect qui utilise votre type d'aspect comme modèle.

   3. Saisissez les valeurs suivantes :

      • Source de l'élément de données : Copied from NYC Citi Bike Trips public dataset
      • Date de conservation : saisissez une date.
      • Classification des données : Public
      • Comporte des informations personnelles : False

   4. Cliquez sur Enregistrer.

5. Pour afficher les valeurs de métadonnées que vous avez ajoutées, dans la section Tags et aspects, sélectionnez l'aspect data-governance-demo.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , procédez comme suit :

Supprimer le projet

Le moyen le plus simple d'arrêter la facturation est de supprimer le projet que vous avez créé pour ce guide de démarrage rapide.

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Supprimer des ressources individuelles

Si vous souhaitez réutiliser votre projet, supprimez les ressources que vous avez créées.

1. Supprimez l'ensemble de données  :

   1. Dans la console Google Cloud , accédez à la page BigQuery Studio.

      Accéder à BigQuery Studio

   2. Dans le volet Explorateur, recherchez l'ensemble de données catalog_demo_dataset.

   3. Cliquez sur Afficher les actions, puis sur Supprimer. Confirmez l'opération lorsque vous y êtes invité.

2. Supprimez le type d'aspect :

   1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

      Accéder au catalogue

   2. Cliquez sur l'onglet Types d'aspects et modèles de tags, puis sur l'onglet Personnalisé.

   3. Cliquez sur le type d'aspect data-governance-demo.

   4. Cliquez sur Supprimer. Confirmez l'opération lorsque vous y êtes invité.

Étapes suivantes

• En savoir plus sur la gestion des métadonnées
• Découvrez comment rechercher des ressources.
• Découvrez comment utiliser les aspects et les types d'aspects.