Prérequis et préparation

Pour suivre les tutoriels sur les cas d'utilisation de l'ascendance, procédez comme suit :

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   For new projects, the BigQuery API is automatically enabled.

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer les tutoriels sur les cas d'utilisation du lineage, demandez à votre administrateur de vous accorder les rôles IAM suivants sur vos projets :

• Lecteur de la traçabilité des données (roles/datalineage.viewer) : sur le projet dans lequel la traçabilité est enregistrée et affichée.
• Lecteur de données BigQuery (roles/bigquery.dataViewer) : sur le projet de stockage de la table.
• Lecteur de ressources BigQuery (roles/bigquery.resourceViewer) : sur le projet de calcul du job.
• Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer) : sur le projet dans lequel les entrées de catalogue sont stockées.
• Éditeur Dataform (roles/dataform.editor) : sur le projet dans lequel se trouvent vos espaces de travail et vos dépôts.

La liste suivante décrit les types de projets et les services associés aux rôles requis :

• Le projet de stockage stocke les ensembles de données et les tables BigQuery.
• Le projet de calcul traite vos données et stocke les métadonnées de traçabilité. Il est utilisé pour exécuter des jobs BigQuery et des transformations de données.
• Les entrées de catalogue contiennent des métadonnées qui décrivent vos tables, ce qui vous permet de les trouver et de les organiser sans accéder aux données sous-jacentes.
• La traçabilité enregistre et visualise l'historique de vos données et de leurs transformations.
• Dataform est un service permettant de créer, de contrôler les versions et d'exécuter des pipelines de données basés sur SQL. Elle transforme les données brutes en ensembles de données propres et documentés.

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations. Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Commencer

Pour suivre les tutoriels, utilisez le dépôt de cas d'utilisation de la traçabilité des données. Ce dépôt contient du code prédéfini pour configurer des ensembles de données et exécuter des transformations de données.

Présentation des ensembles de données

Chaque tutoriel utilise un ensemble de données réelles différent (par exemple, des données sur les prestataires de santé, l'emploi ou les entreprises) pour illustrer la provenance des données dans des scénarios réalistes.

Configurer des ensembles de données

Pour suivre les modifications apportées aux données avec la traçabilité des données, effectuez cette configuration unique :

1. Créez un jeton d'accès personnel et stockez-le dans Secret Manager.
2. Associez le dépôt à Dataform.

Une fois la configuration terminée, exécutez les transformations de données pour traiter les données et générer la traçabilité.