Créer des environnements de développement

Créer des environnements de développement

Ce guide de démarrage rapide vous explique comment créer des environnements de développement individuels dans Dataform, afin que chaque développeur puisse travailler dans son propre environnement de développement :

• Créez un dépôt Dataform.
• Attribuez les rôles requis.

• Configurez des remplacements de compilation d'espace de travail.

  Configurez les remplacements de compilation que Dataform applique à tous les espaces de travail de votre dépôt, transformant ainsi les espaces de travail en environnements de développement isolés.

• Nettoyez les composants créés.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

De plus, si vous souhaitez utiliser un compte de service personnalisé pour exécuter des workflows dans BigQuery, sélectionnez ou créez un compte de service personnalisé.

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce guide de démarrage rapide, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Administrateur Dataform (roles/dataform.admin) sur le dépôt
• Utilisateur du compte de service (roles/iam.serviceAccountUser) sur le compte de service personnalisé
• Administrateur IAM du projet (roles/resourcemanager.projectIamAdmin) sur le projet

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Attribuer les rôles requis

Pour exécuter des workflows dans BigQuery, vous pouvez utiliser un compte de service personnalisé ou votre compte Google.

Votre compte de service personnalisé doit disposer des rôles requis suivants :

• Éditeur de données BigQuery (roles/bigquery.dataEditor) sur les projets ou les ensembles de données BigQuery spécifiques auxquels Dataform doit avoir accès en lecture et en écriture. Cela inclut généralement le projet hébergeant votre dépôt Dataform.
• Lecteur de données BigQuery (roles/bigquery.dataViewer) sur les projets ou les ensembles de données BigQuery spécifiques auxquels Dataform doit avoir accès en lecture seule.
• Utilisateur de job BigQuery (roles/bigquery.jobUser) sur le projet hébergeant votre dépôt Dataform.

Pour permettre à Dataform d'utiliser votre compte de service personnalisé, l'agent de service Dataform par défaut doit disposer des rôles suivants sur la ressource de compte de service personnalisé :

• Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator)
• Utilisateur du compte de service (roles/iam.serviceAccountUser)

Pour attribuer ces rôles, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page IAM.

   Accéder à IAM

2. Cliquez sur Accorder l'accès.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service personnalisé.

4. Dans le menu Sélectionner un rôle, sélectionnez les rôles suivants un par un, en utilisant Ajouter un autre rôle pour chaque rôle supplémentaire :

   • Éditeur de données BigQuery
   • Lecteur de données BigQuery
   • Utilisateur de job BigQuery

5. Cliquez sur Enregistrer.

6. Dans la console Google Cloud , accédez à la page Comptes de service.

   Accéder à la page "Comptes de service"

7. Sélectionnez votre compte de service personnalisé.

8. Accédez à Comptes principaux avec accès, puis cliquez sur Accorder l'accès.

9. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre agent de service Dataform par défaut.

   L'ID de votre agent de service Dataform par défaut se présente au format suivant :

   [e-mail]
   

   Remplacez PROJECT_NUMBER par l'ID numérique de votre projetGoogle Cloud . Vous trouverez l'ID de votre projet Google Cloud dans le tableau de bord de la consoleGoogle Cloud . Pour en savoir plus, consultez Identifier des projets.

10. Dans la liste Sélectionner un rôle, ajoutez les rôles suivants :

    • Utilisateur du compte de service
    • Créateur de jetons du compte de service

11. Cliquez sur Enregistrer.

Pour en savoir plus sur l'attribution de rôles, consultez Accorder à Dataform l'accès requis.

Créer un dépôt Dataform

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur Créer un dépôt.

3. Sur la page CRÉER UN DÉPÔT, procédez comme suit :

   1. Dans le champ ID du dépôt, saisissez quickstart-dev.

   2. Dans la liste Région, sélectionnez europe-west4.

   3. Dans la liste Compte de service, sélectionnez un compte de service personnalisé pour le dépôt.

      Remarque : Si votre compte de service ne figure pas dans la liste, il est possible que vous ne disposiez pas de l'autorisation iam.serviceAccounts.list au niveau du projet. Pour sélectionner le compte de service, cliquez sur Saisir manuellement, puis saisissez l'ID du compte de service.

   4. Dans la section Vérifications d'autorisations actAs, appliquez les vérifications d'autorisations aux actions des utilisateurs sur le dépôt.

   5. Cliquez sur Créer.

4. Cliquez sur Accéder aux dépôts.

Configurer des remplacements de compilation d'espace de travail

Pour créer des environnements de développement isolés avec des remplacements de compilation d'espace de travail Dataform, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-dev.

3. Cliquez sur Paramètres, puis sur Modifier.

4. Dans le volet Remplacements de compilation d'espace de travail, saisissez ${workspaceName} dans le champ Suffixe du schéma.

   Lorsque vous déclenchez une exécution dans un espace de travail, Dataform ajoute le nom de l'espace de travail en tant que suffixe au schéma par défaut défini dans les paramètres du workflow. Ce guide de démarrage rapide utilise les paramètres Dataform par défaut avec le schéma par défaut dataform.

5. Cliquez sur Enregistrer.

Dataform applique des remplacements de compilation d'espace de travail à tous les espaces de travail de votre dépôt.

Avec cette configuration, lorsque vous exécutez manuellement un workflow dans un espace de travail, Dataform l'exécute avec des remplacements de compilation d'espace de travail. Par conséquent, Dataform exécute le workflow dans le schéma dataform_workspaceName dans BigQuery, transformant l'espace de travail en environnement de développement isolé.

Par exemple, lorsque vous déclenchez manuellement une exécution dans un espace de travail sasha, Dataform exécute votre workflow dans le schéma dataform_sasha de BigQuery.

Pour exécuter des workflows sans remplacement de compilation d'espace de travail tout en conservant les remplacements de compilation pour les environnements de développement, vous pouvez créer des configurations de version afin de configurer d'autres environnements d'exécution, par exemple staging et production.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , procédez comme suit :

Supprimer les ensembles de données créés dans BigQuery

Pour éviter que des frais liés aux éléments BigQuery ne vous soient facturés, supprimez les ensembles de données dont le nom commence par dataform (par exemple, dataform-sasha).

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données.

3. Cliquez sur le menu Actions, puis sélectionnez Supprimer.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete dans le champ, puis cliquez sur Supprimer.

Supprimer le dépôt Dataform

La création de dépôts Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un dépôt et tout son contenu, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. À côté de quickstart-dev, cliquez sur le menu Plus, puis sélectionnez Supprimer.

   1. Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.

3. Pour confirmer l'opération, cliquez sur Supprimer.

Étapes suivantes

• Pour en savoir plus sur les comptes de service, consultez À propos des comptes de service personnalisés et des agents de service Dataform.
• Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez Présentation du cycle de vie du code dans Dataform.
• Pour en savoir plus sur les bonnes pratiques concernant le cycle de vie des workflows dans Dataform, consultez Bonnes pratiques concernant le cycle de vie des workflows.
• Pour en savoir plus sur les remplacements de compilation d'espace de travail dans Dataform, consultez Créer des remplacements de compilation d'espace de travail.
• Pour savoir comment planifier des exécutions en production dans Dataform, consultez Planifier des exécutions en production.