Planifier des exécutions en production

Planifier des exécutions en production

Ce guide de démarrage rapide vous explique comment planifier des exécutions en production dans Dataform :

• Créer un dépôt Dataform.
• Attribuer les rôles requis.

• Créer une configuration de version et une configuration de workflow.

  Créez une configuration de version production et définissez la fréquence de création des résultats de compilation production. Ensuite, créez une configuration de workflow production, sélectionnez la configuration de version production et définissez une programmation pour l'exécution des résultats de compilation production.

• Afficher les anciens résultats de compilation.

• Afficher les anciennes exécutions.

• Nettoyer les composants créés.

Avant de commencer

Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Sélectionnez ou créez également un compte de service personnalisé pour exécuter des workflows dans BigQuery.

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce guide de démarrage rapide, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Administrateur Dataform (roles/dataform.admin) sur le dépôt
• Utilisateur du compte de service (roles/iam.serviceAccountUser) sur le compte de service personnalisé
• Administrateur IAM du projet (roles/resourcemanager.projectIamAdmin) sur le projet

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Attribuer les rôles requis

Pour exécuter des workflows dans BigQuery, vous pouvez utiliser un compte de service personnalisé ou votre compte Google (aperçu). Toutefois, les identifiants de compte de service personnalisé sont l'option par défaut pour les exécutions planifiées. L'utilisation des identifiants de compte utilisateur Google est déconseillée pour les exécutions planifiées.

Votre compte de service personnalisé doit disposer des rôles requis suivants :

• Éditeur de données BigQuery (roles/bigquery.dataEditor) sur les projets ou les ensembles de données BigQuery spécifiques auxquels Dataform doit avoir accès en lecture et en écriture. Cela inclut généralement le projet hébergeant votre dépôt Dataform.
• Lecteur de données BigQuery (roles/bigquery.dataViewer) sur les projets ou les ensembles de données BigQuery spécifiques auxquels Dataform doit avoir accès en lecture seule.
• Utilisateur de job BigQuery (roles/bigquery.jobUser) sur le projet hébergeant votre dépôt Dataform.

Pour que Dataform puisse utiliser votre compte de service personnalisé, l'agent de service Dataform par défaut doit disposer des rôles suivants sur la ressource de compte de service personnalisé :

• Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator)
• Utilisateur du compte de service (roles/iam.serviceAccountUser)

Pour attribuer ces rôles, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page IAM.

   Accéder à IAM

2. Cliquez sur Accorder l'accès.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service personnalisé.

4. Dans le menu Sélectionner un rôle, sélectionnez les rôles suivants un par un, en utilisant Ajouter un autre rôle pour chaque rôle supplémentaire :

   • Éditeur de données BigQuery
   • Lecteur de données BigQuery
   • Utilisateur de job BigQuery

5. Cliquez sur Enregistrer.

6. Dans la Google Cloud console, accédez à la page Comptes de service.

   Accéder à la page "Comptes de service"

7. Sélectionnez votre compte de service personnalisé.

8. Accédez à Comptes principaux ayant accès, puis cliquez sur Accorder l'accès.

9. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre agent de service Dataform par défaut.

   L'ID de votre agent de service Dataform par défaut est au format suivant :

   [e-mail]
   

   Remplacez PROJECT_NUMBER par l'ID numérique de votre Google Cloud projet. Vous trouverez l'ID de votre Google Cloud projet dans le Google Cloud tableau de bord de la console. Pour en savoir plus, reportez-vous à la section Identifier les projets.

10. Dans la liste Sélectionner un rôle, ajoutez les rôles suivants :

    • Utilisateur du compte de service
    • Créateur de jetons du compte de service

11. Cliquez sur Enregistrer.

Pour en savoir plus sur l'attribution de rôles, consultez Accorder à Dataform l'accès requis.

Créer un dépôt Dataform

1. Dans la Google Cloud console, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur Créer un dépôt.

3. Sur la page CRÉER UN DÉPÔT, procédez comme suit :

   1. Dans le champ ID du dépôt, saisissez quickstart-production.

   2. Dans la liste Région, sélectionnez europe-west4.

   3. Dans la liste Compte de service, sélectionnez un compte de service personnalisé pour le dépôt.

   4. Dans la section Vérifications d'autorisations actAs, appliquez les vérifications d'autorisations aux actions de l'utilisateur sur le dépôt.

   5. Cliquez sur Créer.

4. Cliquez sur Accéder aux dépôts.

Créer une configuration de version et une configuration de workflow

Pour créer les résultats de compilation en production du quickstart-production dépôt et planifier une exécution des tables production, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Versions et planification, puis sur Créer une version de production.

4. Dans le volet Créer une configuration de version, configurez les paramètres suivants :

   1. Dans le champ ID de version, saisissez production.
   2. Dans le champ Commitish Git, conservez la valeur par défaut main.
   3. Dans la section Fréquence de planification, dans le menu Répéter, sélectionnez Personnalisée.
   4. Dans le champ Planification personnalisée, saisissez 0 16 * * *.

   5. Dans le menu Fuseau horaire , sélectionnez un fuseau horaire UTC+1, par exemple Heure normale d'Europe centrale (CET).

      Chaque jour à 16h UTC+1, Dataform compile le quickstart-production dépôt et applique les paramètres de compilation configurés dans cette configuration de version pour créer des résultats de compilation production.

5. Cliquez sur Créer.

   La configuration de version production crée un résultat de compilation pour l'ensemble du dépôt quickstart-production tous les jours à 16h UTC+1.

6. Assurez-vous que vous êtes bien dans l'onglet Versions et planification. Accédez à la section Configurations de workflow et cliquez sur Créer.

7. Dans le volet Créer une configuration de workflow, configurez les paramètres suivants :

   1. Dans le champ ID de configuration, saisissez production.
   2. Dans le menu Configuration de version, sélectionnez production.
   3. Dans la section Fréquence de planification, dans le menu Répéter, sélectionnez Personnalisée.
   4. Dans le champ Planification personnalisée, saisissez 0 17 * * *.

   5. Dans le menu Fuseau horaire , sélectionnez un fuseau horaire UTC+1, par exemple Heure normale d'Europe centrale (CET).

      Chaque jour à 17h UTC+1, Dataform exécute le dernier résultat de compilation production du dépôt quickstart-production.

      Important : Pour vous assurer que Dataform exécute le dernier résultat de compilation dans la configuration de version correspondante, prévoyez un délai d'au moins une heure entre l'heure de création du résultat de compilation et l'heure d'exécution planifiée.

   6. Cliquez sur Toutes les actions.

      Dataform exécute toutes les actions de workflow dans le résultat de compilation production.

8. Cliquez sur Créer.

   La configuration de workflow production exécute l'intégralité du dernier résultat de compilation créé par la configuration de version de production tous les jours à 17h UTC+1.

Afficher les anciens résultats de compilation production

Pour afficher les anciens résultats de compilation production planifiés, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page Dataform.

   Accéder à Dataform

2. Sélectionnez le dépôt quickstart-production.

3. Cliquez sur Versions et planification.

4. Dans la section Configurations des versions, cliquez sur production.

Afficher les anciennes exécutions de workflow production

Pour afficher les anciennes exécutions de workflow production, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page Dataform.

   Accéder à Dataform

2. Sélectionnez le dépôt quickstart-production.

3. Cliquez sur Journaux d'exécution de workflow.

4. Sélectionnez une exécution de workflow pour afficher des informations plus détaillées, y compris l'état de chaque action et les journaux.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre Google Cloud compte pour les ressources utilisées sur cette page, procédez comme suit :

Supprimer l'ensemble de données créé dans BigQuery

Pour éviter que des frais ne vous soient facturés pour les éléments BigQuery, procédez comme suit afin de supprimer l'ensemble de données dataform_production :

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le panneau Explorateur, développez votre projet et sélectionnez dataform_production.

3. Cliquez sur le menu Actions, puis sélectionnez Supprimer.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete, puis cliquez sur Supprimer.

Supprimer la configuration de version Dataform

La création de configurations de version Dataform n'engendre aucuns frais. Toutefois, si vous souhaitez supprimer la configuration de version production, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Versions et planification, puis accédez à la section Configurations des versions.

4. À partir de la configuration de version production, cliquez sur le Plus menu, puis sur Supprimer.

5. Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.

Supprimer la configuration de workflow Dataform

Pour éviter que des frais liés aux éléments BigQuery ne vous soient facturés, procédez comme suit afin de supprimer la configuration de workflow production Dataform :

1. Dans la Google Cloud console, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Versions et planification, puis accédez à la section Configurations de workflow.

4. À côté de la configuration de workflow production, cliquez sur le Plus menu, puis sur Supprimer.

5. Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.

Supprimer le dépôt Dataform

La création de dépôts Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un dépôt et tout son contenu, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page Dataform.

   Accéder à Dataform

2. À côté de quickstart-production, cliquez sur le menu Plus , puis sélectionnez Supprimer.

3. Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.

4. Pour confirmer l'opération, cliquez sur Supprimer.

Étape suivante

• Pour en savoir plus sur les comptes de service, consultez À propos des comptes de service personnalisés et des agents de service Dataform.
• Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez Introduction au cycle de vie du code dans Dataform.
• Pour en savoir plus sur les bonnes pratiques concernant le cycle de vie des workflows dans Dataform, consultez Bonnes pratiques concernant le cycle de vie des workflows.
• Pour en savoir plus sur les configurations de version dans Dataform, consultez Créer une configuration de version.
• Pour en savoir plus sur les configurations de workflow dans Dataform, consultez Planifier des exécutions avec des configurations de workflow.