Planifier et exécuter un job Cron à l'aide de Terraform

Planifier et exécuter un job Cron à l'aide de Terraform

Ce guide de démarrage rapide explique comment utiliser Terraform pour créer un job cron Cloud Scheduler. Terraform est un outil Infrastructure as Code (IaC) qui vous permet de créer, de modifier et d'améliorer de manière prévisible votre infrastructure cloud en utilisant du code. Pour en savoir plus sur l'utilisation de Terraform pour provisionner l'infrastructure sur Google Cloud,

Une version sans frais de Cloud Scheduler est disponible. Par conséquent, l'exécution de ce démarrage rapide ne vous coûtera rien. Pour en savoir plus, reportez-vous à la section Tarification.

Dans le cadre de ce guide démarrage rapide, vous allez effectuer les étapes suivantes :

1. Utilisez Terraform pour créer un job Cron pour Cloud Scheduler.
2. définir un calendrier récurrent pour la tâche ;
3. spécifier un sujet Pub/Sub comme cible de la tâche ;
4. Exécuter la tâche.
5. vérifier que la tâche a bien été exécutée.

Avant de commencer

Les contraintes de sécurité définies par votre organisation peuvent vous empêcher d'effectuer les étapes suivantes. Pour en savoir plus sur la résolution de ce problème, consultez Développer des applications dans un environnement Google Cloud limité.

Sign in to your Google Account.

If you don't already have one, sign up for a new account.

Install the Google Cloud CLI.

Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour initialiser la gcloud CLI, exécutez la commande suivante :

gcloud init

Create or select a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Si vous utilisez un projet existant pour ce guide, vérifiez que vous disposez des autorisations nécessaires pour suivre les instructions. Si vous avez créé un projet, vous disposez déjà des autorisations requises.

Enable the Resource Manager and Service Usage APIs:

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

gcloud services enable cloudresourcemanager.googleapis.com serviceusage.googleapis.com

Install the Google Cloud CLI.

Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour initialiser la gcloud CLI, exécutez la commande suivante :

gcloud init

Create or select a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Si vous utilisez un projet existant pour ce guide, vérifiez que vous disposez des autorisations nécessaires pour suivre les instructions. Si vous avez créé un projet, vous disposez déjà des autorisations requises.

Enable the Resource Manager and Service Usage APIs:

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

gcloud services enable cloudresourcemanager.googleapis.com serviceusage.googleapis.com

1. Terraform est déjà intégré à Cloud Shell. Si vous devez installer Terraform, consultez la documentation HashiCorp Terraform.

Rôles requis

Pour obtenir les autorisations nécessaires pour suivre ce guide de démarrage rapide, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

• Administrateur Cloud Scheduler (roles/cloudscheduler.admin)
• Éditeur Pub/Sub (roles/pubsub.editor)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un fichier de configuration Terraform

Pour utiliser Terraform avec Cloud Scheduler, vous devez créer un fichier de configuration pour décrire votre infrastructure et créer un plan d'exécution. Vous appliquez ensuite le fichier de configuration à votre plate-forme ou service pour effectuer des opérations qui provisionnent votre infrastructure.

Pour créer un fichier de configuration Terraform appelé main.tf, procédez comme suit :

1. Ouvrez un terminal et créez un répertoire :

   mkdir terraform

2. Accédez au répertoire terraform :

   cd terraform

3. Ajoutez un nouveau fichier, main.tf, au répertoire:

   nano main.tf

4. Ajoutez les ressources du fournisseur Terraform pour Google Cloud suivantes au fichier main.tf :

   1. Activez les API Cloud Scheduler et Pub/Sub :

      # Enable Cloud Scheduler API
      resource "google_project_service" "scheduler" {
        service            = "cloudscheduler.googleapis.com"
        disable_on_destroy = false
      }
      # Enable Pub/Sub API
      resource "google_project_service" "pubsub" {
        service            = "pubsub.googleapis.com"
        disable_on_destroy = false
      }

   2. Créez un sujet Pub/Sub en tant que ressource à laquelle les éditeurs peuvent envoyer des messages :

      # Create Pub/Sub topic
      resource "google_pubsub_topic" "default" {
        name = "pubsub_topic"
      }

      Cette opération crée un sujet appelé pubsub_topic.

   3. Créez un abonnement pour recevoir les messages publiés dans le sujet Pub/Sub :

      # Create Pub/Sub subscription
      resource "google_pubsub_subscription" "default" {
        name  = "pubsub_subscription"
        topic = google_pubsub_topic.default.name
      }

   4. Créez un job Cron à l'aide de la ressource google_cloud_scheduler_job :

      # Create a cron job using Cloud Scheduler
      resource "google_cloud_scheduler_job" "default" {
        name        = "test-job"
        description = "test job"
        schedule    = "30 16 * * 7"
        region      = "us-central1"
      
        pubsub_target {
          topic_name = google_pubsub_topic.default.id
          data       = base64encode("Hello world!")
        }
      }

      Les arguments suivants sont utilisés dans l'exemple :

      • name : nom du job.
      • description : description du job.

      • schedule : fréquence du job, à l'aide d'un format basé sur unix-cron.

        Dans cet exemple, 30 16 * * 7 signifie que le job s'exécutera à 16h30 le dimanche. Pour en savoir plus, consultez Format et fuseau horaire des jobs Cron.

      • region : région dans laquelle se trouve le job.

      • pubsub_target : sujet Pub/Sub cible, y compris le nom complet de la ressource du sujet (topic_name) dans lequel la charge utile du message (data) est publiée lorsque le job est exécuté.

      D'autres arguments sont acceptés. Pour en savoir plus, consultez la documentation de référence sur les arguments du registre Terraform.

Pour obtenir un autre exemple d'utilisation de Terraform avec Cloud Scheduler, consultez Exécuter des services Cloud Run de manière planifiée.

Créer la job Cron

Déployez vos ressources Terraform pour créer le job cron.

1. Ouvrez un terminal et, dans le répertoire terraform, initialisez Terraform :

   terraform init

2. Vérifiez que les modifications que vous proposez avec Terraform correspondent au plan attendu :

   terraform plan

   Vous pouvez ignorer la note indiquant que l'option -out n'est pas utilisée.

3. Créez la job Cron :

   terraform apply

4. Lorsque l'invite Saisir une valeur s'affiche, saisissez yes pour procéder à la création des ressources.

5. Vérifiez qu'un job a été créé :

   gcloud scheduler jobs describe test-job --location=us-central1

   La sortie devrait ressembler à ce qui suit :

   description: test job
   lastAttemptTime: '2024-04-04T13:56:00.669530Z'
   name: projects/PROJECT_ID/locations/us-central1/jobs/test-job
   pubsubTarget:
   data: dGVzdA==
   topicName: projects/PROJECT_ID/topics/pubsub_topic
   schedule: '30 16 * * 7'
   scheduleTime: '2024-04-04T13:58:00.737907Z'
   state: ENABLED

Vous avez créé un job qui envoie un message à un sujet Pub/Sub à 16h30 le dimanche. Vous pouvez maintenant exécuter le job.

Exécuter votre tâche

En plus de l'exécution selon la planification spécifiée, vous pouvez forcer l'exécution immédiate de votre job en exécutant la commande suivante.

gcloud scheduler jobs run test-job --location=us-central1

Notez qu'en raison d'une configuration initiale, l'exécution de la première tâche créée dans un projet peut prendre quelques minutes.

Vérifier les résultats

Vérifiez que votre sujet Pub/Sub reçoit les messages de votre job.

1. Extrayez des messages Pub/Sub d'un abonnement :

   gcloud pubsub subscriptions pull pubsub_subscription --limit 5
   

   Si aucun message n'a été initialement récupéré, exécutez de nouveau la commande.

2. Consultez les résultats de l'exécution de votre tâche. Le résultat doit ressembler à ce qui suit :

   DATA: Hello world!
   MESSAGE_ID: 5028933846601543
   ORDERING_KEY:
   ATTRIBUTES:
   DELIVERY_ATTEMPT:
   ACK_ID: RFAGFixdRkhRNxkIaFEOT14jPzUgKEUQAgVPAihdeTFXLkFacGhRDRlyfWB9[...]
   

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , supprimez le projet Google Cloud qui les contient.

1. La suppression de votre projet Google Cloud arrête la facturation de toutes les ressources utilisées dans ce projet. Notez que, par défaut, tous les fichiers de votre répertoire d'accueil Cloud Shell (par exemple, les fichiers Terraform) sont conservés entre les sessions.
   Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

   • Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
   • Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

   Delete a Google Cloud project:

   gcloud projects delete PROJECT_ID

2. Vous pouvez également supprimer toutes les ressources que vous avez créées avec Terraform.

   La commande terraform destroy met fin à toutes les ressources spécifiées dans votre état Terraform. Il ne détruit pas les ressources qui ne sont pas gérées par le projet Terraform actuel. Votre fichier de configuration Terraform n'est pas détruit. Pour en savoir plus, consultez Détruire l'infrastructure.

   terraform destroy

Étapes suivantes

• Qu'est-ce que Terraform ?
• Afficher les journaux Cloud Scheduler