Crear y ejecutar trabajos de Batch con Terraform y Cloud Scheduler

En este tutorial se explica cómo puedes usar Terraform para crear y ejecutar trabajos por lotes mediante una tarea cron de Cloud Scheduler.

Terraform es una herramienta de código abierto que te permite aprovisionar y gestionar infraestructura especificando el estado deseado en archivos de configuración. Estos archivos se pueden tratar como código y almacenar en sistemas de control de versiones como GitHub.

Aunque Terraform no tiene recursos para Batch, en este tutorial se muestra cómo puedes usar Terraform para crear trabajos de Batch. En concreto, puedes usar Terraform para programar y ejecutar un trabajo cron de Cloud Scheduler que se dirija a la API Batch para crear y ejecutar trabajos de Batch. Cloud Scheduler es un Google Cloud servicio que te permite programar automáticamente tareas cron y es compatible con Terraform.

Este tutorial está dirigido a usuarios de Batch que ya gestionan la infraestructura con Terraform y quieren incorporar trabajos de Batch a Terraform.

Crear el directorio y el archivo de configuración de Terraform

Crea un directorio para Terraform y un archivo de configuración que defina los recursos que quieras crear o actualizar con Terraform. El archivo de configuración de ejemplo de este tutorial define una tarea cron de Cloud Scheduler llamada batch-job-invoker. Cuando está habilitada, la tarea cron batch-job-invoker se ejecuta cada 5 minutos para crear una nueva instancia del trabajo por lotes definido.

1. Para crear un directorio y un archivo de configuración de Terraform (.tf) en ese directorio, escribe el siguiente comando y, a continuación, pulsa Enter:

   mkdir terraform && cd terraform && cat > main.tf
   

   Este comando crea el directorio terraform, te lleva a él y empieza a definir un nuevo archivo de configuración main.tf en la línea siguiente.

2. Copia y pega la siguiente configuración de Terraform:

   # define variables
   variable "project_id" {
     type        = string
     description = "The project name to use."
     default = "PROJECT_ID"
   }
   
   variable "project_number" {
     type        = string
     description = "The project number to use."
     default = "PROJECT_NUMBER"
   }
   
   variable "region" {
     type        = string
     description = "The region where resources are created."
     default = "us-central1"
   }
   
   variable "cloud_scheduler_service_account_email" {
     type        = string
     description = "The service account email."
     default = "CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL"
   }
   
   variable "batch_service_account_email" {
     type        = string
     description = "The service account email."
     default = "BATCH_SERVICE_ACCOUNT_EMAIL"
   }
   
   # define a Cloud Scheduler cron job which triggers Batch jobs
   resource "google_cloud_scheduler_job" "batch-job-invoker" {
     paused           = false # this cron job is enabled
     name             = "batch-job-invoker"
     project          = var.project_id
     region           = var.region
     schedule         = "*/5 * * * *" # when enabled, run every 5 minutes
     time_zone        = "America/Los_Angeles"
     attempt_deadline = "180s"
   
     retry_config {
       max_doublings        = 5
       max_retry_duration   = "0s"
       max_backoff_duration = "3600s"
       min_backoff_duration = "5s"
     }
   
     # when this cron job runs, create and run a Batch job
     http_target {
       http_method = "POST"
       uri = "https://batch.googleapis.com/v1/projects/${var.project_id}/locations/${var.region}/jobs"
       headers = {
         "Content-Type" = "application/json"
         "User-Agent"   = "Google-Cloud-Scheduler"
       }
       # Batch job definition
       body = base64encode(<<EOT
       {
         "taskGroups":[
           {
             "taskSpec": {
               "runnables":{
                 "script": {
                   "text": "echo Hello world! This job was created using Terraform and Cloud Scheduler."
                 }
               }
             }
           }
         ],
         "allocationPolicy": {
           "serviceAccount": {
             "email": "${var.batch_service_account_email}"
           }
         },
         "labels": {
           "source": "terraform_and_cloud_scheduler_tutorial"
         },
         "logsPolicy": {
           "destination": "CLOUD_LOGGING"
         }
       }
       EOT
       )
       oauth_token {
         scope                 = "https://www.googleapis.com/auth/cloud-platform"
         service_account_email = var.cloud_scheduler_service_account_email
       }
     }
   }
   
   

   Haz los cambios siguientes:

   • PROJECT_ID: el ID de proyecto de tu proyecto.
   • PROJECT_NUMBER: el número de proyecto de tu proyecto.

   • CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL: la dirección de correo de la cuenta de servicio que has preparado para la tarea cron de Cloud Scheduler.

     Por ejemplo, para usar la cuenta de servicio predeterminada de Compute Engine, especifica lo siguiente:

     [e-mail]
     

   • BATCH_SERVICE_ACCOUNT_EMAIL: la dirección de correo electrónico de la cuenta de servicio que has preparado para las tareas de Batch.

     Por ejemplo, para usar la cuenta de servicio predeterminada de Compute Engine, especifica lo siguiente:

     [e-mail]
     

   Esta configuración de Terraform define algunas variables de entrada y un trabajo cron que se pone en contacto con el método de la API para crear un trabajo de Batch.

   Objetivo: Si quieres obtener más información sobre cómo se define esta configuración de Terraform y cómo escribir la tuya, consulta las siguientes páginas:

   • Para obtener más información sobre los campos que definen las variables, consulta la documentación sobre las variables de entrada de Terraform.
   • Para obtener más información sobre los campos que definen la tarea cron, consulta la documentación del recurso google_cloud_scheduler_job de Terraform.
   • Para obtener más información sobre los campos que solicitan crear un trabajo por lotes, consulta la documentación del jobs.createmétodo de la API Batch.

3. Para guardar y cerrar el archivo, pulsa Ctrl+D (o Command+D en macOS).

Desplegar la configuración de Terraform para crear la tarea cron

Despliega la configuración de Terraform inicializando Terraform, generando los cambios planificados y aplicando estos cambios. Después de implementar la configuración de Terraform, puedes describir los recursos de tu proyecto para verificar que Terraform ha creado correctamente el trabajo cron batch-job-invoker.

1. Inicializa Terraform en el directorio:

   terraform init
   

   El resultado debería ser similar al siguiente:

   ...
   Terraform has been successfully initialized!
   
   You may now begin working with Terraform. Try running "terraform plan" to see
   any changes that are required for your infrastructure. All Terraform commands
   should now work.
   
   If you ever set or change modules or backend configuration for Terraform,
   rerun this command to reinitialize your working directory. If you forget, other
   commands will detect it and remind you to do so if necessary.
   

2. Genera el plan de ejecución de Terraform en función del estado actual de tu proyecto y del archivo de configuración:

   terraform plan
   

   El resultado es similar al siguiente, que muestra que el plan es crear la tarea cron batch-job-invoker:

   Terraform used the selected providers to generate the following execution plan. Resource actions are indicated with the following symbols:
     + create
   
   Terraform will perform the following actions:
   
     # google_cloud_scheduler_job.batch-job-invoker will be created
     + resource "google_cloud_scheduler_job" "batch-job-invoker" {
         + id        = (known after apply)
         + name      = "batch-job-invoker"
         + paused    = false
         + project   = "PROJECT_ID"
         + region    = "us-central1"
         + schedule  = "*/5 * * * *"
         + state     = (known after apply)
         + time_zone = "America/Los_Angeles"
   
         + http_target {
             + body        = "..."
             + headers     = {
                 + "Content-Type" = "application/json"
                 + "User-Agent"   = "Google-Cloud-Scheduler"
               }
             + http_method = "POST"
             + uri         = "https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs"
   
             + oauth_token {
                 + scope                 = "https://www.googleapis.com/auth/cloud-platform"
                 + service_account_email = "CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL"
               }
           }
   
         + retry_config {
             + max_backoff_duration = "3600s"
             + max_doublings        = 5
             + max_retry_duration   = "0s"
             + min_backoff_duration = "5s"
             + retry_count          = (known after apply)
           }
       }
   
   Plan: 1 to add, 0 to change, 0 to destroy.
   
   ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
   
   Note: You didn't use the -out option to save this plan, so Terraform can't guarantee to take exactly these actions if you run "terraform apply" now.
   

3. Para aplicar el plan y crear el trabajo cron batch-job-invoker, siga estos pasos:

   1. Introduce el siguiente comando:

      terraform apply
      

      El resultado es similar al del comando terraform plan anterior, pero termina con una petición de confirmación.

   2. Para confirmar y aplicar el plan, introduce yes.

      El resultado debería ser similar al siguiente:

      google_cloud_scheduler_job.batch-job-invoker: Creating...
      google_cloud_scheduler_job.batch-job-invoker: Creation complete after 0s [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
      
      Apply complete! Resources: 1 added, 0 changed, 0 destroyed.
      

4. Para verificar que el trabajo cron batch-job-invoker existe y está habilitado, descríbelo:

   gcloud scheduler jobs describe batch-job-invoker --location us-central1
   

   El resultado debería ser similar al siguiente:

   attemptDeadline: 180s
   httpTarget:
     body: ...
     headers:
       Content-Type: application/json
       User-Agent: Google-Cloud-Scheduler
     httpMethod: POST
     oauthToken:
       scope: https://www.googleapis.com/auth/cloud-platform
       serviceAccountEmail: CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL
     uri: https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs
   lastAttemptTime: '...'
   name: projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker
   retryConfig:
     maxBackoffDuration: 3600s
     maxDoublings: 5
     maxRetryDuration: 0s
     minBackoffDuration: 5s
   schedule: '*/5 * * * *'
   scheduleTime: '...'
   state: ENABLED
   status: {}
   timeZone: America/Los_Angeles
   userUpdateTime: '...'
   

   En el resultado, comprueba que el campo state esté configurado como ENABLED.

Verificar que la tarea cron crea una tarea de Batch

Verifica que la tarea cron batch-job-invoker cree correctamente trabajos por lotes.

1. Espera 5 minutos a que se ejecute la tarea cron automáticamente o actívala para que se ejecute inmediatamente:

   gcloud scheduler jobs run batch-job-invoker --location us-central1
   

2. Lista las tareas de Batch que ha creado la tarea cron batch-job-invoker:

   gcloud batch jobs list \
   --filter labels.source=\"terraform_and_cloud_scheduler_tutorial\" \
   --sort-by ~createTime
   

   • La marca --filter labels.source=\"terraform_and_cloud_scheduler_tutorial\" filtra la lista para incluir solo los trabajos por lotes que tengan una etiqueta con la clave source y el valor terraform_and_cloud_scheduler_tutorial.
   • La bandera --sort-by ~createTime ordena la lista de más reciente a más antiguo.

Actualiza la configuración de Terraform para pausar la tarea cron

Cuando tengas el número de tareas de Batch que quieras, actualiza e implementa la configuración de Terraform para pausar la tarea cron batch-job-invoker. Si quiere actualizar otras propiedades del trabajo cron o de los trabajos de Batch futuros, se aplica el mismo proceso.

Nota: En el caso de las cargas de trabajo periódicas, no es necesario pausar la tarea cron de Cloud Scheduler si quieres seguir creando automáticamente tareas de Batch. Por ejemplo, puedes configurar la programación de la tarea cron para que ejecute una tarea de Batch el primer día de cada mes.

1. Actualiza el archivo de configuración de Terraform para pausar el trabajo cron definiendo el campo paused como true:

   sed -i 's/paused           = false # this cron job is enabled/paused           = true # this cron job is paused/g' main.tf
   

2. Genera el plan de ejecución de Terraform en función del estado actual de tu proyecto y del archivo de configuración:

   terraform plan
   

   El resultado es similar al siguiente, que muestra que el plan es actualizar el valor del campo paused de false a true:

   google_cloud_scheduler_job.batch-job-invoker: Refreshing state... [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
   
   Terraform used the selected providers to generate the following execution plan. Resource actions are indicated with the following symbols:
     ~ update in-place
   
   Terraform will perform the following actions:
   
     # google_cloud_scheduler_job.batch-job-invoker will be updated in-place
     ~ resource "google_cloud_scheduler_job" "batch-job-invoker" {
           id               = "projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker"
           name             = "batch-job-invoker"
         ~ paused           = false -> true
           # (6 unchanged attributes hidden)
   
         ~ http_target {
             ~ headers     = {
                 + "User-Agent"   = "Google-Cloud-Scheduler"
                   # (1 unchanged element hidden)
               }
               # (3 unchanged attributes hidden)
   
               # (1 unchanged block hidden)
           }
   
           # (1 unchanged block hidden)
       }
   
   Plan: 0 to add, 1 to change, 0 to destroy.
   
   ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
   
   Note: You didn't use the -out option to save this plan, so Terraform can't guarantee to take exactly these actions if you run "terraform apply" now.
   

3. Para aplicar el plan y actualizar el trabajo cron batch-job-invoker, sigue estos pasos:

   1. Introduce el siguiente comando:

      terraform apply
      

      El resultado es similar al del comando terraform plan anterior, pero termina con una petición de confirmación.

   2. Para confirmar y aplicar el plan, introduce yes.

      El resultado debería ser similar al siguiente:

      google_cloud_scheduler_job.batch-job-invoker: Modifying... [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
      google_cloud_scheduler_job.batch-job-invoker: Modifications complete after 1s [id=projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker]
      
      Apply complete! Resources: 0 added, 1 changed, 0 destroyed.
      

4. Para verificar que el trabajo cron batch-job-invoker está en pausa, descríbelo:

   gcloud scheduler jobs describe batch-job-invoker --location us-central1
   

   El resultado debería ser similar al siguiente:

   attemptDeadline: 180s
   httpTarget:
     body: ...
     headers:
       Content-Type: application/json
       User-Agent: Google-Cloud-Scheduler
     httpMethod: POST
     oauthToken:
       scope: https://www.googleapis.com/auth/cloud-platform
       serviceAccountEmail: CLOUD_SCHEDULER_SERVICE_ACCOUNT_EMAIL
     uri: https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs
   lastAttemptTime: '...'
   name: projects/PROJECT_ID/locations/us-central1/jobs/batch-job-invoker
   retryConfig:
     maxBackoffDuration: 3600s
     maxDoublings: 5
     maxRetryDuration: 0s
     minBackoffDuration: 5s
   schedule: '*/5 * * * *'
   scheduleTime: '...'
   state: PAUSED
   status: {}
   timeZone: America/Los_Angeles
   userUpdateTime: '...'
   

   En el resultado, comprueba que el campo state esté configurado como PAUSED.