Soluciona problemas de plantillas de Flex

En esta página, se proporcionan sugerencias para la solución de problemas y estrategias de depuración que pueden resultarte útiles si usas plantillas de Flex de Dataflow De forma predeterminada, el proceso de inicio de la plantilla de Flex tiene un tiempo de espera de 12 minutos. Este proceso de inicio incluye extraer la imagen de contenedor de la plantilla y ejecutar el código para construir el grafo del trabajo. Si el lanzamiento no se completa en este período de 12 minutos, el trabajo falla con el error "Se agotó el tiempo de espera en el archivo de resultados de sondeo". Esta información puede ayudarte a detectar un tiempo de espera de sondeo, determinar el motivo por el que se ocurrió y corregir el problema.

Se produjo un error al cargar la lista de plantillas en la consola de Google Cloud

En la consola de Google Cloud , cuando intentas ver la lista de plantillas en la página Crear un trabajo a partir de una plantilla de Dataflow, ves un error similar al siguiente:

Error retrieving templates. Custom templates can still be used.

Si tu organización usa políticas de límite de acceso de la entidad (PAB), es posible que se bloquee a las entidades (como usuarios o cuentas de servicio) para que no puedan ver ni ejecutar plantillas proporcionadas por Google. Para resolver este problema, prueba la orientación que se indica en Accede a las plantillas proporcionadas por Google con políticas de límite de acceso de las principales.

Errores de tiempo de espera de sondeo

Es posible que tu trabajo devuelva uno de los siguientes mensajes de error:

Timeout in polling result file: FILE_PATH. Possible causes are:
1. Your launch takes too long time to finish. Please check the logs on stackdriver.
2. Service account SERVICE_ACCOUNT may not have enough permissions to pull
container image IMAGE_PATH or create new objects in FILE_PATH.
3. Transient errors occurred, please try again.
Timeout in polling result file: FILE_PATH.
Service account: SERVICE_ACCOUNT
Image URL: IMAGE_PATH
Troubleshooting guide at https://cloud.google.com/dataflow/docs/guides/common-errors#timeout-polling

Este error puede ocurrir por los siguientes motivos:

  1. Se anuló la imagen base de Docker.
  2. La cuenta de servicio que completa SERVICE_ACCOUNT no tiene los permisos necesarios.
  3. Las direcciones IP externas están inhabilitadas, y las VM no pueden conectarse con el conjunto de direcciones IP externas que usan las API y los servicios de Google.
  4. La VM del selector no puede resolver gcr.io ni acceder a él.
  5. Imagen de contenedor de plantilla de Flex grande.
  6. El programa que crea el grafo tarda demasiado en finalizar.
  7. El código que se ejecuta en la VM del selector tarda demasiado en finalizar.
  8. Errores intermitentes de red o de Cloud Storage.
  9. Se reemplazan las opciones de canalización.
  10. Usuarios de Python: La instalación o la etapa de pruebas de las dependencias tarda demasiado.
  11. Se produjo un error transitorio.

Para resolver este problema, primero verifica si hay errores transitorios y verifica los registros del trabajo y vuelve a intentarlo.

Sigue las instrucciones de la sección Problemas de inicio temprano para habilitar el registro del puerto en serie, que podría revelar información adicional.

Si esos pasos no resuelven el problema, prueba los pasos que se indican a continuación para solucionarlo.

Opcional: Ejecuta plantillas para diagnosticar aún más el problema

Para identificar mejor cuál de los motivos anteriores podría estar causando este error, usa las siguientes estrategias:

  1. Ejecuta la plantilla de WordCount proporcionada por Google. Asegúrate de proporcionar parámetros únicos para tu caso de uso, como la subred de un proyecto de VPC compartida, la IP privada para las VMs de trabajador y la cuenta de servicio de trabajador de Dataflow que deseas usar. Para obtener más información sobre cómo proporcionar estos parámetros, consulta la referencia de gcloud y la referencia de la API.

    Si puedes completar este trabajo correctamente, significa que las herramientas de redes, los permisos de IAM y el Acceso privado a Google probablemente estén configurados de forma correcta.

  2. Completa la guía de inicio rápido Ejecuta una canalización con el compilador de trabajos, que ejecuta el trabajo como una plantilla de Flex. Si tu trabajo falla antes de iniciar la VM de trabajador, accede a la VM de iniciador y trata de descargar una imagen de Docker de muestra con un comando similar al siguiente:

    docker run --entrypoint /bin/bash -it gcr.io/dataflow-templates/2025-03-11-00_rc02/yaml-template
    

    Si este comando falla, es posible que haya un problema de red con la descarga de imágenes. En este caso, trabaja con tu equipo de redes interno.

  3. Ejecuta una plantilla de Flex proporcionada por Google y verifica el resultado. Si el trabajo de plantilla proporcionado por Google se completa correctamente, esto indica que es probable que el problema esté relacionado con tus archivos de código de plantilla personalizados específicos. En este caso, debes seguir solucionando los problemas de tu código específico para resolver el problema.

Verifica el punto de entrada de Docker

Prueba este paso si ejecutas una plantilla desde una imagen de Docker personalizada en lugar de usar una de las plantillas proporcionadas.

Verifica el punto de entrada del contenedor con el siguiente comando:

docker inspect $TEMPLATE_IMAGE

Se espera el siguiente resultado:

Java

/opt/google/dataflow/java_template_launcher

Python

/opt/google/dataflow/python_template_launcher

Si obtienes un resultado diferente, se anula el punto de entrada de tu contenedor de Docker. Restablece $TEMPLATE_IMAGE a la configuración predeterminada.

Verifica los permisos de la cuenta de servicio

Verifica que la cuenta de servicio mencionada en el mensaje tenga los siguientes permisos:

  • Debe poder leer y escribir la ruta de acceso de Cloud Storage que completa ${file_path} en el mensaje.
  • Debe poder leer la imagen de Docker que completa ${image_url} en el mensaje.

Configura el Acceso privado a Google

Si las direcciones IP externas están inhabilitadas, debes permitir que las VMs de Compute Engine se conecten al conjunto de direcciones IP externas que usan las APIs y los servicios de Google. Habilita el acceso privado a Google en la subred que usa la interfaz de red de la VM.

Para obtener más información sobre la configuración, consulta Configura el Acceso privado a Google.

De forma predeterminada, cuando una VM de Compute Engine no tiene una dirección IP externa asignada a su interfaz de red, solo puede enviar paquetes a otros destinos con direcciones IP internas.

Problemas de acceso a GCR.io

Las VMs de iniciador de plantillas de Flex requieren acceso a gcr.io para extraer un contenedor de agente de Logging (gcr.io/dataflow-templates-base/template-launcher-logger-distroless). Este agente es responsable de transmitir los registros del iniciador a Cloud Logging. Si la VM del iniciador no puede resolver o conectarse a gcr.io, es posible que el proceso de inicio deje de responder, lo que generará un tiempo de espera de sondeo.

Este problema puede ocurrir incluso si la imagen de la plantilla personalizada se almacena en Artifact Registry, ya que el agente de Logging siempre se extrae de gcr.io.

Para diagnosticar y resolver este problema, haz lo siguiente:

  1. Habilita el registro del puerto en serie: Sigue los pasos de la sección Problemas de inicio temprano. Si ves que el proceso cloud-init está detenido o si hay errores relacionados con gcr-wait-online.service, es probable que haya un problema de DNS o de red.

  2. Establece una conexión SSH con la VM de inicio: Usa el comando gcloud compute ssh para conectarte a la VM de inicio mientras aún se está ejecutando:

    gcloud compute ssh launcher-JOB_ID --tunnel-through-iap
    

    Reemplaza JOB_ID por el ID de tu trabajo de Dataflow.

  3. Verifica la resolución de DNS: Ejecuta los siguientes comandos dentro de la VM del iniciador:

    curl -I https://gcr.io
    

    Si el comando falla con un error "Could not resolve host", a tu configuración de DNS le falta una entrada para gcr.io.

  4. Verifica si hay servicios de inicio bloqueados: Examina el registro de salida de cloud-init:

    sudo cat /var/log/cloud-init-output.log
    

    Busca mensajes que indiquen que el proceso está esperando que la red o gcr.io estén disponibles.

Además, asegúrate de que la configuración de DNS de tu VPC permita la resolución de gcr.io. En algunas configuraciones de red privada, es posible que debas agregar un registro DNS A específico para gcr.io que apunte a los rangos de IP de las APIs de Google restringidas o las APIs de Google privadas.

Imagen de contenedor grande

Si la imagen de contenedor de la plantilla de Flex es grande, es posible que la extracción y el inicio de la plantilla superen el tiempo de espera predeterminado de 12 minutos, lo que provocará un error en el trabajo.

Para mitigar el problema, prueba las siguientes estrategias:

  • Optimiza tu imagen para reducir su tamaño y acelerar el proceso de extracción.
  • Usa la marca --launcher-machine-type para seleccionar un tipo de máquina con más núcleos de CPU, lo que ayuda a extraer la imagen con mayor rapidez y permite un inicio más rápido.
  • Extiende el tiempo de espera de inicio más allá del límite predeterminado de 12 minutos (720 segundos) con la marca --launcher-vm-timeout-secs en gcloud CLI o la opción de inicio ft_launch_timeout_secs en la API de REST y Managed Service para Apache Airflow. Para ver ejemplos, consulta Extiende el tiempo de espera de inicio de la plantilla de Flex.

Comprueba si no se puede salir del programa de lanzamiento

El programa que construye la canalización debe finalizar antes de que se pueda iniciar. El error de sondeo podría indicar que tardó demasiado en hacerlo.

Puedes hacer algunas acciones para ubicar la causa en el código:

  • Asegúrate de que ningún subproceso esté bloqueando la salida del programa. Algunos clientes pueden crear sus propios subprocesos y, si estos clientes no se cierran, el programa espera de forma permanente a que se unan estos subprocesos.
  • En el código que define tu canalización, no uses waitUntilFinish (para Java) ni wait_until_finish (para Python). Estas funciones impiden que el programa salga, lo que evita que la plantilla de Flex inicie la canalización.

Las canalizaciones que se inician directamente y que no usan una plantilla no tienen estas limitaciones. Por lo tanto, si la canalización funcionó directamente, pero no como una plantilla, el uso de una plantilla puede ser la causa raíz. Encontrar el problema en la plantilla y arreglarla podría resolver el problema.

Código de larga duración en la VM del selector

Si el código de tu programa principal tarda demasiado en ejecutarse, es posible que se agote el tiempo de espera de la plantilla de Flex antes de que se inicie la canalización. Esto puede suceder si el código realiza cálculos complejos o hace llamadas síncronas a recursos externos durante la inicialización.

Para diagnosticar este problema, revisa los registros del trabajo en busca de cualquier operación que tarde mucho tiempo en completarse. Algunos ejemplos son las solicitudes de recursos externos, las búsquedas de datos grandes o la lógica de inicialización pesada que puedes mover a la fase de ejecución de la canalización. Si tu canalización aún requiere más de 12 minutos para iniciarse después de optimizar la inicialización, consulta Extiende el tiempo de espera de inicio de la plantilla de Flex.

Errores intermitentes de red o de Cloud Storage

Pueden producirse errores intermitentes de "Tiempo de espera agotado en el archivo de resultados de sondeo" o "No se pudo leer el archivo de resultados" debido a una latencia de red alta o a problemas transitorios con la API de Cloud Storage. La contención de red crónica en tu VPC, específicamente dentro de la ruta de Acceso privado a Google, suele causar latencias de 400 a 500 ms.

Un error de "Tiempo de espera agotado en el archivo de resultados de sondeo" suele ser una falla lenta, mientras que un error de "No se pudo leer el archivo de resultados" es una falla rápida, pero ambos suelen indicar el mismo problema de conectividad subyacente.

Para diagnosticar estas fallas intermitentes, haz lo siguiente:

  1. Verifica la latencia de red: Supervisa la latencia de red dentro de tu VPC. La latencia alta sostenida puede causar tiempos de espera cuando la VM de iniciador intenta escribir o leer el archivo de resultados del trabajo desde Cloud Storage.
  2. Supervisa las métricas de la API de Cloud Storage:

    1. En la consola de Google Cloud , navega al panel APIs y servicios.

      Ir a APIs y servicios habilitados

    2. Filtra y selecciona la API de Cloud Storage.

    3. Revisa los gráficos de Tráfico (bytes enviados y recibidos) y Tasa de errores.

    4. Busca aumentos repentinos en los errores 5xx (como los errores 503) que se alineen con la hora exacta de las fallas del trabajo.

Si identificas aumentos repentinos en los errores o una latencia alta, investiga el rendimiento de la red de tu VPC o comunícate con la Atención al cliente de Cloud para obtener asistencia con posibles interrupciones del servicio.

Verifica si se suprimen las opciones de canalización necesarias

Cuando usas plantillas de Flex, puedes configurar algunas opciones de canalización, pero no todas, durante la inicialización de la canalización. Para obtener más información, consulta la sección No se pudo leer el archivo de trabajo en este documento.

Usuarios de Python: Administración de dependencias

Si ejecutas un trabajo de plantilla de Flex de Python que proporciona dependencias adicionales en un archivo requirements.txt, es posible que el trabajo no se inicie. Este error se produce cuando la descarga o la instalación de las dependencias especificadas en el archivo de requisitos tarda más que el tiempo asignado para iniciar la plantilla de Flex.

Para optimizar el rendimiento de tu trabajo, empaqueta previamente las dependencias cuando compiles la plantilla para evitar la necesidad de descargarlas o instalarlas durante el inicio de la plantilla. Para obtener más información, consulta la sección Dependencias de paquetes para Python en "Configura plantillas de Flex". Si la etapa de pruebas de las dependencias o la compilación del grafo de ejecución aún supera el tiempo de espera de inicio predeterminado de 12 minutos, consulta Extiende el tiempo de espera de inicio de la plantilla de Flex.

Extiende el tiempo de espera de inicio de la plantilla de Flex

De forma predeterminada, Dataflow aplica un tiempo de espera de 720 segundos (12 minutos) en la fase de inicio de la plantilla de Flex. Cuando extraer imágenes de contenedor grandes, almacenar dependencias en etapa de pruebas o construir grafos de ejecución complejos tarda más de 720 segundos, puedes aumentar este tiempo de espera configurando la opción de tiempo de espera de inicio para tu método de inicio.

gcloud CLI

Para extender el tiempo de espera de la VM de selector cuando ejecutas una plantilla de Flex desde gcloud CLI, pasa la marca --launcher-vm-timeout-secs al comando gcloud dataflow flex-template run:

gcloud dataflow flex-template run JOB_NAME \
  --template-file-gcs-location=TEMPLATE_GCS_PATH \
  --region=REGION \
  --launcher-vm-timeout-secs=TIMEOUT_SECONDS

Reemplaza los siguientes valores:

  • JOB_NAME: Es el nombre de tu trabajo de Dataflow.
  • TEMPLATE_GCS_PATH: Es el URI de Cloud Storage de tu archivo de especificación de plantilla de Flex, como gs://my-bucket/templates/my-template.json.
  • REGION: la región de Dataflow en la que se ejecuta el trabajo.
  • TIMEOUT_SECONDS: Es la duración del tiempo de espera de la VM del iniciador en segundos. Especifica un número entero positivo sin un sufijo de unidad. El tiempo de espera predeterminado es 720, que equivale a 12 minutos. Para extender el tiempo de espera, especifica un número entero mayor que 720 y hasta 5400, que es de 90 minutos, como 1200 para 20 minutos o 1800 para 30 minutos.

API de REST

Cuando inicias una plantilla de Flex llamando al extremo de REST projects.locations.flexTemplates.launch, establece la clave ft_launch_timeout_secs en el mapa launchParameter.launchOptions en una cadena que contenga la duración del tiempo de espera en segundos como un número entero, sin un sufijo de unidad:

{
  "launchParameter": {
    "jobName": "JOB_NAME",
    "containerSpecGcsPath": "TEMPLATE_GCS_PATH",
    "launchOptions": {
      "ft_launch_timeout_secs": "TIMEOUT_SECONDS"
    }
  }
}

Reemplaza los siguientes valores:

  • JOB_NAME: Es el nombre de tu trabajo de Dataflow.
  • TEMPLATE_GCS_PATH: Es el URI de Cloud Storage de tu archivo de especificación de plantilla de Flex, como gs://my-bucket/templates/my-template.json.
  • TIMEOUT_SECONDS: Es la duración del tiempo de espera de la VM del iniciador en segundos. Especifica un número entero positivo como una cadena sin un sufijo de unidad. El tiempo de espera predeterminado es "720", que equivale a 12 minutos. Para extender el tiempo de espera, especifica un número entero mayor que 720 y hasta 5400, que es de 90 minutos, como "1200" para 20 minutos o "1800" para 30 minutos.

Managed Airflow

Cuando organizas trabajos de plantillas de Flex en Managed Airflow o Apache Airflow con el operador DataflowStartFlexTemplateOperator, incluye la clave ft_launch_timeout_secs en launchParameter.launchOptions en el diccionario body:

from airflow.providers.google.cloud.operators.dataflow import (
    DataflowStartFlexTemplateOperator,
)

start_flex_template = DataflowStartFlexTemplateOperator(
    task_id="start_flex_template",
    project_id="PROJECT_ID",
    location="REGION",
    body={
        "launchParameter": {
            "jobName": "JOB_NAME",
            "containerSpecGcsPath": "TEMPLATE_GCS_PATH",
            "launchOptions": {
                "ft_launch_timeout_secs": "TIMEOUT_SECONDS",
            },
        }
    },
)

Reemplaza los siguientes valores:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
  • REGION: la región de Dataflow en la que se ejecuta el trabajo.
  • JOB_NAME: Es el nombre de tu trabajo de Dataflow.
  • TEMPLATE_GCS_PATH: Es el URI de Cloud Storage de tu archivo de especificación de plantilla de Flex, como gs://my-bucket/templates/my-template.json.
  • TIMEOUT_SECONDS: Es la duración del tiempo de espera de la VM del iniciador en segundos. Especifica un número entero positivo como una cadena sin un sufijo de unidad. El tiempo de espera predeterminado es "720", que equivale a 12 minutos. Para extender el tiempo de espera, especifica un número entero mayor que 720 y hasta 5400, que es de 90 minutos, como "1200" para 20 minutos o "1800" para 30 minutos.

Fallas de inicio de trabajo

La siguiente sección contiene errores comunes que generan fallas de inicio del trabajo y pasos para resolver los errores.

Se denegó el permiso cuando se cargaba un archivo de plantilla

Cuando intentas ejecutar una plantilla proporcionada por Google con gcloud CLI, ves un error similar al siguiente:

ERROR: (gcloud.dataflow.flex-template.run) PERMISSION_DENIED: Template file
failed to load: TEMPLATE_PATH. Permissions denied.
USER does not have storage.objects.get access to the Google
Cloud Storage object. Operations on resource are denied due to an IAM
Principal Access Boundary Policy.

TEMPLATE_PATH es una ruta de acceso a una plantilla en un bucket de Cloud Storage que contiene las plantillas proporcionadas por Google, como gs://dataflow-templates o gs://dataflow-templates-REGION_NAME.

Si tu organización usa políticas de límite de acceso de la entidad (PAB), es posible que se bloquee a las entidades (como usuarios o cuentas de servicio) para que no puedan ver ni ejecutar plantillas proporcionadas por Google. Para resolver este problema, prueba la orientación que se indica en Accede a las plantillas proporcionadas por Google con políticas de límite de acceso de las principales.

Problemas de inicio anticipado

Cuando el proceso de inicio de la plantilla falla en una etapa inicial, es posible que los registros normales de la plantilla de Flex no estén disponibles. Para investigar problemas de inicio, habilita los registros de puertos en serie para la VM del selector de plantillas.

A fin de habilitar el registro para las plantillas de Java, configura la opción enableLauncherVmSerialPortLogging como true. A fin de habilitar el registro para las plantillas de Python y Go, configura la opción enable_launcher_vm_serial_port_logging como true. En la consola de Google Cloud , el parámetro se enumera en Parámetros opcionales como Habilitar el registro de puertos en serie de VM del iniciador.

Puedes ver los registros de salidas del puerto en serie de la VM del selector de plantillas en Cloud Logging. Para buscar los registros de una VM de selector en particular, usa la consulta resource.type="gce_instance" "launcher-number", en la que number comienza con la fecha actual en el formato YYYMMDD.

La política de la organización puede prohibir que habilites el registro de salidas del puerto en serie.

No se pudo leer el archivo de trabajo

Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:

Failed to read the job file : gs://dataflow-staging-REGION-PROJECT_ID/staging/template_launches/TIMESTAMP/job_object...

Este error se produce cuando se reemplazan las opciones de inicialización de canalización necesarias. Cuando usas plantillas de Flex, puedes configurar algunas opciones de canalización, pero no todas, durante la inicialización de la canalización. Si se reemplazan los argumentos de la línea de comandos requeridos por la plantilla de Flex, el trabajo puede ignorar, anular o descartar las opciones de canalización que pasa el selector de plantillas. Es posible que el trabajo no se inicie o que se inicie un trabajo que no use la plantilla de Flex.

Para evitar este problema, durante la inicialización de la canalización, no cambies las siguientes opciones de canalización en el código de usuario o en el archivo metadata.json:

Java

  • runner
  • project
  • jobName
  • templateLocation
  • region

Python

  • runner
  • project
  • job_name
  • template_location
  • region

Go

  • runner
  • project
  • job_name
  • template_location
  • region

No se pudo leer el archivo de resultados

Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:

Failed to read the result file : gs://BUCKET_NAME...

Este error se produce cuando la cuenta de servicio predeterminada de Compute Engine no tiene todos los permisos que necesita para ejecutar una plantilla de Flex.

Para obtener la lista de permisos necesarios, consulta Permisos para ejecutar una plantilla de Flex.

Este error también puede deberse a lo siguiente:

Permiso denegado en el recurso

Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:

Permission "MISSING_PERMISSION" denied on resource "projects/PROJECT_ID/locations/REGION/repositories/REPOSITORY_NAME" (or it may not exist).

Este error se produce cuando la cuenta de servicio que se usó no tiene los permisos para acceder a los recursos necesarios a fin de ejecutar una plantilla de Flex.

Para evitar este problema, verifica que la cuenta de servicio tenga los permisos necesarios. Ajusta los permisos de la cuenta de servicio según sea necesario.

Se proporcionó una marca, pero no se definió

Cuando intentas ejecutar una plantilla de Flex de Go con la opción de canalización worker_machine_type, la canalización falla con el siguiente error:

flag provided but not defined: -machine_type

Este error se debe a un problema conocido en las versiones 2.47.0 y anteriores del SDK de Apache Beam para Go. Para resolver este problema, actualiza a la versión 2.48.0 o posterior de Apache Beam para Go.

No se pudo recuperar el archivo JAR del servidor de trabajos remoto

Si intentas ejecutar un trabajo desde una plantilla de Flex cuando no tienes conexión a Internet, el trabajo podría fallar con el siguiente error:

Unable to fetch remote job server jar at
https://repo.maven.apache.org/maven2/org/apache/beam/beam-sdks-java-io-expansion-service/VERSION/beam-sdks-java-io-expansion-service-VERSION.jar:
\u003curlopen error [Errno 101] Network is unreachable\u003e

Este error se produce porque la VM no puede descargar el paquete de Java de Apache Beam desde Internet. Este paquete es obligatorio cuando ejecutas un trabajo de varios lenguajes con una plantilla de Flex.

Para resolver este problema, realiza uno de los siguientes cambios:

  • Conéctate a Internet Cuando se conecta a Internet, tu trabajo puede acceder al archivo requerido.

  • Incluye el paquete de Java de Apache Beam en tu directorio local para que tu trabajo pueda acceder a él de forma local. Crea el archivo en el siguiente directorio: /root/.apache_beam/cache/jars/. Por ejemplo, /root/.apache_beam/cache/jars/beam-sdks-java-io-expansion-service-SDK_VERSION.jar

No se puede obtener el sistema de archivos de la ruta de acceso especificada

Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:

ValueError: Unable to get filesystem from specified path, please use
the correct path or ensure the required dependency is installed, e.g., pip
install apache-beam[gcp]. Path specified: PATH

Este error se produce cuando la tarea usa una imagen de contenedor de plantilla de Flex y esta no contiene una instalación de Java.

Para resolver este problema, agrega la siguiente línea a tu Dockerfile:

sh RUN apt-get update && apt-get install -y openjdk-17-jdk

Este comando instala Java en tu entorno de contenedor.

Agotamiento de recursos de la VM del iniciador

Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:

Failed to start the VM, launcher-ID, used for launching because of status code: INTERNAL, reason: Unknown error in operation 'OPERATION_ID': [ZONE_RESOURCE_POOL_EXHAUSTED_WITH_DETAILS] 'The zone 'projects/PROJECT_ID/zones/ZONE_ID' does not have enough resources available to fulfill the request.

El nombre de la VM launcher-ID representa el nombre de la VM de inicio. La VM de selector es responsable de recopilar los recursos del trabajo, como el código y la imagen de la plantilla, antes de compilar y enviar el grafo del trabajo al servicio de Dataflow para comenzar a trabajar.

Si no especificas el parámetro launcherMachineType, Dataflow elige un tipo de máquina predeterminado para la VM de selector, por lo general, e2-standard-2. Esta elección es independiente del machineType del trabajador. Los errores de agotamiento de recursos pueden ocurrir si este tipo de máquina predeterminado no está disponible en la región o zona del trabajo. Para usar un tipo de máquina específico, establece launcherMachineType.

Para resolver este problema, usa una de las siguientes estrategias:

  • Actualiza el tipo de máquina del selector a un tipo de máquina diferente y vuelve a intentar el trabajo.
  • Si configuras el parámetro zone, quítalo para que Dataflow pueda colocar la VM de selector en una zona con capacidad.
  • Inicia tu plantilla de Flex desde una región diferente.

Demora del selector de plantillas de Flex

Cuando envías un trabajo de plantilla de Flex, la solicitud de trabajo va a una cola de Spanner. El selector de plantillas toma el trabajo de la cola de Spanner y, luego, ejecuta la plantilla. Cuando Spanner tiene mensajes pendientes, puede ocurrir un retraso significativo entre el momento en que envías el trabajo y el momento en que se inicia.

Para solucionar este problema, inicia tu plantilla de Flex desde una región diferente.

Los parámetros de la plantilla no son válidos

Cuando intentas usar gcloud CLI para ejecutar un trabajo que usa una plantilla proporcionada por Google, se produce el siguiente error:

ERROR: (gcloud.beta.dataflow.flex-template.run) INVALID_ARGUMENT: The template
parameters are invalid. Details: defaultSdkHarnessLogLevel: Unrecognized
parameter defaultWorkerLogLevel: Unrecognized parameter

Este error se produce porque algunas plantillas proporcionadas por Google no admiten las opciones defaultSdkHarnessLog y defaultWorkerLog.

Para resolver este problema, usa el método adecuado para tu tipo de plantilla.

Plantillas de Flex

En el caso de las plantillas de Flex, usa la marca --additional-pipeline-options para pasar las opciones de canalización como una cadena. Por ejemplo, con el comando gcloud dataflow flex-template run:

gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=GCS_TEMPLATE_PATH \
--additional-pipeline-options=defaultSdkHarnessLogLevel=WARN,defaultWorkerLogLevel=WARN

Reemplaza los siguientes valores:

  • JOB_NAME: el nombre de tu trabajo de Dataflow
  • GCS_TEMPLATE_PATH: Es la ruta de acceso de Cloud Storage al archivo de plantilla.
Plantillas clásicas

Para las plantillas clásicas, la solución alternativa es copiar el archivo de especificación de plantilla en un bucket de Cloud Storage y agregar los siguientes parámetros adicionales al archivo.

"metadata": {
    ...
    "parameters": [
      ...,
      {
        "name": "defaultSdkHarnessLogLevel",
        "isOptional": true,
        "paramType": "TEXT"
      },
      {
        "name": "defaultWorkerLogLevel",
        "isOptional": true,
        "paramType": "TEXT"
      }
    ]
  }

Después de realizar este cambio en el archivo de plantilla, usa la siguiente marca cuando ejecutes la plantilla.

--gcs-location=gs://BUCKET_NAME/FILENAME

Reemplaza los siguientes valores:

  • BUCKET_NAME: Es el nombre de tu bucket de Cloud Storage.
  • FILENAME: el nombre de tu archivo de especificación de plantilla

Los registros del selector de plantillas de Flex muestran una gravedad incorrecta

Cuando falla el inicio de una plantilla de Flex personalizada, aparece el siguiente mensaje en los archivos de registro con la gravedad ERROR:

ERROR: Error occurred in the launcher container: Template launch failed. See console logs.

La causa raíz de la falla de inicio suele aparecer en los registros anteriores a este mensaje con la gravedad INFO. Aunque este nivel de registro puede ser incorrecto, es esperable, ya que el selector de plantillas de Flex no tiene manera de extraer detalles de gravedad de los mensajes de registro que produce la aplicación de Apache Beam.

Si deseas ver la gravedad correcta de cada mensaje en el registro del selector, configura la plantilla para que genere registros en formato JSON en lugar de en texto sin formato. Esta configuración permite que el selector de plantillas extraiga la gravedad correcta del mensaje de registro. Usa la siguiente estructura de mensajes:

{
  "message": "The original log message",
  "severity": "DEBUG/INFO/WARN/ERROR"
}

En Java, puedes usar el registrador de Logback con una implementación de agregador de JSON personalizado. Para obtener más información, consulta la configuración de ejemplo de Logback y el código de ejemplo del agregador de JSON en GitHub.

Este problema solo afecta a los registros generados por el selector de plantillas de Flex cuando se inicia la canalización. Cuando el lanzamiento se realiza de forma correcta y la canalización se ejecuta, los registros que producen los trabajadores de Dataflow tienen la gravedad adecuada.

Las plantillas que proporciona Google muestran la gravedad correcta durante el inicio del trabajo, ya que las plantillas que proporciona Google usan este enfoque de registro JSON.