En esta página, se proporcionan sugerencias para la solución de problemas y estrategias de depuración que pueden resultarte útiles si usas plantillas de Flex de Dataflow De forma predeterminada, el proceso de inicio de la plantilla de Flex tiene un tiempo de espera de 12 minutos. Este proceso de inicio incluye extraer la imagen de contenedor de la plantilla y ejecutar el código para construir el grafo del trabajo. Si el lanzamiento no se completa en este período de 12 minutos, el trabajo falla con el error "Se agotó el tiempo de espera en el archivo de resultados de sondeo". Esta información puede ayudarte a detectar un tiempo de espera de sondeo, determinar el motivo por el que se ocurrió y corregir el problema.
Se produjo un error al cargar la lista de plantillas en la consola de Google Cloud
En la consola de Google Cloud , cuando intentas ver la lista de plantillas en la página Crear un trabajo a partir de una plantilla de Dataflow, ves un error similar al siguiente:
Error retrieving templates. Custom templates can still be used.
Si tu organización usa políticas de límite de acceso de la entidad (PAB), es posible que se bloquee a las entidades (como usuarios o cuentas de servicio) para que no puedan ver ni ejecutar plantillas proporcionadas por Google. Para resolver este problema, prueba la orientación que se indica en Accede a las plantillas proporcionadas por Google con políticas de límite de acceso de las principales.
Errores de tiempo de espera de sondeo
Es posible que tu trabajo devuelva uno de los siguientes mensajes de error:
Timeout in polling result file: FILE_PATH. Possible causes are:
1. Your launch takes too long time to finish. Please check the logs on stackdriver.
2. Service account SERVICE_ACCOUNT may not have enough permissions to pull
container image IMAGE_PATH or create new objects in FILE_PATH.
3. Transient errors occurred, please try again.
Timeout in polling result file: FILE_PATH.
Service account: SERVICE_ACCOUNT
Image URL: IMAGE_PATH
Troubleshooting guide at https://cloud.google.com/dataflow/docs/guides/common-errors#timeout-polling
Este error puede ocurrir por los siguientes motivos:
- Se anuló la imagen base de Docker.
- La cuenta de servicio que completa SERVICE_ACCOUNT no tiene los permisos necesarios.
- Las direcciones IP externas están inhabilitadas, y las VM no pueden conectarse con el conjunto de direcciones IP externas que usan las API y los servicios de Google.
- La VM del selector no puede resolver gcr.io ni acceder a él.
- Imagen de contenedor de plantilla de Flex grande.
- El programa que crea el grafo tarda demasiado en finalizar.
- El código que se ejecuta en la VM del selector tarda demasiado en finalizar.
- Errores intermitentes de red o de Cloud Storage.
- Se reemplazan las opciones de canalización.
- Usuarios de Python: La instalación o la etapa de pruebas de las dependencias tarda demasiado.
- Se produjo un error transitorio.
Para resolver este problema, primero verifica si hay errores transitorios y verifica los registros del trabajo y vuelve a intentarlo.
Sigue las instrucciones de la sección Problemas de inicio temprano para habilitar el registro del puerto en serie, que podría revelar información adicional.
Si esos pasos no resuelven el problema, prueba los pasos que se indican a continuación para solucionarlo.
Opcional: Ejecuta plantillas para diagnosticar aún más el problema
Para identificar mejor cuál de los motivos anteriores podría estar causando este error, usa las siguientes estrategias:
Ejecuta la plantilla de WordCount proporcionada por Google. Asegúrate de proporcionar parámetros únicos para tu caso de uso, como la subred de un proyecto de VPC compartida, la IP privada para las VMs de trabajador y la cuenta de servicio de trabajador de Dataflow que deseas usar. Para obtener más información sobre cómo proporcionar estos parámetros, consulta la referencia de gcloud y la referencia de la API.
Si puedes completar este trabajo correctamente, significa que las herramientas de redes, los permisos de IAM y el Acceso privado a Google probablemente estén configurados de forma correcta.
Completa la guía de inicio rápido Ejecuta una canalización con el compilador de trabajos, que ejecuta el trabajo como una plantilla de Flex. Si tu trabajo falla antes de iniciar la VM de trabajador, accede a la VM de iniciador y trata de descargar una imagen de Docker de muestra con un comando similar al siguiente:
docker run --entrypoint /bin/bash -it gcr.io/dataflow-templates/2025-03-11-00_rc02/yaml-templateSi este comando falla, es posible que haya un problema de red con la descarga de imágenes. En este caso, trabaja con tu equipo de redes interno.
Ejecuta una plantilla de Flex proporcionada por Google y verifica el resultado. Si el trabajo de plantilla proporcionado por Google se completa correctamente, esto indica que es probable que el problema esté relacionado con tus archivos de código de plantilla personalizados específicos. En este caso, debes seguir solucionando los problemas de tu código específico para resolver el problema.
Verifica el punto de entrada de Docker
Prueba este paso si ejecutas una plantilla desde una imagen de Docker personalizada en lugar de usar una de las plantillas proporcionadas.
Verifica el punto de entrada del contenedor con el siguiente comando:
docker inspect $TEMPLATE_IMAGE
Se espera el siguiente resultado:
Java
/opt/google/dataflow/java_template_launcher
Python
/opt/google/dataflow/python_template_launcher
Si obtienes un resultado diferente, se anula el punto de entrada de tu contenedor de
Docker. Restablece $TEMPLATE_IMAGE a la configuración predeterminada.
Verifica los permisos de la cuenta de servicio
Verifica que la cuenta de servicio mencionada en el mensaje tenga los siguientes permisos:
- Debe poder leer y escribir la ruta de acceso de Cloud Storage que completa
${file_path}en el mensaje. - Debe poder leer la imagen de Docker que completa
${image_url}en el mensaje.
Configura el Acceso privado a Google
Si las direcciones IP externas están inhabilitadas, debes permitir que las VMs de Compute Engine se conecten al conjunto de direcciones IP externas que usan las APIs y los servicios de Google. Habilita el acceso privado a Google en la subred que usa la interfaz de red de la VM.
Para obtener más información sobre la configuración, consulta Configura el Acceso privado a Google.
De forma predeterminada, cuando una VM de Compute Engine no tiene una dirección IP externa asignada a su interfaz de red, solo puede enviar paquetes a otros destinos con direcciones IP internas.
Problemas de acceso a GCR.io
Las VMs de iniciador de plantillas de Flex requieren acceso a gcr.io para extraer un contenedor
de agente de Logging
(gcr.io/dataflow-templates-base/template-launcher-logger-distroless). Este
agente es responsable de transmitir los registros del iniciador a Cloud Logging. Si la
VM del iniciador no puede resolver o conectarse a gcr.io, es posible que el proceso de inicio
deje de responder, lo que generará un tiempo de espera de sondeo.
Este problema puede ocurrir incluso si la imagen de la plantilla personalizada se almacena en
Artifact Registry, ya que el agente de Logging siempre se extrae de gcr.io.
Para diagnosticar y resolver este problema, haz lo siguiente:
Habilita el registro del puerto en serie: Sigue los pasos de la sección Problemas de inicio temprano. Si ves que el proceso
cloud-initestá detenido o si hay errores relacionados congcr-wait-online.service, es probable que haya un problema de DNS o de red.Establece una conexión SSH con la VM de inicio: Usa el comando
gcloud compute sshpara conectarte a la VM de inicio mientras aún se está ejecutando:gcloud compute ssh launcher-JOB_ID --tunnel-through-iapReemplaza
JOB_IDpor el ID de tu trabajo de Dataflow.Verifica la resolución de DNS: Ejecuta los siguientes comandos dentro de la VM del iniciador:
curl -I https://gcr.ioSi el comando falla con un error
"Could not resolve host", a tu configuración de DNS le falta una entrada paragcr.io.Verifica si hay servicios de inicio bloqueados: Examina el registro de salida de
cloud-init:sudo cat /var/log/cloud-init-output.logBusca mensajes que indiquen que el proceso está esperando que la red o
gcr.ioestén disponibles.
Además, asegúrate de que la configuración de DNS de tu VPC permita la resolución de
gcr.io. En algunas configuraciones de red privada, es posible que debas agregar un
registro DNS A específico para gcr.io que apunte a los rangos de IP de las APIs de Google restringidas o
las APIs de Google privadas.
Imagen de contenedor grande
Si la imagen de contenedor de la plantilla de Flex es grande, es posible que la extracción y el inicio de la plantilla superen el tiempo de espera predeterminado de 12 minutos, lo que provocará un error en el trabajo.
Para mitigar el problema, prueba las siguientes estrategias:
- Optimiza tu imagen para reducir su tamaño y acelerar el proceso de extracción.
- Usa la marca
--launcher-machine-typepara seleccionar un tipo de máquina con más núcleos de CPU, lo que ayuda a extraer la imagen con mayor rapidez y permite un inicio más rápido. - Extiende el tiempo de espera de inicio más allá del límite predeterminado de 12 minutos (720 segundos)
con la marca
--launcher-vm-timeout-secsen gcloud CLI o la opción de inicioft_launch_timeout_secsen la API de REST y Managed Service para Apache Airflow. Para ver ejemplos, consulta Extiende el tiempo de espera de inicio de la plantilla de Flex.
Comprueba si no se puede salir del programa de lanzamiento
El programa que construye la canalización debe finalizar antes de que se pueda iniciar. El error de sondeo podría indicar que tardó demasiado en hacerlo.
Puedes hacer algunas acciones para ubicar la causa en el código:
- Asegúrate de que ningún subproceso esté bloqueando la salida del programa. Algunos clientes pueden crear sus propios subprocesos y, si estos clientes no se cierran, el programa espera de forma permanente a que se unan estos subprocesos.
- En el código que define tu canalización, no uses
waitUntilFinish(para Java) niwait_until_finish(para Python). Estas funciones impiden que el programa salga, lo que evita que la plantilla de Flex inicie la canalización.
Las canalizaciones que se inician directamente y que no usan una plantilla no tienen estas limitaciones. Por lo tanto, si la canalización funcionó directamente, pero no como una plantilla, el uso de una plantilla puede ser la causa raíz. Encontrar el problema en la plantilla y arreglarla podría resolver el problema.
Código de larga duración en la VM del selector
Si el código de tu programa principal tarda demasiado en ejecutarse, es posible que se agote el tiempo de espera de la plantilla de Flex antes de que se inicie la canalización. Esto puede suceder si el código realiza cálculos complejos o hace llamadas síncronas a recursos externos durante la inicialización.
Para diagnosticar este problema, revisa los registros del trabajo en busca de cualquier operación que tarde mucho tiempo en completarse. Algunos ejemplos son las solicitudes de recursos externos, las búsquedas de datos grandes o la lógica de inicialización pesada que puedes mover a la fase de ejecución de la canalización. Si tu canalización aún requiere más de 12 minutos para iniciarse después de optimizar la inicialización, consulta Extiende el tiempo de espera de inicio de la plantilla de Flex.
Errores intermitentes de red o de Cloud Storage
Pueden producirse errores intermitentes de "Tiempo de espera agotado en el archivo de resultados de sondeo" o "No se pudo leer el archivo de resultados" debido a una latencia de red alta o a problemas transitorios con la API de Cloud Storage. La contención de red crónica en tu VPC, específicamente dentro de la ruta de Acceso privado a Google, suele causar latencias de 400 a 500 ms.
Un error de "Tiempo de espera agotado en el archivo de resultados de sondeo" suele ser una falla lenta, mientras que un error de "No se pudo leer el archivo de resultados" es una falla rápida, pero ambos suelen indicar el mismo problema de conectividad subyacente.
Para diagnosticar estas fallas intermitentes, haz lo siguiente:
- Verifica la latencia de red: Supervisa la latencia de red dentro de tu VPC. La latencia alta sostenida puede causar tiempos de espera cuando la VM de iniciador intenta escribir o leer el archivo de resultados del trabajo desde Cloud Storage.
Supervisa las métricas de la API de Cloud Storage:
En la consola de Google Cloud , navega al panel APIs y servicios.
Filtra y selecciona la API de Cloud Storage.
Revisa los gráficos de Tráfico (bytes enviados y recibidos) y Tasa de errores.
Busca aumentos repentinos en los errores 5xx (como los errores 503) que se alineen con la hora exacta de las fallas del trabajo.
Si identificas aumentos repentinos en los errores o una latencia alta, investiga el rendimiento de la red de tu VPC o comunícate con la Atención al cliente de Cloud para obtener asistencia con posibles interrupciones del servicio.
Verifica si se suprimen las opciones de canalización necesarias
Cuando usas plantillas de Flex, puedes configurar algunas opciones de canalización, pero no todas, durante la inicialización de la canalización. Para obtener más información, consulta la sección No se pudo leer el archivo de trabajo en este documento.
Usuarios de Python: Administración de dependencias
Si ejecutas un trabajo de plantilla de Flex de Python que proporciona dependencias adicionales en
un archivo requirements.txt, es posible que el trabajo no se inicie. Este error se produce
cuando la descarga o la instalación de las dependencias especificadas en el archivo de requisitos
tarda más que el tiempo asignado para iniciar la plantilla de Flex.
Para optimizar el rendimiento de tu trabajo, empaqueta previamente las dependencias cuando compiles la plantilla para evitar la necesidad de descargarlas o instalarlas durante el inicio de la plantilla. Para obtener más información, consulta la sección Dependencias de paquetes para Python en "Configura plantillas de Flex". Si la etapa de pruebas de las dependencias o la compilación del grafo de ejecución aún supera el tiempo de espera de inicio predeterminado de 12 minutos, consulta Extiende el tiempo de espera de inicio de la plantilla de Flex.
Extiende el tiempo de espera de inicio de la plantilla de Flex
De forma predeterminada, Dataflow aplica un tiempo de espera de 720 segundos (12 minutos) en la fase de inicio de la plantilla de Flex. Cuando extraer imágenes de contenedor grandes, almacenar dependencias en etapa de pruebas o construir grafos de ejecución complejos tarda más de 720 segundos, puedes aumentar este tiempo de espera configurando la opción de tiempo de espera de inicio para tu método de inicio.
gcloud CLI
Para extender el tiempo de espera de la VM de selector cuando ejecutas una plantilla de Flex desde
gcloud CLI, pasa la
marca --launcher-vm-timeout-secs
al comando gcloud dataflow flex-template run:
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=TEMPLATE_GCS_PATH \
--region=REGION \
--launcher-vm-timeout-secs=TIMEOUT_SECONDS
Reemplaza los siguientes valores:
JOB_NAME: Es el nombre de tu trabajo de Dataflow.TEMPLATE_GCS_PATH: Es el URI de Cloud Storage de tu archivo de especificación de plantilla de Flex, comogs://my-bucket/templates/my-template.json.REGION: la región de Dataflow en la que se ejecuta el trabajo.TIMEOUT_SECONDS: Es la duración del tiempo de espera de la VM del iniciador en segundos. Especifica un número entero positivo sin un sufijo de unidad. El tiempo de espera predeterminado es720, que equivale a 12 minutos. Para extender el tiempo de espera, especifica un número entero mayor que720y hasta5400, que es de 90 minutos, como1200para 20 minutos o1800para 30 minutos.
API de REST
Cuando inicias una plantilla de Flex llamando al
extremo de REST projects.locations.flexTemplates.launch,
establece la clave ft_launch_timeout_secs en el
mapa launchParameter.launchOptions en una cadena que contenga la duración del tiempo de espera
en segundos como un número entero, sin un sufijo de unidad:
{
"launchParameter": {
"jobName": "JOB_NAME",
"containerSpecGcsPath": "TEMPLATE_GCS_PATH",
"launchOptions": {
"ft_launch_timeout_secs": "TIMEOUT_SECONDS"
}
}
}
Reemplaza los siguientes valores:
JOB_NAME: Es el nombre de tu trabajo de Dataflow.TEMPLATE_GCS_PATH: Es el URI de Cloud Storage de tu archivo de especificación de plantilla de Flex, comogs://my-bucket/templates/my-template.json.TIMEOUT_SECONDS: Es la duración del tiempo de espera de la VM del iniciador en segundos. Especifica un número entero positivo como una cadena sin un sufijo de unidad. El tiempo de espera predeterminado es"720", que equivale a 12 minutos. Para extender el tiempo de espera, especifica un número entero mayor que720y hasta5400, que es de 90 minutos, como"1200"para 20 minutos o"1800"para 30 minutos.
Managed Airflow
Cuando organizas trabajos de plantillas de Flex en Managed Airflow o Apache
Airflow con el operador DataflowStartFlexTemplateOperator, incluye la
clave ft_launch_timeout_secs en launchParameter.launchOptions en el
diccionario body:
from airflow.providers.google.cloud.operators.dataflow import (
DataflowStartFlexTemplateOperator,
)
start_flex_template = DataflowStartFlexTemplateOperator(
task_id="start_flex_template",
project_id="PROJECT_ID",
location="REGION",
body={
"launchParameter": {
"jobName": "JOB_NAME",
"containerSpecGcsPath": "TEMPLATE_GCS_PATH",
"launchOptions": {
"ft_launch_timeout_secs": "TIMEOUT_SECONDS",
},
}
},
)
Reemplaza los siguientes valores:
PROJECT_ID: Es el ID de tu proyecto de Google Cloud .REGION: la región de Dataflow en la que se ejecuta el trabajo.JOB_NAME: Es el nombre de tu trabajo de Dataflow.TEMPLATE_GCS_PATH: Es el URI de Cloud Storage de tu archivo de especificación de plantilla de Flex, comogs://my-bucket/templates/my-template.json.TIMEOUT_SECONDS: Es la duración del tiempo de espera de la VM del iniciador en segundos. Especifica un número entero positivo como una cadena sin un sufijo de unidad. El tiempo de espera predeterminado es"720", que equivale a 12 minutos. Para extender el tiempo de espera, especifica un número entero mayor que720y hasta5400, que es de 90 minutos, como"1200"para 20 minutos o"1800"para 30 minutos.
Fallas de inicio de trabajo
La siguiente sección contiene errores comunes que generan fallas de inicio del trabajo y pasos para resolver los errores.
Se denegó el permiso cuando se cargaba un archivo de plantilla
Cuando intentas ejecutar una plantilla proporcionada por Google con gcloud CLI, ves un error similar al siguiente:
ERROR: (gcloud.dataflow.flex-template.run) PERMISSION_DENIED: Template file
failed to load: TEMPLATE_PATH. Permissions denied.
USER does not have storage.objects.get access to the Google
Cloud Storage object. Operations on resource are denied due to an IAM
Principal Access Boundary Policy.
TEMPLATE_PATH es una ruta de acceso a una plantilla en un
bucket de Cloud Storage que contiene las plantillas proporcionadas por Google, como
gs://dataflow-templates o
gs://dataflow-templates-REGION_NAME.
Si tu organización usa políticas de límite de acceso de la entidad (PAB), es posible que se bloquee a las entidades (como usuarios o cuentas de servicio) para que no puedan ver ni ejecutar plantillas proporcionadas por Google. Para resolver este problema, prueba la orientación que se indica en Accede a las plantillas proporcionadas por Google con políticas de límite de acceso de las principales.
Problemas de inicio anticipado
Cuando el proceso de inicio de la plantilla falla en una etapa inicial, es posible que los registros normales de la plantilla de Flex no estén disponibles. Para investigar problemas de inicio, habilita los registros de puertos en serie para la VM del selector de plantillas.
A fin de habilitar el registro para las plantillas de Java, configura la opción enableLauncherVmSerialPortLogging como true. A fin de habilitar el registro para las plantillas de Python y Go, configura la opción enable_launcher_vm_serial_port_logging como true. En la consola de Google Cloud , el parámetro se
enumera en Parámetros opcionales como Habilitar el registro de puertos en serie de VM del iniciador.
Puedes ver los registros de salidas del puerto en serie de la VM del selector de plantillas en Cloud Logging. Para buscar los registros de una VM de selector en particular, usa la consulta resource.type="gce_instance" "launcher-number", en la que number comienza con la fecha actual en el formato YYYMMDD.
La política de la organización puede prohibir que habilites el registro de salidas del puerto en serie.
No se pudo leer el archivo de trabajo
Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:
Failed to read the job file : gs://dataflow-staging-REGION-PROJECT_ID/staging/template_launches/TIMESTAMP/job_object...
Este error se produce cuando se reemplazan las opciones de inicialización de canalización necesarias. Cuando usas plantillas de Flex, puedes configurar algunas opciones de canalización, pero no todas, durante la inicialización de la canalización. Si se reemplazan los argumentos de la línea de comandos requeridos por la plantilla de Flex, el trabajo puede ignorar, anular o descartar las opciones de canalización que pasa el selector de plantillas. Es posible que el trabajo no se inicie o que se inicie un trabajo que no use la plantilla de Flex.
Para evitar este problema, durante la inicialización de la canalización, no cambies las siguientes opciones de canalización en el código de usuario o en el archivo metadata.json:
Java
runnerprojectjobNametemplateLocationregion
Python
runnerprojectjob_nametemplate_locationregion
Go
runnerprojectjob_nametemplate_locationregion
No se pudo leer el archivo de resultados
Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:
Failed to read the result file : gs://BUCKET_NAME...
Este error se produce cuando la cuenta de servicio predeterminada de Compute Engine no tiene todos los permisos que necesita para ejecutar una plantilla de Flex.
Para obtener la lista de permisos necesarios, consulta Permisos para ejecutar una plantilla de Flex.
Este error también puede deberse a lo siguiente:
- Intentar ejecutar una plantilla de Flex como un usuario no raíz, lo que, por lo general, no es compatible. Para obtener más detalles, consulta No se admite la ejecución como usuario no raíz o comunícate con tu equipo de cuentas.
- Latencia de red intermitente o problemas con la API de Cloud Storage. Para obtener más información, consulta Errores intermitentes de red o de Cloud Storage.
Permiso denegado en el recurso
Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:
Permission "MISSING_PERMISSION" denied on resource "projects/PROJECT_ID/locations/REGION/repositories/REPOSITORY_NAME" (or it may not exist).
Este error se produce cuando la cuenta de servicio que se usó no tiene los permisos para acceder a los recursos necesarios a fin de ejecutar una plantilla de Flex.
Para evitar este problema, verifica que la cuenta de servicio tenga los permisos necesarios. Ajusta los permisos de la cuenta de servicio según sea necesario.
Se proporcionó una marca, pero no se definió
Cuando intentas ejecutar una plantilla de Flex de Go con la opción de canalización worker_machine_type, la canalización falla con el siguiente error:
flag provided but not defined: -machine_type
Este error se debe a un problema conocido en las versiones 2.47.0 y anteriores del SDK de Apache Beam para Go. Para resolver este problema, actualiza a la versión 2.48.0 o posterior de Apache Beam para Go.
No se pudo recuperar el archivo JAR del servidor de trabajos remoto
Si intentas ejecutar un trabajo desde una plantilla de Flex cuando no tienes conexión a Internet, el trabajo podría fallar con el siguiente error:
Unable to fetch remote job server jar at
https://repo.maven.apache.org/maven2/org/apache/beam/beam-sdks-java-io-expansion-service/VERSION/beam-sdks-java-io-expansion-service-VERSION.jar:
\u003curlopen error [Errno 101] Network is unreachable\u003e
Este error se produce porque la VM no puede descargar el paquete de Java de Apache Beam desde Internet. Este paquete es obligatorio cuando ejecutas un trabajo de varios lenguajes con una plantilla de Flex.
Para resolver este problema, realiza uno de los siguientes cambios:
Conéctate a Internet Cuando se conecta a Internet, tu trabajo puede acceder al archivo requerido.
Incluye el paquete de Java de Apache Beam en tu directorio local para que tu trabajo pueda acceder a él de forma local. Crea el archivo en el siguiente directorio:
/root/.apache_beam/cache/jars/. Por ejemplo,/root/.apache_beam/cache/jars/beam-sdks-java-io-expansion-service-SDK_VERSION.jar
No se puede obtener el sistema de archivos de la ruta de acceso especificada
Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:
ValueError: Unable to get filesystem from specified path, please use
the correct path or ensure the required dependency is installed, e.g., pip
install apache-beam[gcp]. Path specified: PATH
Este error se produce cuando la tarea usa una imagen de contenedor de plantilla de Flex y esta no contiene una instalación de Java.
Para resolver este problema, agrega la siguiente línea a tu Dockerfile:
sh
RUN apt-get update && apt-get install -y openjdk-17-jdk
Este comando instala Java en tu entorno de contenedor.
Agotamiento de recursos de la VM del iniciador
Cuando intentas ejecutar un trabajo desde una plantilla de Flex, el trabajo podría fallar con el siguiente error:
Failed to start the VM, launcher-ID, used for launching because of status code: INTERNAL, reason: Unknown error in operation 'OPERATION_ID': [ZONE_RESOURCE_POOL_EXHAUSTED_WITH_DETAILS] 'The zone 'projects/PROJECT_ID/zones/ZONE_ID' does not have enough resources available to fulfill the request.
El nombre de la VM launcher-ID representa el nombre de la VM de inicio. La VM de selector es
responsable de recopilar los recursos del trabajo, como el código y la imagen de la plantilla,
antes de compilar y enviar el grafo del trabajo al servicio de Dataflow
para comenzar a trabajar.
Si no especificas el parámetro launcherMachineType, Dataflow
elige un tipo de máquina predeterminado para la VM de selector, por lo general, e2-standard-2.
Esta elección es independiente del machineType del trabajador. Los errores de agotamiento de recursos
pueden ocurrir si este tipo de máquina predeterminado no está disponible en la región o zona
del trabajo. Para usar un tipo de máquina específico, establece launcherMachineType.
Para resolver este problema, usa una de las siguientes estrategias:
- Actualiza el tipo de máquina del selector a un tipo de máquina diferente y vuelve a intentar el trabajo.
- API de REST: Establece
launchParameter.environment.launcherMachineTypeen el métodoflexTemplates.launch. - gcloud CLI: Establece la marca
--launcher-machine-typeen el comandogcloud dataflow flex-template run.
- API de REST: Establece
- Si configuras el parámetro
zone, quítalo para que Dataflow pueda colocar la VM de selector en una zona con capacidad. - Inicia tu plantilla de Flex desde una región diferente.
Demora del selector de plantillas de Flex
Cuando envías un trabajo de plantilla de Flex, la solicitud de trabajo va a una cola de Spanner. El selector de plantillas toma el trabajo de la cola de Spanner y, luego, ejecuta la plantilla. Cuando Spanner tiene mensajes pendientes, puede ocurrir un retraso significativo entre el momento en que envías el trabajo y el momento en que se inicia.
Para solucionar este problema, inicia tu plantilla de Flex desde una región diferente.
Los parámetros de la plantilla no son válidos
Cuando intentas usar gcloud CLI para ejecutar un trabajo que usa una plantilla proporcionada por Google, se produce el siguiente error:
ERROR: (gcloud.beta.dataflow.flex-template.run) INVALID_ARGUMENT: The template
parameters are invalid. Details: defaultSdkHarnessLogLevel: Unrecognized
parameter defaultWorkerLogLevel: Unrecognized parameter
Este error se produce porque algunas plantillas proporcionadas por Google no admiten las opciones defaultSdkHarnessLog y defaultWorkerLog.
Para resolver este problema, usa el método adecuado para tu tipo de plantilla.
Plantillas de Flex
En el caso de las plantillas de Flex, usa la marca --additional-pipeline-options para pasar las
opciones de canalización como una cadena. Por ejemplo, con el comando gcloud dataflow
flex-template run:
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=GCS_TEMPLATE_PATH \
--additional-pipeline-options=defaultSdkHarnessLogLevel=WARN,defaultWorkerLogLevel=WARN
Reemplaza los siguientes valores:
JOB_NAME: el nombre de tu trabajo de DataflowGCS_TEMPLATE_PATH: Es la ruta de acceso de Cloud Storage al archivo de plantilla.
Plantillas clásicas
Para las plantillas clásicas, la solución alternativa es copiar el archivo de especificación de plantilla en un bucket de Cloud Storage y agregar los siguientes parámetros adicionales al archivo.
"metadata": {
...
"parameters": [
...,
{
"name": "defaultSdkHarnessLogLevel",
"isOptional": true,
"paramType": "TEXT"
},
{
"name": "defaultWorkerLogLevel",
"isOptional": true,
"paramType": "TEXT"
}
]
}
Después de realizar este cambio en el archivo de plantilla, usa la siguiente marca cuando ejecutes la plantilla.
--gcs-location=gs://BUCKET_NAME/FILENAME
Reemplaza los siguientes valores:
BUCKET_NAME: Es el nombre de tu bucket de Cloud Storage.FILENAME: el nombre de tu archivo de especificación de plantilla
Los registros del selector de plantillas de Flex muestran una gravedad incorrecta
Cuando falla el inicio de una plantilla de Flex personalizada, aparece el siguiente mensaje en los archivos de registro con la gravedad ERROR:
ERROR: Error occurred in the launcher container: Template launch failed. See console logs.
La causa raíz de la falla de inicio suele aparecer en los registros anteriores a este mensaje con la gravedad INFO. Aunque este nivel de registro puede ser incorrecto, es esperable, ya que el selector de plantillas de Flex no tiene manera de extraer detalles de gravedad de los mensajes de registro que produce la aplicación de Apache Beam.
Si deseas ver la gravedad correcta de cada mensaje en el registro del selector, configura la plantilla para que genere registros en formato JSON en lugar de en texto sin formato. Esta configuración permite que el selector de plantillas extraiga la gravedad correcta del mensaje de registro. Usa la siguiente estructura de mensajes:
{
"message": "The original log message",
"severity": "DEBUG/INFO/WARN/ERROR"
}
En Java, puedes usar el registrador de Logback con una implementación de agregador de JSON personalizado. Para obtener más información, consulta la configuración de ejemplo de Logback y el código de ejemplo del agregador de JSON en GitHub.
Este problema solo afecta a los registros generados por el selector de plantillas de Flex cuando se inicia la canalización. Cuando el lanzamiento se realiza de forma correcta y la canalización se ejecuta, los registros que producen los trabajadores de Dataflow tienen la gravedad adecuada.
Las plantillas que proporciona Google muestran la gravedad correcta durante el inicio del trabajo, ya que las plantillas que proporciona Google usan este enfoque de registro JSON.