Usa flujos de trabajo

Puedes configurar y ejecutar un flujo de trabajo si:

1. Creas una plantilla de flujo de trabajo
2. Configuras un clúster administrado (efímero) o seleccionas un clúster existente
3. Agregas trabajos
4. Creas una instancia de la plantilla para ejecutar el flujo de trabajo

Puedes parametrizar una plantilla de flujo de trabajo para usarla dinámicamente en flujos de trabajo diferentes. También puedes usar archivos YAML o llamar a la InstantiateInline para definir y ejecutar un flujo de trabajo intercalado que no crea o modifica los recursos de la plantilla de flujo de trabajo.

Crea una plantilla

Google Cloud Consola de

Selecciona Crear plantilla de flujo de trabajo en la página Flujos de trabajo de Managed Service para Apache Spark en la consola de Google Cloud , luego confirma o proporciona la configuración de la plantilla, el clúster, el trabajo y las dependencias.

gcloud CLI

Ejecuta el siguiente command para crear un recurso de plantilla de flujo de trabajo de Managed Service para Apache Spark.

gcloud dataproc workflow-templates create TEMPLATE_ID \
    --region=REGION

Notas:

• REGION: Especifica la región en la que se ejecutará tu plantilla.
• TEMPLATE_ID: Proporciona un ID para tu plantilla, como "workflow-template-1".
• Encriptación de CMEK. Puedes agregar la --kms-key marca para usar la encriptación de CMEK en los argumentos de trabajo de la plantilla de flujo de trabajo.

API de REST

Envía un WorkflowTemplate como parte de una workflowTemplates.create. Puedes agregar el WorkflowTemplate.EncryptionConfig.kmsKey para usar la encriptación de CMEK en los argumentos de trabajo de la plantilla de flujo de trabajo.

Configurar o seleccionar un clúster

Managed Service para Apache Spark puede crear y usar un clúster "administrado" nuevo para tu flujo de trabajo o un clúster existente.

• Clúster existente: Consulta Cómo usar selectores de clúster con flujos de trabajo para seleccionar un clúster existente para tu flujo de trabajo.

• Clúster administrado: Debes configurar un clúster administrado para tu flujo de trabajo. Managed Service para Apache Spark creará este clúster nuevo para ejecutar trabajos de flujo de trabajo y, luego, borrar el clúster al final del flujo de trabajo.

  Puedes configurar un clúster administrado para tu flujo de trabajo con la Google Cloud consola, la Google Cloud CLI o la API de Dataproc.

  Google Cloud Consola de

  Selecciona Crear plantilla de flujo de trabajo en la página Flujos de trabajo de Managed Service para Apache Spark en la consola de Google Cloud , luego confirma o proporciona la configuración de la plantilla, el clúster, el trabajo y las dependencias.

  Google Cloud CLI

  Usa marcas heredadas de gcloud dataproc cluster create para configurar el clúster administrado, como la cantidad de trabajadores y el tipo de máquina principal y trabajadora.

  gcloud dataproc workflow-templates set-managed-cluster TEMPLATE_ID \
      --cluster-name=CLUSTER_NAME \
      --region=REGION \
      --master-machine-types="type=MACHINE_TYPE_1,rank=0" \
      --master-machine-types="type=MACHINE_TYPE_2,rank=1" \
      --worker-machine-types="type=PRIMARY_WORKER_MACHINE_TYPE_1,rank=0" \
      --worker-machine-types="type=PRIMARY_WORKER_MACHINE_TYPE_2,rank=1" \
      --num-workers=NUMBER \
      --service-account=SERVICE_ACCOUNT
  

  Notas:

  • CLUSTER_NAME: Managed Service para Apache Spark agrega un sufijo al nombre del clúster para garantizar la exclusividad.
  • MACHINE_TYPE: Puedes usar tipos de máquinas clasificadas de VM flexibles para proporcionar resiliencia contra la falta de disponibilidad de recursos.
  • SERVICE_ACCOUNT: Puedes especificar una cuenta de servicio de VM para el clúster administrado.

  API de REST

  Consulta WorkflowTemplatePlacement.ManagedCluster, que puedes proporcionar como parte de una WorkflowTemplate completa, enviada con una solicitud workflowTemplates.create o workflowTemplates.update.

  Puedes usar el GceClusterConfig.serviceAccount campo para especificar una cuenta de servicio de VM para el clúster administrado.

Agrega trabajos a una plantilla

Todos los trabajos se ejecutan simultáneamente, a menos que especifiques una o más dependencias de trabajo. Las dependencias de un trabajo se expresan como una lista de otros trabajos que se deben completar exitosamente antes de que pueda comenzar el trabajo final. Debes proporcionar una step-id para cada trabajo. El ID debe ser único dentro del flujo de trabajo, pero no es necesario que lo sea globalmente.

gcloud CLI

Usa el tipo de trabajos y las marcas heredadas de gcloud dataproc jobs submit para definir el trabajo que se agregará a la plantilla. De forma opcional, puedes usar la ‑‑start-after job-id of another workflow job marca para que el trabajo comience después de que se completen uno o más trabajos en el flujo de trabajo.

Las --max-failures-per-hour y --max-failures-total marcas de trabajo reiniciables no son compatibles con los trabajos de plantillas de flujo de trabajo de Managed Service para Apache Spark.

Ejemplos:

Agrega el trabajo de Hadoop "foo" a la plantilla "my-workflow".

gcloud dataproc workflow-templates add-job hadoop \
    --region=REGION \
    --step-id=foo \
    --workflow-template=my-workflow \
    -- space separated job args

Agrega el trabajo "bar" a la plantilla "my-workflow", que se ejecutará después de que el trabajo de flujo de trabajo "foo" se haya completado correctamente.

gcloud dataproc workflow-templates add-job JOB_TYPE \
    --region=REGION \
    --step-id=bar \
    --start-after=foo \
    --workflow-template=my-workflow \
    -- space separated job args

Agrega otro trabajo "baz" a la plantilla "my-workflow" para que se ejecute luego de que se completen correctamente los trabajos "foo" y "bar".

gcloud dataproc workflow-templates add-job JOB_TYPE \
    --region=REGION \
    --step-id=baz \
    --start-after=foo,bar \
    --workflow-template=my-workflow \
    -- space separated job args

API de REST

Consulta WorkflowTemplate.OrderedJob. Este campo se proporciona como parte de una WorkflowTemplate WorkflowTemplate , enviada con una workflowTemplates.create o workflowTemplates.update.

Los campos maxFailuresPerHour y maxFailuresTotal OrderedJob.JobScheduling no son compatibles con los trabajos de plantillas de flujo de trabajo de Managed Service para Apache Spark.

Console

Puedes ver las plantillas de flujo de trabajo existentes y los flujos de trabajo en los que se crearon instancias desde la página **Flujos de trabajo** de Managed Service para Apache Spark en la consola de Google Cloud .

La opción de trabajo reiniciable Max restarts per hour no es compatible con los trabajos de plantillas de flujo de trabajo de Managed Service para Apache Spark.

Ejecuta un flujo de trabajo

La creación de una instancia de una plantilla de flujo de trabajo ejecuta el flujo de trabajo definido por la plantilla. Se admiten múltiples creaciones de instancias de una plantilla. Puedes ejecutar un flujo de trabajo varias veces.

Comando de gcloud

gcloud dataproc workflow-templates instantiate TEMPLATE_ID \
    --region=REGION

El comando muestra un ID de operación, que puedes usar para realizar un seguimiento del estado del flujo de trabajo.

Ejemplo de comando y resultado:

gcloud beta dataproc workflow-templates instantiate my-template-id \
    --region=us-central1
...
WorkflowTemplate [my-template-id] RUNNING
...
Created cluster: my-template-id-rg544az7mpbfa.
Job ID teragen-rg544az7mpbfa RUNNING
Job ID teragen-rg544az7mpbfa COMPLETED
Job ID terasort-rg544az7mpbfa RUNNING
Job ID terasort-rg544az7mpbfa COMPLETED
Job ID teravalidate-rg544az7mpbfa RUNNING
Job ID teravalidate-rg544az7mpbfa COMPLETED
...
Deleted cluster: my-template-id-rg544az7mpbfa.
WorkflowTemplate [my-template-id] DONE

API de REST

Consulta workflowTemplates.instantiate.

Console

Puedes ver las plantillas de flujo de trabajo existentes y los flujos de trabajo en los que se crearon instancias desde la página **Flujos de trabajo** de Managed Service para Apache Spark en la consola de Google Cloud .

Fallas de trabajo de flujo de trabajo

Una falla en cualquier trabajo en un flujo de trabajo causará que el flujo de trabajo tenga errores. Managed Service para Apache Spark buscará mitigar el efecto de las fallas causando que todos los trabajos que se ejecutan simultáneamente fallen y evitando que se inicien los trabajos subsecuentes.

Supervisa y haz una lista de un flujo de trabajo

gcloud CLI

Para supervisar un flujo de trabajo:

gcloud dataproc operations describe OPERATION_ID \
    --region=REGION

Nota: El operation-id se muestra cuando creas una instancia en el flujo de trabajo con gcloud dataproc workflow-templates instantiate (consulta Ejecuta un flujo de trabajo).

Para hacer una lista del estado del flujo de trabajo:

gcloud dataproc operations list \
    --region=REGION \
    --filter="labels.goog-dataproc-operation-type=WORKFLOW AND status.state=RUNNING"

API de REST

Para supervisar un flujo de trabajo, usa la API operations.get de Managed Service para Apache Spark.

Para hacer una lista de los flujos de trabajo activos, usa la API operations.list de Managed Service para Apache Spark con un filtro de etiqueta.

Console

Puedes ver las plantillas de flujo de trabajo existentes y los flujos de trabajo en los que se crearon instancias desde la página **Flujos de trabajo** de Managed Service para Apache Spark en la consola de Google Cloud .

Finaliza un flujo de trabajo

Puedes finalizar un flujo de trabajo con la Google Cloud CLI o con una llamada a la API de Dataproc.

Nota: La finalización de un flujo de trabajo cancela los trabajos de flujo de trabajo activos y, si el flujo de trabajo se ejecuta en un clúster administrado (efímero), borra el clúster administrado.

Comando de gcloud

gcloud dataproc operations cancel OPERATION_ID \
    --region=REGION

Nota: El operation-id que se muestra cuando creas una instancia en el flujo de trabajo con gcloud dataproc workflow-templates instantiate (consulta Ejecuta un flujo de trabajo).

API de REST

Consulta la operations.cancel operations.cancel.

Console

Puedes ver las plantillas de flujo de trabajo existentes y los flujos de trabajo en los que se crearon instancias desde la página **Flujos de trabajo** de Managed Service para Apache Spark en la consola de Google Cloud .

Actualiza una plantilla de flujo de trabajo

Las actualizaciones no afectan los flujos de trabajo activos. La versión de la plantilla nueva solo se aplicará a los flujos de trabajo nuevos.

gcloud CLI

Las plantillas de flujo de trabajo se pueden actualizar mediante el uso de comandos gcloud workflow-templates nuevos que hacen referencia a un ID de plantilla de flujo de trabajo existente:

• gcloud dataproc workflow-templates add job
• gcloud dataproc workflow-templates set-managed-cluster
• gcloud dataproc workflow-templates set-cluster-selector

a una plantilla de flujo de trabajo existente.

API de REST

Para hacer una actualización de una plantilla con las API de REST:

1. Llama a workflowTemplates.get, que muestra la plantilla actual con el campo version completo con la versión del servidor actual.
2. Realiza actualizaciones en la plantilla recuperada
3. Llama a workflowTemplates.update con la plantilla actualizada

Como protección contra las modificaciones simultáneas, una solicitud para actualizar una plantilla debe especificar la versión actual del servidor en el campo workflowTemplate.version.

Console

Puedes ver las plantillas de flujo de trabajo existentes y los flujos de trabajo en los que se crearon instancias desde la página **Flujos de trabajo** de Managed Service para Apache Spark en la consola de Google Cloud .

Borra una plantilla de flujo de trabajo

gcloud CLI

gcloud dataproc workflow-templates delete TEMPLATE_ID \
    --region=REGION

Nota: El operation-id que se muestra cuando creas una instancia en el flujo de trabajo con gcloud dataproc workflow-templates instantiate (consulta Ejecuta un flujo de trabajo).

API de REST

Consulta workflowTemplates.delete.

Console

Puedes ver las plantillas de flujo de trabajo existentes y los flujos de trabajo en los que se crearon instancias desde la página **Flujos de trabajo** de Managed Service para Apache Spark en la consola de Google Cloud .