Implementa y ejecuta canalizaciones

Implementar una canalización en Cloud Data Fusion te permite convertir tus diseños de integración de datos en flujos de trabajo ejecutables. Después de la implementación, puedes ejecutar canalizaciones a pedido, establecer programaciones automatizadas o configurar activadores entrantes para administrar la ejecución de datos.

Implementa canalizaciones

Después de terminar de diseñar y depurar una canalización de datos, y de estar conforme con los datos que ves en la vista previa, puedes implementar la canalización.

Cuando implementas la canalización, Cloud Data Fusion Studio crea el flujo de trabajo y los trabajos de Apache Spark correspondientes en segundo plano.

Ejecutar canalizaciones

Después de implementar una canalización, puedes ejecutarla de las siguientes maneras:

  • Para ejecutar una canalización a pedido, abre una canalización implementada y haz clic en Ejecutar.
  • Para programar la canalización para que se ejecute a una hora determinada, abre una canalización implementada y haz clic en Programar.
  • Para activar la canalización cuando se complete otra canalización, abre una canalización implementada y haz clic en Activadores entrantes.

Pipeline Studio guarda el historial de una canalización cada vez que se ejecuta. Puedes alternar entre diferentes versiones de tiempo de ejecución de la canalización.

Si la canalización tiene macros, establece los argumentos del entorno de ejecución para cada macro. También puedes revisar y cambiar las configuraciones de la canalización antes de ejecutar la canalización implementada. Puedes ver el cambio de estado durante las fases de la ejecución de la canalización, como Aprovisionando, Iniciando, En ejecución y Completada. También puedes detener la canalización en cualquier momento.

Si habilitas la instrumentación, puedes explorar las métricas que genera la canalización haciendo clic en Propiedades en cualquier nodo de la canalización, como una fuente, una transformación o un receptor.

Para obtener más información sobre las ejecuciones de canalización, haz clic en Resumen.

Ver registros de ejecución

Una vez que se completa una ejecución de canalización, puedes ver el registro de ejecución. De forma predeterminada, puedes ver los últimos 30 días de registros de ejecución. Cloud Data Fusion los borra después de ese período. Puedes extender ese período con la API de REST.

API de REST

Para conservar los registros de ejecución durante más de 30 días, actualiza las opciones app.run.records.ttl con el siguiente comando:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

Reemplaza lo siguiente:

  • PROJECT_NAME: el Google Cloud nombre del proyecto
  • REGION_NAME: la región de la instancia de Cloud Data Fusion, por ejemplo, us-east4
  • INSTANCE_NAME: el ID de la instancia de Cloud Data Fusion
  • DAYS: La cantidad de tiempo, en días, para conservar los registros de ejecución de las ejecuciones de canalización antiguas, por ejemplo, 30.
  • HOURS: La frecuencia, en horas, para verificar y borrar los registros de ejecución antiguos, por ejemplo, 24.

Ejemplo:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

¿Qué sigue?