Implementa y ejecuta canalizaciones

Implementar una canalización en Cloud Data Fusion te permite convertir tus diseños de integración de datos en flujos de trabajo ejecutables. Después de la implementación, puedes ejecutar canalizaciones a pedido, establecer programas automatizados o configurar activadores entrantes para administrar la ejecución de datos.

Implementa canalizaciones

Después de que termines de diseñar y depurar una canalización de datos y estés conforme con los datos que ves en la vista previa, podrás implementar la canalización.

Cuando implementas la canalización, Cloud Data Fusion Studio crea el flujo de trabajo y los trabajos de Apache Spark correspondientes en segundo plano.

Ejecutar canalizaciones

Después de implementar una canalización, puedes ejecutarla de las siguientes maneras:

  • Para ejecutar una canalización a pedido, abre una canalización implementada y haz clic en Ejecutar.
  • Para programar la ejecución de la canalización en un momento determinado, abre una canalización implementada y haz clic en Programar.
  • Para activar la canalización según el momento en que se complete otra, abre una canalización implementada y haz clic en Activadores entrantes.

Pipeline Studio guarda el historial de una canalización cada vez que se ejecuta. Puedes alternar entre diferentes versiones del entorno de ejecución de la canalización.

Si la canalización tiene macros, establece los argumentos del entorno de ejecución para cada macro. También puedes revisar y cambiar la configuración de la canalización antes de ejecutar la canalización implementada. Puedes ver el cambio de estado durante las fases de la ejecución de la canalización, como Aprovisionando, Iniciando, En ejecución y Completada. También puedes detener la canalización en cualquier momento.

Si habilitas la instrumentación, puedes explorar las métricas que genera la canalización haciendo clic en Propiedades en cualquier nodo de la canalización, como una fuente, una transformación o un receptor.

Para obtener más información sobre las ejecuciones de la canalización, haz clic en Resumen.

Ver registros de ejecución

Una vez que se completa la ejecución de una canalización, puedes ver el registro de ejecución. De forma predeterminada, puedes ver los registros de ejecución de los últimos 30 días. Cloud Data Fusion los borra después de ese período. Puedes extender ese período con la API de REST. Extender la retención de registros de ejecución no extiende la retención de registros de canalización en Cloud Data Fusion Studio, que es de siete días de forma predeterminada.

API de REST

Para conservar los registros de ejecución durante más de 30 días, actualiza las opciones de app.run.records.ttl con el siguiente comando:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

Reemplaza lo siguiente:

  • PROJECT_NAME: el nombre del proyecto de Google Cloud
  • REGION_NAME: Es la región de la instancia de Cloud Data Fusion, por ejemplo, us-east4.
  • INSTANCE_NAME: el ID de la instancia de Cloud Data Fusion
  • DAYS: Es la cantidad de tiempo, en días, que se conservarán los registros de las ejecuciones de canalizaciones antiguas, por ejemplo, 30.
  • HOURS: Es la frecuencia, en horas, para verificar y borrar los registros de ejecución antiguos, por ejemplo, 24.

Ejemplo:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

¿Qué sigue?