Los complementos de Cloud Data Fusion te permiten mover y administrar datos a medida que fluyen desde el origen hasta el receptor en una canalización de datos. Cada etapa, conocida como nodo, consta de un módulo personalizable que extiende las capacidades de tu flujo de trabajo. En la interfaz web de Cloud Data Fusion, puedes acceder a los complementos predeterminados en la página Studio , explorar el Hub para obtener integraciones adicionales o explorar todos los complementos de Cloud Data Fusion.
Tipos de complementos
Los complementos se clasifican en las siguientes categorías:
- Fuentes
- Transformaciones
- Analytics
- Receptores
- Condiciones y acciones
- Error Handlers and Alerts
Fuentes
Los complementos de origen se conectan a bases de datos, archivos o transmisiones en tiempo real desde las que tu canalización lee datos. Configuras las fuentes para tu canalización de datos con la interfaz web, por lo que no tienes que preocuparte por codificar conexiones de bajo nivel.
Transformaciones
Los complementos de transformación cambian los datos después de que se transfieren desde una fuente. Por ejemplo, puedes clonar un registro, cambiar el formato de archivo a JSON o usar el complemento de JavaScript para crear una transformación personalizada.
Analytics
Los complementos de Analytics realizan agregaciones, como unir datos de diferentes fuentes y ejecutar operaciones de estadísticas y aprendizaje automático.
Receptores
Los complementos de receptor escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y mainframes. Puedes consultar los datos que se escriben en el receptor con la interfaz web de Cloud Data Fusion o la API de REST.
Condiciones y acciones
Usa complementos de condición y acción para programar acciones que se realicen durante un flujo de trabajo que no manipule directamente los datos en este. Por ejemplo:
- Usa el complemento de base de datos para programar la ejecución de un comando de base de datos al final de la canalización.
- Usa el complemento File Move para activar una acción que mueva archivos dentro de Cloud Storage.
Error Handlers and Alerts
Cuando las etapas encuentran valores nulos, errores de lógica o cualquier otra fuente de errores, puedes usar un complemento de controlador de errores para detectarlos. Usa estos complementos para encontrar errores en el resultado después de un complemento de transformación o de estadísticas. Puedes escribir los errores en una base de datos para analizarlos.
¿Qué sigue?
- Explora los complementos.
- Crea una canalización de datos con los complementos.