Administra la configuración de la canalización

En esta página, se describen las formas en que puedes administrar las configuraciones de las canalizaciones implementadas.

Antes de comenzar

En esta página, se requiere cierto conocimiento previo sobre los perfiles de procesamiento y el rendimiento de la canalización.

Configuración del perfil de procesamiento

Puedes cambiar el perfil de procesamiento o personalizar los parámetros del perfil de procesamiento predeterminado que ejecuta la canalización. Para obtener más información, consulta Administra perfiles de procesamiento y Propiedades del aprovisionador de Managed Service for Apache Spark.

Configuración de la canalización

Para cada canalización, puedes habilitar o inhabilitar la instrumentación, como las métricas de tiempo. De forma predeterminada, la instrumentación está activada. Si la instrumentación está habilitada, cuando ejecutes la canalización, Cloud Data Fusion generará métricas para cada nodo de la canalización. Las siguientes métricas se muestran en la pestaña Métricas de cada nodo. Las métricas de fuente, transformación y receptor varían ligeramente.

  • Records out
  • Records in
  • Cantidad total de errores
  • Records out per second
  • Min process time (one record)
  • Max process time (one record)
  • Desviación estándar
  • Average processing time

Te recomendamos que siempre actives la instrumentación, a menos que el entorno tenga pocos recursos.

Para las canalizaciones de transmisión, también puedes establecer el Intervalo de lotes (segundos o minutos) para los datos de transmisión.

Configuración del motor

Apache Spark es el motor de ejecución predeterminado. Puedes pasar parámetros personalizados para Spark. Para obtener más información, consulta Procesamiento paralelo.

Recursos

Puedes especificar la memoria y la cantidad de CPU para el controlador y el ejecutor de Spark. El controlador coordina el trabajo de Spark. El ejecutor controla el procesamiento de datos en Spark. Para obtener más información, consulta Administración de recursos.

Alerta de canalización

Puedes configurar la canalización para que envíe alertas y comience las tareas de procesamiento posterior después de que finalice la ejecución de la canalización. Creas alertas de canalización cuando diseñas la canalización. Después de implementar la canalización, puedes ver las alertas. Puedes editar la canalización para cambiar la configuración de las alertas. Para obtener más información, consulta Crea alertas.

Envío de transformaciones

Puedes habilitar el envío de transformaciones si deseas que una canalización ejecute ciertas transformaciones en BigQuery. Para obtener más información, consulta la Descripción general del envío de transformaciones.

¿Qué sigue?