Crea alertas de canalización

Las alertas de canalización en Cloud Data Fusion te permiten hacer un seguimiento del estado de ejecución y supervisar el estado del flujo de trabajo. Estas notificaciones te ayudan a detectar fallas en la canalización de inmediato.

Puedes configurar alertas con dos servicios diferentes según la etapa de implementación. Las alertas de Cloud Data Fusion se configuran durante el diseño de la canalización por lotes y no se pueden agregar ni editar después de la implementación. En cambio, puedes crear alertas basadas en registros a través de Cloud Monitoring en la consola de Google Cloud en cualquier momento, ya sea antes o después de implementar la canalización.

Antes de comenzar

Necesitas una instancia de Cloud Data Fusion. Para obtener más información, consulta Crea una instancia pública.

Agrega una alerta en Cloud Data Fusion

  1. Abre tu instancia.

    1. En la Google Cloud consola, ve a la página de Cloud Data Fusion.

    2. Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

  2. Ve a la página de Studio en la que estás diseñando tu canalización.

  3. Haz clic en Configurar > Alertas de canalización > Agregar.

  4. Selecciona y configura la alerta. Para obtener más información sobre cómo configurar las alertas, consulta Alertas de canalización por lotes.

  5. Después de configurar la alerta, haz clic en Validar para verificar si hay errores y, luego, en Confirmar.

Crea una alerta en Monitoring

  1. Habilita Cloud Logging en tu instancia de Cloud Data Fusion.

  2. Crea una alerta basada en registros.

    1. En la consola de Google Cloud , accede a la página Explorador de registros.

      Ir al Explorador de registros.

      En esta página, puedes almacenar, consultar, actualizar y borrar datos.

    2. Ingresa la siguiente consulta:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Reemplaza PROJECT_ID por el ID del proyecto.

    3. Haz clic en Crear alerta y configúrala.

Solo se genera una alerta cuando la canalización se ejecuta en un clúster de Managed Service para Apache Spark y falla. En el caso de las fallas en la creación de clústeres de Managed Service para Apache Spark, no se genera la alerta.

¿Qué sigue?