Criar alertas de pipeline

Nesta página, descrevemos como configurar alertas para pipelines de dados no Cloud Data Fusion.

É possível criar alertas usando os seguintes serviços:

  • Alertas pelo Cloud Data Fusion: você configura esses alertas ao projetar um pipeline em lote no Cloud Data Fusion. Depois de implantar o pipeline, não é possível adicionar ou editar um alerta.

  • Alertas com base em registros pelo Cloud Monitoring: configure esses alertas no console Google Cloud antes e depois de implantar o pipeline.

Antes de começar

Você precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte Como criar uma instância do Cloud Data Fusion.

Adicionar um alerta no Cloud Data Fusion

  1. Abra a instância.

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Acesse a página do Studio em que você está criando o pipeline.

  3. Clique em Configurar > Alertas de pipeline > Adicionar.

  4. Selecione e configure o alerta. Para mais informações sobre como configurar alertas, consulte Alertas de pipeline em lote.

  5. Depois de configurar o alerta, clique em Validar para verificar se há erros e em Confirmar.

Criar um alerta no Monitoring

  1. Ative o Cloud Logging na sua instância do Cloud Data Fusion.

  2. Crie um alerta com base em registros.

    1. No console do Google Cloud , acesse a página Análise de registros.

      Acesse o Explorador de registros

      Nela, é possível armazenar, consultar, atualizar e excluir dados.

    2. Digite a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Substitua PROJECT_ID pelo ID do projeto.

    3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado em um cluster do Managed Service para Apache Spark e falha. Para falhas na criação de clusters do Managed Service for Apache Spark, o alerta não é gerado.

A seguir