Criar alertas de pipeline

Os alertas de pipeline no Cloud Data Fusion permitem acompanhar o status da execução e monitorar a integridade do fluxo de trabalho. Essas notificações ajudam a detectar falhas de pipeline imediatamente.

É possível configurar alertas usando dois serviços diferentes, dependendo do estágio de implantação. Os alertas do Cloud Data Fusion são configurados durante o design do pipeline em lote e não podem ser adicionados ou editados após a implantação. Por outro lado, é possível criar alertas baseados em registros pelo Cloud Monitoring no console do Google Cloud a qualquer momento, antes ou depois de implantar o pipeline.

Antes de começar

Você precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte Criar uma instância pública.

Adicionar um alerta no Cloud Data Fusion

  1. Abra a instância.

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Acesse a página do Studio em que você está projetando o pipeline.

  3. Clique em Configurar > Alertas de pipeline > Adicionar.

  4. Selecione e configure o alerta. Para mais informações sobre como configurar alertas, consulte Alertas de pipeline em lote.

  5. Depois de configurar o alerta, clique em Validar para verificar se há erros e, em seguida, clique em Confirmar.

Criar um alerta no Monitoring

  1. Ative o Cloud Logging na instância do Cloud Data Fusion.

  2. Criar um alerta com base em registros.

    1. No console do Google Cloud , acesse a página Análise de registros.

      Acessar a Análise de registros.

      Nesta página, é possível armazenar, consultar, atualizar e excluir dados.

    2. Digite a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Substitua PROJECT_ID pelo ID do projeto.

    3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado em um cluster do Serviço Gerenciado para Apache Spark e falha. Para falhas na criação de clusters do Serviço Gerenciado para Apache Spark, o alerta não é gerado.

A seguir