Execuções de monitoramento

Esta página mostra como fazer o seguinte:

Antes de começar

Para monitorar registros de execução, faça o seguinte:

  1. Noconsole, acesse a página Dataform. Google Cloud

    Acesse Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Acione uma execução pelo menos uma vez.

Funções exigidas

Para ter as permissões necessárias para visualizar registros de execução, peça ao administrador para conceder a você os seguintes papéis do IAM:

  • Editor do Dataform (roles/dataform.editor) no repositório do Dataform em que as execuções de fluxo de trabalho estão sendo rastreadas
  • Verificar a configuração de uma execução: Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

O papel do IAM Visualizador de registros (roles/logging.viewer) oferece acesso somente leitura a todos os recursos do Cloud Logging. Para mais informações sobre as permissões e os papéis do Identity and Access Management que se aplicam aos dados do Logging, consulte Controle de acesso com o IAM.

Para criar e gerenciar alertas com base em registros, verifique se seu papel do IAM inclui as permissões descritas em Papéis necessários para criar e usar políticas de alertas com base em registros.

Monitorar registros de execução

Esta seção mostra como acessar registros de execução no Dataform.

É possível acessar os registros de todas as execuções acionadas em um repositório e os registros de execuções acionadas em um espaço de trabalho nas últimas 24 horas.

Inspecionar registros de execução do repositório

Para acessar os registros de todas as execuções acionadas em um repositório, siga estas etapas:

  1. Noconsole, acesse a página Dataform. Google Cloud

    Acesse Dataform

  2. Acesse seu repositório.

  3. Clique em Registros de execução de fluxo de trabalho.

  4. Para conferir os detalhes de uma execução, clique nela.

  5. Para conferir os detalhes de uma ação na execução, clique em Ver detalhes.

Inspecionar registros de execução do espaço de trabalho

Para acessar os registros das mil execuções mais recentes acionadas em um espaço de trabalho nas últimas 24 horas, siga estas etapas:

  1. Noconsole, acesse a página Dataform. Google Cloud

    Acesse Dataform

  2. Acesse seu repositório e selecione seu espaço de trabalho.

  3. No espaço de trabalho, clique em Execuções.

  4. Para conferir os detalhes de uma execução, clique nela.

  5. Para conferir os detalhes de uma ação na execução, clique em Ver detalhes.

Acessar registros do Logging para o Dataform

Esta seção mostra como acessar os registros do Cloud Logging para invocações de fluxo de trabalho do Dataform.

Cada invocação de fluxo de trabalho do Dataform é registrada usando o Logging. O Logging é ativado automaticamente para invocações de fluxo de trabalho do Dataform, o que pode gerar cobranças de faturamento do Logging. Para mais informações, consulte Preços do Dataform.

Ver registros

Para informações sobre como filtrar registros de geração de registros na Análise de registros, consulte Ver registros usando a Análise de registros.

Os registros do Dataform são indexados pelo repositório do Dataform.

Formato do registro

O Dataform envia mensagens de registro de invocação de fluxo de trabalho no seguinte formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

O que é registrado

As entradas de registro do Dataform contêm informações úteis para monitorar e depurar as invocações de fluxo de trabalho.

As entradas de registro contêm os seguintes tipos de informações:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO, WARNING ou ERROR
  • terminalState: pode ser SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

Configurar métricas e alertas com o Cloud Monitoring

É possível usar o Monitoring para observar tendências nos registros e receber notificações quando as condições descritas ocorrerem.

Para fornecer dados do Logging ao Monitoring, o Logging oferece o seguinte:

  • Métricas com base em registros, que podem ser usadas da seguinte maneira:
    • Para criar políticas de alertas que avisem você sobre alterações ao longo do tempo.
    • Para criar gráficos que mostrem mudanças ao longo do tempo.
  • Alertas com base em registros, que notificam você sempre que um evento específico aparece em um registro.

Para mais informações sobre métricas e alertas com base em registros, consulte Monitorar seus registros.

Para saber como configurar alertas com base em registros para invocações de fluxo de trabalho do Dataform, consulte Configurar alertas para invocações de fluxo de trabalho com falha.

Configurar alertas para invocações de fluxo de trabalho com falha

Esta seção mostra como configurar alertas com base em registros para invocações de fluxo de trabalho do Dataform com falha usando a Análise de registros.

É possível usar o Monitoring para observar tendências nos registros do Logging para invocações de fluxo de trabalho do Dataform e receber notificações quando as condições descritas ocorrerem.

Cada invocação de fluxo de trabalho do Dataform é registrada usando o Logging. O Logging é ativado automaticamente para invocações de fluxo de trabalho do Dataform, o que pode gerar cobranças de faturamento do Logging. Para mais informações, consulte Preços do Dataform.

Para receber alertas quando uma invocação de fluxo de trabalho do Dataform falhar, você pode criar alertas com base em registros.

É possível criar alertas com base em registros na página Explorador de registros no Google Cloud console ou usando a API Monitoring. Esta seção descreve como criar alertas com base em registros para falha de invocação de fluxo de trabalho do Dataform usando a Análise de registros.

Para configurar alertas com base em registros para invocações de fluxo de trabalho do Dataform com falha, siga estas etapas:

  1. Noconsole, selecione Geração de registros e depois selecione Análise de registros. Google Cloud

    Acessar a Análise de registros

  2. No painel Consulta, selecione Mostrar consulta e insira a seguinte consulta:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Essa consulta alerta sobre todas as invocações de fluxo de trabalho do Dataform com falha.

    1. Opcional: para filtrar invocações de fluxo de trabalho com falha por uma configuração de versão, anexe o seguinte à consulta:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Substitua RELEASE_CONFIGURATION_ID pelo ID da configuração de versão.

    2. Opcional: para filtrar invocações de fluxo de trabalho com falha por uma configuração de fluxo de trabalho, anexe o seguinte à consulta:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Substitua WORKFLOW_CONFIGURATION_ID pelo ID da configuração de fluxo de trabalho.

    A consulta a seguir alerta quando uma invocação de fluxo de trabalho do Dataform relacionada à configuração de versão daily e à configuração de fluxo de trabalho production falha:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. Opcional: para validar a consulta, use Executar consulta no painel Resultados da consulta.

  4. No cabeçalho do painel Resultados da consulta, clique em Criar alerta. Quando a janela estiver estreita, a opção Criar alerta poderá aparecer no menu Ações.

  5. No painel Detalhes do alerta, forneça um nome e uma descrição para o alerta:

    1. Digite um nome para o alerta no campo Nome do alerta. Por exemplo, Dataform: workflow failure.

    2. Digite uma descrição deste alerta. Você também pode incluir informações que possam ajudar o destinatário de uma notificação a diagnosticar o problema. A string a seguir resume o motivo do alerta:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Para informações sobre como formatar e adaptar o conteúdo desse campo, consulte Anotar notificações com documentação definida pelo usuário.

  6. Para avançar para a próxima etapa, clique em Próxima.

  7. No painel Escolher registros a serem incluídos no alerta, verifique a consulta e os resultados clicando em Visualizar registros.

    Recomendamos criar a consulta no painel Consulta da Análise de registros. A consulta criada no painel Consulta também é mostrada nesse painel.

    É possível editar a consulta neste painel, se necessário. Se você editar a consulta, verifique os resultados clicando em Visualizar registros.

  8. Clique em Próxima.

  9. Selecione o tempo mínimo entre as notificações. Esse valor permite controlar o número de notificações recebidas desse alerta se ele for acionado várias vezes. Neste exemplo, selecione 5 minutos nas opções.

  10. Opcional: selecione a duração do fechamento automático do incidente. Por padrão, a duração do fechamento automático do incidente é definida como 7 dias.

  11. Clique em Próxima.

  12. Selecione um ou mais canais de notificação para seu alerta. Neste exemplo, selecione um canal de notificação por e-mail.

    Se você já tiver um canal de notificação por e-mail configurado, selecione-o na lista. Caso contrário, clique em Gerenciar canais de notificação e adicione um canal de e-mail. Para saber mais sobre como criar canais de notificação, consulte Criar e gerenciar canais de notificação.

  13. Clique em Salvar.

Seu alerta com base em registros está pronto para ser testado. Para instruções sobre como testar o alerta, consulte Testar a política de alertas com base em registros de exemplo.

A seguir