Conferir registros de pipeline avançados no Cloud Logging

Ativar o Cloud Logging para os clusters do Serviço Gerenciado para Apache Spark do Cloud Data Fusion permite acessar registros de execução granulares além das métricas de pipeline padrão. Use esses registros avançados para solucionar problemas de falhas de execução, inspecionar o comportamento do driver e do executor e depurar transformações de dados complexas.

Ativar o Cloud Logging do Serviço Gerenciado para Apache Spark

Para ver problemas de pipeline e cluster no Cloud Logging, ative os registros avançados em instâncias novas ou atuais do Cloud Data Fusion. Para ativar os registros avançados em uma instância, faça o seguinte:

  1. No console do Google Cloud , acesse a página Instâncias do Cloud Data Fusion.

    Acesse "Instâncias"

  2. Clique no nome da instância.

  3. Na seção Monitoramento e geração de registros avançados, em Cloud Logging do Dataproc, clique em Editar.

  4. Na janela Cloud Logging, marque a caixa de seleção Ativar o Cloud Logging.

  5. Clique em Salvar.

Como visualizar registros

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, encontre o RunID dele. Em seguida, no Logging, use o RunID para ver os registros do pipeline.

Receber o RunID do pipeline

  1. Acesse sua instância:

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Clique em Lista.
  3. Clique no pipeline para o qual você quer receber o ID de execução.
  4. Clique em Resumo.
  5. Na seção Histórico de execuções, clique em Tabela.
  6. Para copiar o ID da execução, clique com o botão direito do mouse em RunID e selecione Copiar.

Ver os registros na Análise de registros

  1. No console do Google Cloud , acesse a página Cloud Logging > Análise de registros:

    Acessar a Análise de registros

  2. No menu suspenso Todos os recursos, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Opcional: filtrar os registros

Use os menus de filtro para filtrar os registros. É possível filtrar por vários níveis de gravidade de registro ou por componentes como datafusion-pipeline-logs.

Opcional: fazer o download dos registros

Clique em Fazer o download de registros.

Para mais informações, consulte Como fazer o download de entradas de registro.

A seguir