Conferir registros de pipeline avançados no Cloud Logging

Esta página descreve como ativar o Cloud Logging para clusters do Managed Service for Apache Spark do Cloud Data Fusion e acessar registros avançados de pipeline.

Ativar o Cloud Logging do Managed Service for Apache Spark

Para visualizar problemas de pipeline e cluster no Cloud Logging, ative os registros avançados em instâncias novas ou atuais do Cloud Data Fusion. Para ativar os registros avançados em uma instância atual, faça o seguinte:

  1. No Google Cloud console, acesse a página Instâncias do Cloud Data Fusion.

    Acesse "Instâncias"

  2. Clique no nome da instância.

  3. Na seção Monitoramento e geração de registros avançados, em Cloud Logging do Dataproc, clique em Editar.

  4. Na janela Cloud Logging, marque a caixa de seleção Ativar o Cloud Logging.

  5. Clique em Salvar.

Ver registros

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, encontre o RunID dele. Em seguida, no Logging, use o RunID para ver os registros do pipeline.

Receber o RunID do pipeline

  1. Acesse sua instância:

    1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.

      Aceda a Instâncias

  2. Clique em Lista.
  3. Clique no pipeline para o qual você quer receber o Run ID.
  4. Clique em Resumo.
  5. Na seção Histórico de execução, clique em Tabela.
  6. Para copiar o RunID, clique com o botão direito do mouse em RunID e clique em Copiar.

Ver os registros na Análise de registros

  1. No Google Cloud console, acesse a páginaCloud Logging> Análise de registros:

    Acessar a Análise de registros

  2. No menu suspenso Todos os recursos, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Opcional: filtrar os registros

Use os menus de filtro para filtrar os registros. É possível filtrar por vários níveis de gravidade do registro ou por componentes, como datafusion-pipeline-logs.

Opcional: fazer o download dos registros

Clique em Fazer o download de registros.

Para mais informações, consulte Fazer o download de entradas de registro.

A seguir