Veja registos avançados de pipelines no Cloud Logging

Esta página descreve como ativar o Cloud Logging para os seus clusters do Dataproc do Cloud Data Fusion e aceder aos registos avançados do pipeline.

Ative o Dataproc Cloud Logging

Para ver problemas de pipelines e clusters no Cloud Logging, ative os registos avançados em instâncias novas ou existentes do Cloud Data Fusion. Para ativar os registos avançados numa instância existente, faça o seguinte:

  1. Na Google Cloud consola, aceda à página Instâncias do Cloud Data Fusion.

    Aceda a Instâncias

  2. Clique no nome da instância.

  3. Na secção Monitorização e registo avançados, para Dataproc Cloud Logging, clique em Editar.

  4. Na janela Cloud Logging, selecione a caixa de verificação Ativar Cloud Logging.

  5. Clique em Guardar.

Ver registos

A cada execução do pipeline do Cloud Data Fusion é atribuído um RunID exclusivo. Depois de implementar e executar o pipeline, encontre o respetivo RunID. Em seguida, em Registo, use o RunID para ver os registos do pipeline.

Obtenha o RunID do pipeline

  1. Aceda à sua instância:

    1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.

      Aceda a Instâncias

  2. Clique em Lista.
  3. Clique no pipeline para o qual quer obter o ID da execução.
  4. Clique em Resumo.
  5. Na secção Histórico de execuções, clique em Tabela.
  6. Para copiar o ID da execução, clique com o botão direito do rato em RunID e clique em Copiar.

Veja os registos no Explorador de registos

  1. Na Google Cloud consola, aceda à página Cloud Logging > Explorador de registos:

    Go Logs Explorer

  2. No menu pendente Todos os recursos, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Opcional: filtre os registos

Use os menus de filtros para filtrar os seus registos. Pode filtrar por vários níveis de gravidade do registo ou por componentes, como datafusion-pipeline-logs.

Opcional: transfira os registos

Clique em Transferir registos.

Para mais informações, consulte o artigo sobre como transferir entradas de registo.

O que se segue?