Veja registos avançados de pipelines no Cloud Logging

Esta página descreve como ativar o Cloud Logging para os seus clusters do Dataproc do Cloud Data Fusion e aceder aos registos avançados do pipeline.

Ative o Dataproc Cloud Logging

Para ver problemas de pipelines e clusters no Cloud Logging, ative os registos avançados em instâncias novas ou existentes do Cloud Data Fusion. Para ativar os registos avançados numa instância existente, faça o seguinte:

  1. Na Google Cloud consola, aceda à página Instâncias do Cloud Data Fusion.

    Aceda a Instâncias

  2. Clique no nome da instância.

  3. Na secção Monitorização e registo avançados, para Dataproc Cloud Logging, clique em Editar.

  4. Na janela Cloud Logging, selecione a caixa de verificação Ativar Cloud Logging.

  5. Clique em Guardar.

Ver registos

A cada execução do pipeline do Cloud Data Fusion é atribuído um RunID exclusivo. Depois de implementar e executar o pipeline, encontre o respetivo RunID. Em seguida, em Registo, use o RunID para ver os registos do pipeline.

Obtenha o RunID do pipeline

  1. Aceda à sua instância:

    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. Clique em Lista.
  3. Clique no pipeline para o qual quer obter o ID da execução.
  4. Clique em Resumo.
  5. Na secção Histórico de execuções, clique em Tabela.
  6. Para copiar o ID da execução, clique com o botão direito do rato em RunID e clique em Copiar.

Veja os registos no Explorador de registos

  1. Na Google Cloud consola, aceda à página Cloud Logging > Explorador de registos:

    Go Logs Explorer

  2. No menu pendente Todos os recursos, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Opcional: filtre os registos

Use os menus de filtros para filtrar os seus registos. Pode filtrar por vários níveis de gravidade do registo ou por componentes, como datafusion-pipeline-logs.

Opcional: transfira os registos

Clique em Transferir registos.

Para mais informações, consulte o artigo sobre como transferir entradas de registo.

O que se segue?