Ver registros do Cloud Data Fusion

Este documento descreve como acessar e visualizar registros de pipeline e registros de serviço do Cloud Data Fusion.

A partir da versão 6.11 do Cloud Data Fusion, os registros de pipeline e de serviço estão disponíveis no Cloud Logging.

Sobre os tipos de registro

O Cloud Data Fusion gera vários tipos de registros para ajudar a monitorar e solucionar problemas de processos de integração de dados:

Registros de pipeline

Esses registros fornecem informações detalhadas sobre execuções de pipeline individuais, incluindo execuções de visualização. Eles abrangem todos os estágios de uma execução de pipeline, como configuração pré-execução, execução de jobs e atividades pós-execução.

Registros de serviço

Esses registros fornecem informações detalhadas sobre os serviços do sistema do Cloud Data Fusion, como o AppFabric e o processador do AppFabric.

Registros de auditoria

O Cloud Data Fusion gera registros de auditoria, como registros de auditoria de atividade do administrador. Para mais informações, consulte Registros de auditoria do Cloud Data Fusion.

Registros avançados de pipeline

Esses registros fornecem informações detalhadas sobre execuções de pipeline individuais. Eles são particularmente úteis para solucionar falhas de pipeline, porque capturam informações mesmo antes que o Serviço Gerenciado para cluster do Apache Spark termine o provisionamento, o que pode ajudar a identificar problemas ou atrasos no cluster. Para mais informações, consulte Visualizar registros avançados de pipeline no Cloud Logging.

Preços

O uso do Cloud Logging e do Cloud Monitoring gera cobranças. Para mais informações, consulte Preços de observabilidade do Google Cloud.

Opcional: importar o painel do Cloud Data Fusion Logging

Para visualizar registros de pipeline e de serviço usando o painel do Cloud Data Fusion Logging, importe o painel:

1. No Google Cloud console, acesse a página Painéis do Cloud Monitoring.

   Ir para "Painéis"

2. Clique em Visualizar modelos de painel.

3. Pesquise Cloud Data Fusion Logging e selecione o painel.

4. Clique em Adicionar o painel do Cloud Data Fusion Logging à sua lista.

Visualizar registros de pipeline

É possível visualizar registros de pipeline usando o painel de geração de registros do Cloud Data Fusion ou diretamente na Análise de registros.

Visualizar registros de pipeline usando o painel

1. Se ainda não tiver feito isso, importe o painel Cloud Data Fusion Logging.

2. Na seção Meus painéis, clique em Cloud Data Fusion Logging.

3. Na seção Registros de pipeline, confira a lista de registros de pipeline. É possível filtrar os registros por gravidade, nomes de campos e valores.

   Para refinar a pesquisa usando consultas, use a Análise de registros.

Visualizar registros de pipeline na Análise de registros

1. No Google Cloud console do, acesse a página Análise de registros.

   Acessar a Análise de registros

2. Digite a seguinte consulta:

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   Isso mostra a lista de registros de pipeline. É possível usar filtros para refinar os resultados.

Filtrar registros de pipeline

É possível filtrar registros de pipeline por ID de execução, ID da instância, ID do pipeline, local, namespace ou rótulos personalizados.

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, é possível encontrar o RunID do pipeline e visualizar os registros de pipeline correspondentes.

Para filtrar registros de pipeline por RunID, siga estas etapas:

1. Receba o RunID do pipeline.

2. No Google Cloud console do, acesse a página Análise de registros.

3. Digite a seguinte consulta:

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Visualizar registros de serviço

É possível visualizar registros de serviço usando o painel do Cloud Data Fusion Logging ou na Análise de registros.

Visualizar registros de serviço usando o painel

1. Se ainda não tiver feito isso, importe o painel Cloud Data Fusion Logging.

2. Na seção Meus painéis, clique em Cloud Data Fusion Logging.

3. Na seção Registros de serviço, confira a lista de registros de serviço. É possível filtrar os registros por gravidade, nomes de campos e valores.

   Para refinar a pesquisa usando consultas, use a Análise de registros.

Visualizar registros de serviço na Análise de registros

A partir da versão 6.11.1.1 do Cloud Data Fusion, os registros de serviço do sistema usam o InstanceV3 recurso monitorado (datafusion.googleapis.com/InstanceV3) por padrão. Esses registros usam o services-v3 sufixo de nome de registro e não incluem os rótulos org_id ou namespace encontrados na versão anterior. Embora a emissão de registros InstanceV2 esteja desativada por padrão para instâncias novas e atualizadas, é possível reativar o registro InstanceV2 usando a API REST do Cloud Data Fusion se suas operações dependem dos rótulos legados.

Para visualizar registros de serviço na Análise de registros, siga estas etapas:

1. No Google Cloud console do, acesse a página Análise de registros.

   Acessar a Análise de registros

2. Encontre os registros de serviço inserindo a consulta específica para esse serviço.

   Nome do serviço	Consulta de registro para InstanceV2	Consulta de registro para InstanceV3
   Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
   Processador do AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
   Executor de conjunto de dados	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
   Log Saver	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
   Serviço de metadados	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
   Métricas	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
   Ambiente de execução	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
   Serviço Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Ativar registros do InstanceV2

Por padrão, as instâncias do Cloud Data Fusion que executam a versão 6.11.1.1 ou mais recente desativam o registro InstanceV2. Se as operações exigirem o formato de registro anterior (por exemplo, se você depender dos rótulos org_id ou namespace), será possível reativar os registros InstanceV2 usando a API REST do Cloud Data Fusion.

Para ativar os registros InstanceV2, use o instances.patch método com enable_instance_v2_logs definido como true. Essa configuração emite registros InstanceV2 e InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Substitua:

• PROJECT_ID: o Google Cloud ID do projeto
• LOCATION: o local da instância
• INSTANCE_ID: o ID da instância do Cloud Data Fusion

Registro configurável no Cloud Data Fusion

O Cloud Data Fusion 6.11.0 oferece registro configurável, com o Cloud Logging ativado por padrão. Embora seja possível desativar o Cloud Logging, é recomendável mantê-lo ativado para garantir o acesso a registros críticos de pipeline e instância.

Para desativar o Cloud Logging, execute o seguinte comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Substitua:

• PROJECT_ID: o Google Cloud ID do projeto
• LOCATION: o local da instância
• INSTANCE_ID: o ID da instância do Cloud Data Fusion

A seguir

• Saiba mais sobre os registros de auditoria do Cloud Data Fusion.
• Saiba como visualizar registros avançados de pipeline.