Ver registros do Cloud Data Fusion

Os registros de pipeline e de serviço do Cloud Data Fusion permitem monitorar a integridade da execução e resolver problemas de execuções de pipeline com falha ou problemas de serviço. A partir da versão 6.11 do Cloud Data Fusion, esses registros estão disponíveis no Cloud Logging.

Sobre os tipos de registro

O Cloud Data Fusion gera vários tipos de registros para ajudar a monitorar e resolver problemas em processos de integração de dados:

Registros de pipeline

Esses registros fornecem informações detalhadas sobre execuções de pipeline individuais, incluindo execuções de pré-lançamento. Eles abrangem todas as etapas de uma execução de pipeline, como configuração pré-execução, execução de jobs e atividades pós-execução.

Registros do serviço

Esses registros fornecem informações detalhadas sobre os serviços do sistema do Cloud Data Fusion, como o AppFabric e o processador do AppFabric.

Registros de auditoria

O Cloud Data Fusion gera registros de auditoria, como registros de auditoria de atividades do administrador. Para mais informações, consulte Geração de registros de auditoria do Cloud Data Fusion.

Registros de pipeline avançados

Esses registros fornecem informações detalhadas sobre execuções de pipeline individuais. Esses registros são particularmente úteis para solucionar falhas de pipeline, já que capturam informações antes mesmo que o cluster do Serviço Gerenciado para Apache Spark conclua o provisionamento, o que pode ajudar a identificar problemas ou atrasos no cluster. Para mais informações, consulte Ver registros avançados de pipeline no Cloud Logging.

Preços

O uso do Cloud Logging e do Cloud Monitoring gera cobranças. Para mais informações, consulte Preços do Google Cloud Observability.

Opcional: importar o painel de geração de registros do Cloud Data Fusion

Para visualizar os registros de pipeline e os registros do serviço usando o painel de geração de registros do Cloud Data Fusion, importe o painel:

1. No console do Google Cloud , acesse a página Painéis do Cloud Monitoring.

   Ir para "Painéis"

2. Clique em Ver modelos de painel.

3. Pesquise Cloud Data Fusion Logging e selecione o painel.

4. Clique em Adicionar o painel de registro do Cloud Data Fusion à sua lista.

Ver registros de pipeline

É possível conferir os registros de pipeline usando o painel do Cloud Data Fusion Logging ou diretamente na Análise de registros.

Ver registros de pipeline usando o painel

1. Se ainda não tiver feito isso, importe o painel do Cloud Data Fusion Logging.

2. Na seção Meus painéis, clique em Cloud Data Fusion Logging.

3. Na seção Registros do pipeline, confira a lista de registros do pipeline. É possível filtrar os registros por gravidade, nomes de campo e valores.

   Para refinar sua pesquisa usando consultas, use a Análise de Registros.

Ver registros de pipeline na Análise de registros

1. No console do Google Cloud , acesse a página Análise de registros.

   Acessar a Análise de registros

2. Digite a seguinte consulta:

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   Isso mostra a lista de registros do pipeline. É possível usar filtros para refinar os resultados.

Filtrar registros de pipeline

É possível filtrar os registros de pipeline por ID de execução, ID de instância, ID de pipeline, local, namespace ou rótulos personalizados.

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, é possível encontrar o RunID dele e visualizar os registros correspondentes.

Para filtrar os registros de pipeline por RunID, siga estas etapas:

1. Receba o RunID do pipeline.

2. No console do Google Cloud , acesse a página Análise de registros.

3. Digite a seguinte consulta:

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Ver registros do serviço

É possível conferir os registros do serviço usando o painel de geração de registros do Cloud Data Fusion ou na Análise de registros.

Ver registros do serviço usando o painel

1. Se ainda não tiver feito isso, importe o painel do Cloud Data Fusion Logging.

2. Na seção Meus painéis, clique em Cloud Data Fusion Logging.

3. Na seção Registros do serviço, confira a lista de registros do serviço. É possível filtrar os registros por gravidade, nomes de campo e valores.

   Para refinar sua pesquisa usando consultas, use a Análise de Registros.

Ver registros de serviço na Análise de Registros

A partir da versão 6.11.1.1 do Cloud Data Fusion, os registros de serviço do sistema usam o recurso monitorado InstanceV3 (datafusion.googleapis.com/InstanceV3) por padrão. Esses registros usam o sufixo de nome de registro services-v3 e não incluem os rótulos org_id ou namespace encontrados na versão anterior. Embora InstanceV2 a emissão de registros esteja desativada por padrão para instâncias novas e atualizadas, é possível reativar a geração de registros InstanceV2 usando a API REST do Cloud Data Fusion se as operações dependerem dos rótulos legados.

Para ver os registros de serviço na Análise de Registros, siga estas etapas:

1. No console do Google Cloud , acesse a página Análise de registros.

   Acessar a Análise de registros

2. Encontre os registros do serviço inserindo a consulta específica para ele.

   Nome do serviço	Consulta de registro para InstanceV2	Consulta de registro para InstanceV3
   Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
   Processador do AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
   Executor de conjunto de dados	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
   Log Saver	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
   Serviço de metadados	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
   Métricas	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
   Ambiente de execução	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
   Serviço do Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Ativar registros da InstanceV2

Por padrão, as instâncias do Cloud Data Fusion que executam a versão 6.11.1.1 ou posterior desativam a geração de registros InstanceV2. Se as operações exigirem o formato de geração de registros anterior (por exemplo, se você depender dos rótulos org_id ou namespace), será possível reativar os registros InstanceV2 usando a API REST do Cloud Data Fusion.

Para ativar os registros de InstanceV2, use o método instances.patch com enable_instance_v2_logs definido como true. Essa configuração emite registros InstanceV2 e InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Substitua:

• PROJECT_ID: o ID do projeto do Google Cloud
• LOCATION: o local da instância
• INSTANCE_ID: o ID da instância do Cloud Data Fusion

Geração de registros configurável no Cloud Data Fusion

O Cloud Data Fusion 6.11.0 oferece geração de registros configurável, com o Cloud Logging ativado por padrão. Embora seja possível desativar o Cloud Logging, é altamente recomendável mantê-lo ativado para garantir o acesso a registros críticos de pipeline e instância.

Para desativar o Cloud Logging, execute o seguinte comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Substitua:

• PROJECT_ID: o ID do projeto do Google Cloud
• LOCATION: o local da instância
• INSTANCE_ID: o ID da instância do Cloud Data Fusion

A seguir

• Saiba mais sobre a geração de registros de auditoria do Cloud Data Fusion.
• Saiba como visualizar registros avançados de pipeline.