Conferir os registros do Cloud Data Fusion

Neste documento, descrevemos como acessar e visualizar registros de pipeline e de serviço do Cloud Data Fusion.

A partir da versão 6.11 do Cloud Data Fusion, os registros de pipeline e de serviço estão disponíveis no Cloud Logging.

Sobre os tipos de registro

O Cloud Data Fusion gera vários tipos de registros para ajudar a monitorar e resolver problemas nos processos de integração de dados:

Registros do pipeline
Esses registros fornecem informações detalhadas sobre execuções de pipeline individuais, incluindo execuções de prévia. Elas abrangem todas as etapas de uma execução de pipeline, como configuração pré-execução, execução de jobs e atividades pós-execução.

Registros de serviço
Esses registros fornecem informações detalhadas sobre os serviços do sistema do Cloud Data Fusion, como o AppFabric e o processador do AppFabric.

Registros de auditoria
O Cloud Data Fusion gera registros de auditoria, como os de atividade do administrador. Para mais informações, consulte Registro de auditoria do Cloud Data Fusion.

Registros avançados de pipeline
Esses registros fornecem informações detalhadas sobre execuções de pipeline individuais. Esses registros são particularmente úteis para resolver falhas de pipeline, já que capturam informações mesmo antes de o cluster do Dataproc terminar o provisionamento, o que pode ajudar a identificar problemas ou atrasos no cluster. Para mais informações, consulte Ver registros avançados de pipeline no Cloud Logging.

Preços

O uso do Cloud Logging e do Cloud Monitoring gera cobranças. Para mais informações, consulte Preços do Google Cloud Observability.

Opcional: importar o painel do Cloud Data Fusion Logging

Para conferir registros de pipeline e de serviço usando o painel do Cloud Data Fusion Logging, importe o painel:

  1. No console Google Cloud , acesse a página Painéis do Cloud Monitoring.

    Ir para "Painéis"

  2. Clique em Ver modelos de painel.

  3. Pesquise Registro do Cloud Data Fusion e selecione o painel.

  4. Clique em Adicionar painel de registros do Cloud Data Fusion à sua lista.

Ver registros de pipeline

É possível conferir os registros de pipeline usando o painel do Cloud Data Fusion Logging ou diretamente no Buscador de registros.

Ver registros de pipeline usando o painel

  1. Se ainda não tiver feito isso, importe o painel Logging do Cloud Data Fusion.

  2. Na seção Meus painéis, clique em Registro do Cloud Data Fusion.

  3. Na seção Registros do pipeline, confira a lista de registros. É possível filtrar os registros por gravidade, nomes de campos e valores.

    Para refinar sua pesquisa usando consultas, use o Explorador de registros.

Conferir registros de pipeline na Análise de registros

  1. No console do Google Cloud , acesse a página Análise de registros.

    Acessar o Explorador de registros

  2. Digite a seguinte consulta:

    resource.type="datafusion.googleapis.com/PipelineV2"

    Isso mostra a lista de registros de pipeline. Você pode usar filtros para refinar os resultados.

Filtrar registros de pipeline

É possível filtrar os registros do pipeline por ID da execução, ID da instância, ID do pipeline, local, namespace ou rótulos personalizados.

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, encontre o RunID dele e confira os registros correspondentes.

Para filtrar registros de pipeline por RunID, siga estas etapas:

  1. Encontre o RunID do pipeline.

  2. No console do Google Cloud , acesse a página Análise de registros.

  3. Digite a seguinte consulta:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

Visualizar registros de serviço

É possível ver os registros de serviço usando o painel do Cloud Data Fusion Logging ou no Explorador de registros.

Ver registros de serviço usando o painel

  1. Se ainda não tiver feito isso, importe o painel Logging do Cloud Data Fusion.

  2. Na seção Meus painéis, clique em Registro do Cloud Data Fusion.

  3. Na seção Registros de serviço, confira a lista de registros de serviço. É possível filtrar os registros por gravidade, nomes de campos e valores.

    Para refinar sua pesquisa usando consultas, use o Explorador de registros.

Ver registros de serviço na Análise de registros

  1. No console do Google Cloud , acesse a página Análise de registros.

    Acessar o Explorador de registros

  2. Para encontrar os registros do serviço, insira a consulta específica dele.

    Nome do serviço Consulta do registro
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"
    Processador do AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"
    Executor de conjunto de dados 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"
    Log Saver 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"
    Serviço de metadados 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"
    Métricas 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"
    Ambiente de execução 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"
    Serviço Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

Geração de registros configurável no Cloud Data Fusion

O Cloud Data Fusion 6.11.0 oferece registros configuráveis, com o Cloud Logging ativado por padrão. Embora seja possível desativar o Cloud Logging, é altamente recomendável mantê-lo ativado para garantir o acesso a registros essenciais de pipeline e de instância.

Para desativar o Cloud Logging, execute o seguinte comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Substitua:

  • PROJECT_ID: o ID do projeto Google Cloud
  • LOCATION: o local da instância
  • INSTANCE_ID: o ID da sua instância do Cloud Data Fusion

A seguir