Monitorize os registos do Dataplex Universal Catalog

Os registos de tarefas do Dataplex Universal Catalog podem ser vistos, pesquisados, filtrados e arquivados no Cloud Logging.

Para compreender os custos, consulte os preços do Google Cloud Observability.

Para mais informações sobre a retenção de registos, consulte o artigo Períodos de retenção de registos.

Para desativar todos os registos ou excluir registos do Logging, consulte os filtros de exclusão.

Para encaminhar registos do Logging para o Cloud Storage, o BigQuery ou o Pub/Sub, consulte o artigo Vista geral do encaminhamento e do armazenamento.

Aceda aos registos do serviço Dataplex Universal Catalog no Logging

O Dataplex Universal Catalog publica os seguintes registos de serviços no Cloud Logging.

Tipo de registo Nome de registo logName consulta Descrição do registo
Registos de eventos de análise de dados dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registos de eventos para tarefas de análise de dados que indicam o estado, os resultados e as estatísticas das tarefas
Registos de resultados das regras de verificação da qualidade de dados dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados das regras de verificação da qualidade de dados numa tarefa de qualidade de dados
Registos de descoberta dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progresso e atualizações da descoberta em recursos numa zona
Registos de tarefas de metadados dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registos sobre tarefas de importação de metadados e itens de importação no ficheiro de importação de metadados
Registar processos dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Execuções de tarefas resultantes de tarefas de processamento de dados

Substitua o seguinte:

  • PROJECT_ID: o ID do seu projeto

Para aceder ao registo, pode usar o Explorador de registos na Google Cloud consola, os gcloud logging comandos ou a API Logging.

Consulte registos de eventos de análise de dados de consultas

Quando usa o Dataplex Universal Catalog para criar e executar uma análise de dados, é produzido um registo de eventos de análise de dados no Logging para a tarefa resultante.

Consola

  1. Na Google Cloud consola, aceda à página Explorador de registos.

    Aceda ao Explorador de registos

  2. Na vista Explorador de registos, encontre o separador Consulta.

  3. Clique no menu Recurso.

  4. Selecione Cloud Dataplex DataScan. Clique em Aplicar.

  5. Clique no menu Nome do registo.

  6. No campo Pesquisar nomes de registos, introduza dataplex.googleapis.com%2Fdata_scan. Selecione data_scan e clique em Aplicar.

  7. Opcional: filtre os registos por um ID de análise de dados ou uma localização específicos adicionando os seguintes filtros na consulta de registos:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Clique em Executar consulta.

gcloud

Para ler as entradas do registo de eventos de análise de dados, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para listar as entradas do registo, use o método entries.list.

Consulte os registos de resultados das regras de verificação da qualidade de dados

Quando usa o catálogo universal do Dataplex para criar e executar uma análise de qualidade de dados, é produzido um registo de resultados da regra de análise de qualidade de dados no Logging para a tarefa resultante.

Consola

  1. Na Google Cloud consola, aceda à página Explorador de registos.

    Aceda ao Explorador de registos

  2. Na vista Explorador de registos, encontre o separador Consulta.

  3. Clique no menu Recurso.

  4. Selecione Cloud Dataplex DataScan. Clique em Aplicar.

  5. Clique no menu Nome do registo.

  6. No campo Pesquisar nomes de registos, introduza dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Selecione data_quality_scan_rule_result e clique em Aplicar.

  7. Opcional: filtre os registos por um ID de análise de dados ou uma localização específicos adicionando os seguintes filtros na consulta de registos:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Clique em Executar consulta.

gcloud

Para ler as entradas do registo de resultados da regra de análise da qualidade dos dados, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para listar as entradas do registo, use o método entries.list.

Consultar registos de deteção

Quando usa o Dataplex Universal Catalog para descobrir dados em recursos, é produzido um registo de descoberta no Logging.

Consola

  1. Na Google Cloud consola, aceda à página Explorador de registos.

    Aceda ao Explorador de registos

  2. Na vista Explorador de registos, encontre o separador Consulta.

  3. Clique no menu Recurso.

  4. Selecione Zona do Cloud Dataplex. Clique em Aplicar.

  5. Clique no menu Nome do registo.

  6. No campo Pesquisar nomes de registos, introduza dataplex.googleapis.com%2Fdiscovery. Selecione descoberta e clique em Aplicar.

  7. Opcional: filtre os registos para um recurso específico adicionando os seguintes filtros na consulta de registos:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Clique em Executar consulta.

gcloud

Para ler as entradas do registo de deteção, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Para listar as entradas do registo, use o método entries.list.

Consultar registos de tarefas de metadados

Quando executa uma tarefa de importação de metadados, são produzidos registos de tarefas de metadados no Logging.

Consola

  1. Na Google Cloud consola, aceda à página Explorador de registos.

    Aceda ao Explorador de registos

  2. Na vista Explorador de registos, encontre o separador Consulta.

  3. Clique no menu Recurso.

  4. Selecione Tarefa de metadados do Cloud Dataplex.

  5. Opcional: para filtrar os registos por um local específico ou um ID de tarefa de metadados, selecione um local ou um ID de tarefa.

  6. Clique em Aplicar.

  7. Clique no menu Nome do registo.

  8. Escreva dataplex.googleapis.com%2Fmetadata_job e, de seguida, selecione metadata_job.

  9. Clique em Aplicar.

gcloud

Para ler as entradas do registo de tarefas de metadados, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Para listar as entradas do registo, use o método entries.list.

Registar processos de consultas

Quando usa o Dataplex Universal Catalog para agendar e executar tarefas, é produzido um registo de processo no Logging para a tarefa resultante.

Consola

  1. Na Google Cloud consola, aceda à página Explorador de registos.

    Aceda ao Explorador de registos

  2. Na vista Explorador de registos, encontre o separador Consulta.

  3. Clique no menu Recurso.

  4. Selecione Tarefa do Cloud Dataplex. Clique em Aplicar.

  5. Clique no menu Nome do registo.

  6. No campo Pesquisar nomes de registos, introduza dataplex.googleapis.com%2Fprocess. Selecione processar e clique em Aplicar.

  7. Opcional: filtre os registos para uma tarefa específica adicionando os seguintes filtros na consulta de registos:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Clique em Executar consulta.

gcloud

Para ler as entradas do registo de processos, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Para listar as entradas do registo, use o método entries.list.

O que se segue?