Este documento explica como acessar, consultar e interpretar os registros do Knowledge Catalog (antigo Dataplex Universal Catalog) usando o Cloud Logging. O acesso aos registros de jobs e serviços do Knowledge Catalog ajuda a resolver problemas e monitorar atividades de gerenciamento de dados, incluindo a descoberta de dados com tecnologia de IA e a verificação de qualidade de dados. Ao centralizar os registros no Logging, é possível analisar a performance do job, configurar alertas para falhas ou anomalias e encaminhar registros para outros Google Cloud serviços, como o BigQuery, para retenção e análise de longo prazo.
Para entender os custos, consulte Preços do Google Cloud Observability.
Para mais informações sobre a retenção de registros, consulte Períodos de armazenamento de registros.
Para desativar todos os registros ou excluir registros do Logging, consulte Filtros de exclusão.
Para encaminhar registros do Logging para o Cloud Storage, o BigQuery ou o Pub/Sub, consulte Visão geral de roteamento e armazenamento.
Casos de uso
O registro do Knowledge Catalog oferece suporte a casos de uso em diferentes setores:
- Resolver falhas de pipeline de dados:quando uma tarefa do Knowledge Catalog para processamento de dados falha, os registros
processfornecem mensagens de erro detalhadas que ajudam os engenheiros de dados a identificar e resolver problemas nos jobs do Spark ou nas tarefas personalizadas. - Monitorar a qualidade dos dados:uma empresa de serviços financeiros pode monitorar os registros
data_quality_scan_rule_resultpara acompanhar as tendências de qualidade de dados ao longo do tempo, receber alertas sobre degradações de qualidade para ativos de dados críticos e fornecer aos auditores evidências de verificações de qualidade de dados para conformidade regulatória. - Acompanhar o enriquecimento de metadados:uma empresa de varejo que usa jobs de importação de metadados para enriquecer o catálogo pode usar registros
metadata_jobpara verificar se as importações estão sendo concluídas e se todos os itens de metadados estão sendo processados corretamente. - Auditar a descoberta de dados:as organizações podem usar registros
discoverypara monitorar como e quando novas fontes de dados estão sendo descobertas e registradas no Knowledge Catalog, fornecendo uma trilha de auditoria para processos de integração de dados.
Como funciona o registro do Knowledge Catalog
O Knowledge Catalog envia registros de operações de serviço e execuções de jobs para o Cloud Logging. Cada entrada de registro contém detalhes sobre a operação ou o job, como status, hora de início e término, recursos associados (como uma verificação ou tarefa de dados) e resultado. Diferentes tipos de operações, como verificação de dados,
descoberta, importação de metadados e processamento de dados, geram tipos de registro diferentes,
que podem ser consultados usando logName ou a
linguagem de consulta de geração de registros no
Logging.
É possível acessar e analisar esses registros usando a Análise de registros no Google Cloud console ou encaminhando-os para outros destinos, como buckets do Cloud Storage ou tabelas do BigQuery, para análise mais detalhada.
Acessar registros de serviço do Knowledge Catalog no Logging
O Knowledge Catalog publica os seguintes registros de serviço no Cloud Logging.
| Tipo de registro | Nome do registro | Consulta logName |
Descrição do registro |
|---|---|---|---|
| Registros de eventos de verificação de dados | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Registros de eventos para jobs de verificação de dados que indicam o estado, os resultados e as estatísticas do job |
| Registros de resultados de regras de verificação de qualidade de dados | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Resultados das regras de verificação de qualidade de dados em um job de qualidade de dados |
| Registros de descoberta | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Progresso e atualizações de descoberta em ativos em uma zona |
| Registros de jobs de metadados | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
Registros sobre jobs de importação de metadados e itens de importação no arquivo de importação de metadados |
| Registros de processos | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Execuções de jobs resultantes de tarefas de processamento de dados |
Para acessar o Logging, use o
Análise de registros no
Google Cloud console, os
gcloud logging comandos ou
a API Logging. É possível usar a
linguagem de consulta de geração de registros para criar
consultas detalhadas.
Consultar registros de eventos de verificação de dados
Quando você usa o Knowledge Catalog para criar e executar uma verificação de dados, um registro de eventos de verificação de dados é produzido no Logging para o job resultante.
Console
No Google Cloud console do Cloud, acesse a página Observabilidade > Logging > Explorador de registros.
Clique em Todos os recursos.
Na lista Selecionar recurso, clique em Recurso auditado e, em seguida, selecione Cloud Dataplex. Opcional: para filtrar os registros para um método específico, selecione o método em Método. Clique em Aplicar.
Clique em Todos os nomes de registro.
Na lista Selecionar nomes de registros, insira
dataplex.googleapis.com%2Fdata_scan. Selecione data_scan para filtrar os registros de eventos de verificação de dados e clique em Aplicar.Opcional: para uma filtragem mais avançada, use a linguagem de consulta de geração de registros para adicionar filtros na consulta de registro. Por exemplo, para filtrar um ID ou local de verificação de dados específico, adicione os seguintes filtros no campo de consulta, e clique em Executar consulta:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
gcloud
Para ler as entradas de registro de eventos de verificação de dados, use o
gcloud logging read comando
com a seguinte consulta:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Para listar as entradas de registro, use o
entries.list método.
Consultar registros de resultados de regras de verificação de qualidade de dados
Quando você usa o Knowledge Catalog para criar e executar uma verificação de qualidade de dados, um registro de resultados de regras de verificação de qualidade de dados é produzido no Logging para o job resultante.
Console
No Google Cloud console do Cloud, acesse a página Observabilidade > Logging > Explorador de registros.
Clique em Todos os recursos.
Na lista Selecionar recurso, clique em Recurso auditado e, em seguida, selecione Cloud Dataplex. Opcional: para filtrar os registros para um método específico, selecione o método em Método. Clique em Aplicar.
Clique em Todos os nomes de registro.
Na lista Selecionar nomes de registros, insira
dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Selecione data_quality_scan_rule_result para filtrar os registros de resultados de regras de verificação de qualidade de dados e clique em Aplicar.Opcional: para uma filtragem mais avançada, use a linguagem de consulta de geração de registros para adicionar filtros na consulta de registro. Por exemplo, para filtrar um ID ou local de verificação de dados específico, adicione os seguintes filtros no campo de consulta, e clique em Executar consulta:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
gcloud
Para ler as entradas de registro de resultados de regras de verificação de qualidade de dados, use o
gcloud logging read comando
com a seguinte consulta:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Para listar as entradas de registro, use o
entries.list método.
Consultar registros de descoberta
Quando você usa o Knowledge Catalog para descobrir dados em ativos, um registro de descoberta é produzido no Logging.
Console
No Google Cloud console do Cloud, acesse a página Observabilidade > Logging > Explorador de registros.
Clique em Todos os recursos.
Na lista Selecionar recurso, clique em Zona do Cloud Dataplex para filtrar os registros de recursos de zona do Knowledge Catalog. Opcional: para filtrar os registros para um ativo específico, selecione o local, o lake e a zona. Clique em Aplicar.
Clique em Todos os nomes de registro.
Na lista Selecionar nomes de registros, insira
dataplex.googleapis.com%2Fdiscovery. Selecione discovery para filtrar os registros de descoberta e clique em Aplicar.Opcional: para uma filtragem mais avançada, use a linguagem de consulta de geração de registros para adicionar filtros na consulta de registro. Por exemplo, para filtrar um ativo específico , adicione os seguintes filtros no campo de consulta e clique em Executar consulta:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
gcloud
Para ler as entradas de registro de descoberta, use o
gcloud logging read comando
com a seguinte consulta:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
Para listar as entradas de registro, use o
entries.list método.
Consultar registros de jobs de metadados
Quando você executa um job de importação de metadados, os registros de jobs de metadados são produzidos no Logging.
Console
No Google Cloud console do Cloud, acesse a página Observabilidade > Logging > Explorador de registros.
Clique em Todos os recursos.
Na lista Selecionar recurso, clique em Job de metadados do Cloud Dataplex para filtrar os registros de recursos de jobs de metadados. Opcional: para filtrar os registros para um local ou ID de job de metadados específico, selecione o local e o ID do job de metadados. Clique em Aplicar.
Clique em Todos os nomes de registro.
Na lista Selecionar nomes de registros, insira
dataplex.googleapis.com%2Fmetadata_job. Selecione metadata_job para filtrar os registros de jobs de metadados e clique em Aplicar.Opcional: para uma filtragem mais avançada, use a linguagem de consulta de geração de registros para adicionar filtros na consulta de registro. Para mais informações, consulte Visualizar registros de jobs e resolver problemas.
gcloud
Para ler as entradas de registro de jobs de metadados, use o
gcloud logging read comando
com a seguinte consulta:
gcloud logging read \
'resource.type="dataplex.googleapis.com/MetadataJob" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
resource.labels.location=LOCATION AND
resource.labels.metadata_job_id=METADATA_JOB_ID'
--limit 10
REST
Para listar as entradas de registro, use o
entries.list método.
Consultar registros de processos
Quando você usa o Knowledge Catalog para programar e executar tarefas, um registro de processo é produzido no Logging para o job resultante.
Console
No Google Cloud console do Cloud, acesse a página Observabilidade > Logging > Explorador de registros.
Clique em Todos os recursos.
Na lista Selecionar recurso, clique em Tarefa do Cloud Dataplex para filtrar os registros de recursos de tarefas. Opcional: para filtrar os registros para uma tarefa ou local específico, selecione o local, o lake e a tarefa. Clique em Aplicar.
Clique em Todos os nomes de registro.
Na lista Selecionar nomes de registros, insira
dataplex.googleapis.com%2Fprocess. Selecione process para filtrar os registros de processos e clique em Aplicar.Opcional: para uma filtragem mais avançada, use a linguagem de consulta de geração de registros para adicionar filtros na consulta de registro. Por exemplo, para filtrar uma tarefa específica , adicione os seguintes filtros no campo de consulta e clique em Executar consulta:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
gcloud
Para ler as entradas de registro de processos, use o
gcloud logging read comando
com a seguinte consulta:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
Para listar as entradas de registro, use o
entries.list método.
A seguir
- Saiba mais sobre Cloud Logging.
- Saiba mais sobre o monitoramento do Knowledge Catalog.