Monitorar métricas do Knowledge Catalog

Este documento explica como usar o Cloud Monitoring para acompanhar a integridade dos serviços do Knowledge Catalog (antigo Dataplex Universal Catalog), otimizar o desempenho e ter visibilidade da sua plataforma de dados. O monitoramento proativo ajuda a garantir a confiabilidade dos aplicativos de dados e a tomar decisões informadas sobre a alocação de recursos e o gerenciamento de custos.

Para entender os custos, consulte Preços do Monitoring.

Para mais informações sobre a retenção de dados de métricas, consulte Cotas e limites do Monitoring.

Casos de uso

É possível usar as métricas do Knowledge Catalog no Cloud Monitoring para dar suporte aos seguintes casos de uso:

  • Garantir a confiabilidade do pipeline de dados: monitorar as taxas de sucesso e falha das tarefas do Knowledge Catalog, como ingestão de dados ou jobs de qualidade de dados. Configure alertas para falhas ou durações incomuns para minimizar o tempo de inatividade de cargas de trabalho críticas.
  • Otimizar o desempenho: acompanhe as durações dos jobs e as métricas de utilização de recursos para identificar e resolver gargalos de desempenho nas cargas de trabalho de tratamento de dados, qualidade de dados e descoberta de dados.
  • Gerenciar custos: monitore o consumo de recursos do Knowledge Catalog (como lakes, zonas e recursos) no Monitoring e use a exportação do Cloud Billing para o BigQuery para atribuir custos de computação sem servidor (DCU) para cargas de trabalho de qualidade de dados, criação de perfis de dados e linhagem de dados.
  • Manter a governança de dados: acompanhe as métricas relacionadas à descoberta de metadados e ao enriquecimento do catálogo para garantir que os recursos de dados sejam verificados e marcados de acordo com suas políticas de governança.

Como funciona

O Knowledge Catalog é integrado ao Cloud Monitoring, que coleta métricas, eventos e metadados dos serviços do Knowledge Catalog. Essas métricas fornecem insights sobre áreas como status de execução de jobs, uso de APIs e integridade de recursos. É possível analisar essas métricas usando ferramentas no Cloud Monitoring, como o Metrics Explorer, painéis personalizados e alertas. Com essas ferramentas, é possível visualizar o comportamento do serviço, identificar tendências de desempenho e criar políticas de alerta que notificam você quando o desempenho se desvia dos limites definidos ou quando ocorrem falhas.

Acessar métricas de serviço no Monitoring

As métricas de recursos do serviço do Knowledge Catalog são ativadas automaticamente nos serviços do Knowledge Catalog. Para visualizar essas métricas, use o Monitoring.

É possível acessar o Monitoring no console doGoogle Cloud ou usando a API Monitoring.

Se você não conseguir ver os gráficos de monitoramento ou criar alertas, talvez precise de mais permissões de monitoramento.

Console

  1. No console do Google Cloud , acesse a página do Metrics Explorer.

    Acesse o Metrics explorer

  2. No menu Selecionar uma métrica, selecione um recurso Cloud Dataplex.

  3. Selecione uma categoria de métrica e, em seguida, uma métrica na lista.

    Para exibir informações sobre uma métrica, mantenha o ponteiro sobre o nome dela.

  4. Clique em Aplicar.

  5. Opcional: selecione filtros, agrupe por rótulos de métricas, realize agregações e selecione opções de exibição de gráficos.

REST

Para capturar e listar métricas definidas por uma expressão filter, use o método timeSeries.list do Monitoring.

Para enviar uma solicitação de API e exibir a resposta, use o modelo Testar esta API na página da API.

Métricas do serviço Knowledge Catalog no Monitoring

As métricas de serviço do Knowledge Catalog ajudam a monitorar a integridade do serviço.

As strings "tipo de métrica" nesta tabela precisam ser prefixadas com dataplex.googleapis.com/. Esse prefixo foi omitido das entradas na tabela. Ao consultar um rótulo, use o prefixo metric.labels.. por exemplo, metric.labels.LABEL="VALUE".

Tipo de métrica Etapa do lançamento (níveis da hierarquia de recursos)
Nome de exibição
Classe, Tipo, Unidade
Recursos monitorados		 Descrição
Rótulos
asset/active BETA  (projeto)
Ativo
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Se o recurso está ativo.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
asset/data_items BETA  (projeto)
Itens de dados
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		A contagem de itens no recurso referenciado.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
asset/data_size BETA  (projeto)
Tamanho dos dados
GAUGE, INT64, By
dataplex.googleapis.com/Asset 		O número de bytes armazenados no recurso referenciado.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
asset/entities_pending_bigquery_iampolicy_updates BETA  (projeto)
Entidades com atualizações pendentes da política do IAM do BigQuery
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Número de entidades associadas ao recurso com atualizações pendentes da política do IAM do BigQuery.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
asset/entities_pending_bigquery_metadata_updates BETA  (projeto)
Entidades com atualizações de metadados do BigQuery pendentes
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Número de entidades associadas ao recurso com atualizações de metadados do BigQuery pendentes.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
asset/filesets BETA  (projeto)
Conjuntos de arquivos
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		A contagem de entidades do conjunto de arquivos no recurso referenciado.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
asset/requires_action BETA  (projeto)
Requer ação
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Se o recurso tem ações administrativas não resolvidas.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
asset/tables BETA  (projeto)
Tabelas
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		A contagem de entidades de tabela no recurso referenciado.
resource_type: O tipo do recurso referenciado.
zone_type: O tipo da zona pai.
lake/requires_action BETA  (projeto)
Ação necessária
GAUGE, INT64, 1
dataplex.googleapis.com/Lake 		Se o lake tem ações de administrador não resolvidas.
zone/requires_action BETA  (projeto)
Ação necessária
GAUGE, INT64, 1
dataplex.googleapis.com/Zone 		Se a zona tem ações de administrador não resolvidas.
type: O tipo da zona.

Tabela gerada em 14/10/2026 às 20:24:33 UTC.

Monitorar e atribuir custos de DCU do Knowledge Catalog com a exportação do Cloud Billing

Como as verificações de dados do Knowledge Catalog (incluindo qualidade de dados automática e criação de perfil de dados) e a linhagem de dados não publicam métricas de série temporal no Cloud Monitoring, use a exportação do Cloud Billing para o BigQuery para rastrear, monitorar e atribuir o uso e os custos da unidade de computação de dados (DCU) em projetos, verificações e recursos de dados.

Rótulos de faturamento do Knowledge Catalog

O Knowledge Catalog anexa automaticamente rótulos do sistema aos registros de faturamento emitidos para verificações e linhagem de dados. É possível consultar esses rótulos na matriz labels na tabela de exportação do Cloud Billing:

Chave de rótulo Carga de trabalho Descrição
goog-dataplex-datascan-id Qualidade de dados, criação de perfil de dados O ID ou nome da verificação de dados.
goog-dataplex-datascan-job-id Qualidade de dados, criação de perfil de dados O ID de execução específico do job de verificação de dados.
goog-dataplex-datascan-data-source-project Qualidade de dados, criação de perfis de dados O projeto do Google Cloud que contém a fonte de dados verificada.
goog-dataplex-datascan-data-source-region Qualidade de dados, criação de perfil de dados A região do Google Cloud da fonte de dados verificada.
goog-dataplex-datascan-data-source-bigquery-dataset Qualidade de dados, criação de perfil de dados O ID do conjunto de dados do BigQuery da tabela verificada.
goog-dataplex-datascan-data-source-bigquery-table Qualidade de dados, criação de perfil de dados O ID da tabela do BigQuery verificada.
goog-dataplex-datascan-data-source-dataplex-lake Qualidade de dados, criação de perfil de dados O ID do lake do Knowledge Catalog (se aplicável).
goog-dataplex-datascan-data-source-dataplex-zone Qualidade de dados, criação de perfil de dados O ID da zona de dados do Knowledge Catalog (se aplicável).
goog-dataplex-datascan-data-source-dataplex-entity Qualidade de dados, criação de perfil de dados O ID da entidade do Knowledge Catalog (se aplicável).
goog-dataplex-datascan-data-source-biglake-catalog Qualidade de dados, criação de perfil de dados O ID do catálogo do BigLake (se aplicável).
goog-dataplex-datascan-data-source-biglake-namespace Qualidade de dados, criação de perfil de dados O namespace do BigLake (se aplicável).
goog-dataplex-datascan-data-source-biglake-table Qualidade de dados, criação de perfil de dados O ID da tabela do BigLake (se aplicável).
goog-dataplex-workload-type Linhagem de dados Identifica a carga de trabalho. Defina como LINEAGE para cobranças de processamento de linhagem de dados.

Exemplo de consultas

Antes de executar essas consultas, verifique se você ativou a exportação do Cloud Billing para o BigQuery. Nas consultas de exemplo, substitua os seguintes marcadores:

  • PROJECT_ID: o ID do projeto do Google Cloud que hospeda o conjunto de dados de exportação de faturamento do BigQuery.
  • DATASET_NAME: o nome do conjunto de dados do BigQuery que contém a tabela de exportação de faturamento.
  • BILLING_ACCOUNT_ID: o ID da conta do Cloud Billing (formatado com sublinhados, por exemplo, 012345_567890_ABCDEF).

Consulta 1: atribuir custos e uso de DCU por DataScan e tabela de destino

Esta consulta agrega os custos de processamento do Knowledge Catalog e do processamento Premium por ID do DataScan e tabela de destino do BigQuery nos últimos 30 dias:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 2: atribuir custos do Knowledge Catalog por tipo de carga de trabalho (Lineage versus DataScan)

Esta consulta detalha os custos da SKU do Knowledge Catalog por categoria de carga de trabalho (como linhagem de dados versus DataScan) em todos os projetos:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 3: uso diário de DCU e tendência de custo por execução de job do DataScan

Esta consulta rastreia o consumo diário de DCU e os custos de execuções individuais de jobs do DataScan nos últimos sete dias:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Criar um painel personalizado do Monitoring

É possível criar um painel personalizado do Monitoring que exibe gráficos de métricas selecionadas do serviço do Knowledge Catalog. Para mais informações sobre como criar um painel, consulte Criar e gerenciar painéis personalizados. Ao selecionar uma métrica para um widget no painel, selecione um recurso do Cloud Dataplex e escolha uma métrica do Knowledge Catalog.

Usar alertas do Monitoring

É possível criar um alerta do Monitoring que notifica você quando uma métrica de serviço ou job do Knowledge Catalog ultrapassa um limite especificado.

Criar um alerta

Para criar um alerta, siga as instruções em Criar políticas de alertas de limite de métrica. Ao selecionar uma série temporal para monitoramento, escolha um recurso Cloud Dataplex e uma métrica do Knowledge Catalog.

Ver alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente e um evento correspondente.

Para ver um incidente, siga esta etapa:

Se você definiu um mecanismo de notificação na política de alertas, como uma notificação por e-mail ou notificação por SMS, o Monitoring também envia uma notificação do incidente.

Para mais informações sobre alertas, consulte Incidentes para alertas com base em métricas.

A seguir