Supervisa las métricas de Knowledge Catalog

En este documento, se explica cómo usar Cloud Monitoring para hacer un seguimiento del estado de los servicios de Knowledge Catalog (anteriormente, Dataplex Universal Catalog), optimizar el rendimiento y obtener visibilidad de tu plataforma de datos. La supervisión proactiva te ayuda a garantizar la confiabilidad de las aplicaciones de datos y a tomar decisiones fundamentadas sobre la asignación de recursos y la administración de costos.

Para comprender los costos, consulta Precios de Monitoring.

Para obtener más información sobre la retención de datos de métricas, consulta Cuotas y límites de Monitoring.

Casos de uso

Puedes usar las métricas de Knowledge Catalog en Cloud Monitoring para admitir los siguientes casos de uso:

  • Garantiza la confiabilidad de la canalización de datos: Supervisa las tasas de éxito y de error de las tareas de Knowledge Catalog, como los trabajos de transferencia de datos o de calidad de los datos. Configura alertas para fallas o duraciones inusuales para minimizar el tiempo de inactividad de las cargas de trabajo críticas.
  • Optimiza el rendimiento: Realiza un seguimiento de la duración de los trabajos y las métricas de uso de recursos para identificar y resolver los cuellos de botella en el rendimiento de tus cargas de trabajo de procesamiento de datos, calidad de los datos y descubrimiento de datos.
  • Administra los costos: Supervisa el consumo de recursos de Knowledge Catalog (como lakes, zonas y recursos) en Monitoring y usa la exportación de Facturación de Cloud a BigQuery para atribuir los costos de computación sin servidores (DCU) para las cargas de trabajo de calidad de los datos, generación de perfiles de datos y linaje de datos.
  • Mantén la administración de datos: Realiza un seguimiento de las métricas relacionadas con el descubrimiento de metadatos y el enriquecimiento del catálogo para asegurarte de que los recursos de datos se analicen y etiqueten de acuerdo con tus políticas de administración.

Cómo funciona

Knowledge Catalog se integra en Cloud Monitoring, que recopila métricas, eventos y metadatos de los servicios de Knowledge Catalog. Estas métricas proporcionan estadísticas sobre áreas como el estado de ejecución de los trabajos, el uso de la API y el estado de los recursos. Puedes analizar estas métricas con herramientas de Cloud Monitoring, como el Explorador de métricas, los paneles personalizados y las alertas. Estas herramientas te permiten visualizar el comportamiento de tu servicio, identificar las tendencias de rendimiento y crear políticas de alertas que te notifiquen cuando el rendimiento se desvíe de los umbrales definidos o cuando se produzcan fallas.

Accede a las métricas de servicio en Monitoring

Las métricas de recursos del servicio de Knowledge Catalog se habilitan automáticamente en los servicios de Knowledge Catalog. Para ver estas métricas, usa Monitoring.

Puedes acceder a Monitoring desde la consola deGoogle Cloud o con la API de Monitoring.

Si no puedes ver los gráficos de supervisión o crear alertas, es posible que necesites permisos de Monitoring adicionales.

Console

  1. En la consola de Google Cloud , accede a la página Explorador de métricas.

    Dirígete al Explorador de métricas

  2. En el menú Seleccionar una métrica, elige un recurso de Cloud Dataplex.

  3. Selecciona una categoría de métrica y, luego, una métrica de la lista.

    Para mostrar información sobre una métrica, mantén el puntero sobre el nombre de la métrica.

  4. Haz clic en Aplicar.

  5. Opcional: Selecciona filtros, agrupa por etiquetas de métricas, realiza agregaciones y selecciona opciones de visualización de gráficos.

REST

Para capturar y enumerar las métricas definidas por una expresión de filter, usa el método timeSeries.list de Monitoring.

Para enviar una solicitud a la API y mostrar la respuesta, usa la plantilla Probar esta API en la página de la API.

Métricas del servicio de Knowledge Catalog en Monitoring

Las métricas del servicio de Knowledge Catalog te ayudan a supervisar el estado de tu servicio.

Las strings de “tipo de métrica” de esta tabla deben tener el prefijo dataplex.googleapis.com/. Este prefijo se omitió en las entradas de la tabla. Cuando consultes una etiqueta, usa el prefijo metric.labels.. Por ejemplo, metric.labels.LABEL="VALUE".

Tipo de métrica Etapa de lanzamiento (niveles de jerarquía de recursos)
Nombre visible
Clase, tipo, unidad
Recursos supervisados		 Descripción
Etiquetas
asset/active BETA  (proyecto)
Activo
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Indica si el recurso está activo.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
asset/data_items BETA  (proyecto)
Elementos de datos
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Es el recuento de elementos dentro del recurso de referencia.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
asset/data_size BETA  (proyecto)
Tamaño de los datos
GAUGE, INT64, By
dataplex.googleapis.com/Asset 		Es la cantidad de bytes almacenados en el recurso al que se hace referencia.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
asset/entities_pending_bigquery_iampolicy_updates BETA  (proyecto)
Entidades con actualizaciones pendientes de la política de IAM de BigQuery
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Es la cantidad de entidades asociadas con el recurso que tienen pendientes actualizaciones de la política de IAM de BigQuery.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
asset/entities_pending_bigquery_metadata_updates BETA  (proyecto)
Entidades con actualizaciones de metadatos de BigQuery pendientes
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Es la cantidad de entidades asociadas con el activo que tienen pendientes las actualizaciones de metadatos de BigQuery.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
asset/filesets BETA  (proyecto)
Conjuntos de archivos
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Es el recuento de entidades de conjuntos de archivos dentro del recurso al que se hace referencia.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
asset/requires_action BETA  (proyecto)
Requiere acción
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Indica si el recurso tiene acciones de administrador sin resolver.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
asset/tables BETA  (proyecto)
Tablas
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Es el recuento de entidades de tabla dentro del recurso al que se hace referencia.
resource_type: Es el tipo de recurso al que se hace referencia.
zone_type: El tipo de la zona superior.
lake/requires_action BETA  (proyecto)
Requiere acción
GAUGE, INT64, 1
dataplex.googleapis.com/Lake 		Indica si el lake tiene acciones de administrador sin resolver.
zone/requires_action BETA  (proyecto)
Requiere acción
GAUGE, INT64, 1
dataplex.googleapis.com/Zone 		Indica si la zona tiene acciones de administrador sin resolver.
type: Es el tipo de zona.

Tabla generada el 22 de octubre de 2026 a las 2:44:18 UTC.

Supervisa y atribuye los costos de DCU de Knowledge Catalog con la exportación de Facturación de Cloud

Debido a que los análisis de datos de Knowledge Catalog (incluidos la calidad de los datos automática y la generación de perfiles de datos) y el linaje de datos no publican métricas de series temporales en Cloud Monitoring, puedes usar la exportación de la Facturación de Cloud a BigQuery para hacer un seguimiento, supervisar y atribuir el uso y los costos de la unidad de procesamiento de datos (DCU) en todos los proyectos, análisis y recursos de datos.

Etiquetas de facturación de Knowledge Catalog

Knowledge Catalog adjunta automáticamente etiquetas del sistema a los registros de facturación emitidos para los análisis de datos y el linaje de datos. Puedes consultar estas etiquetas en el array labels de tu tabla de exportación de Facturación de Cloud:

Clave de etiqueta Carga de trabajo Descripción
goog-dataplex-datascan-id Calidad de los datos, creación de perfiles de datos Es el ID o el nombre de la exploración de datos.
goog-dataplex-datascan-job-id Calidad de los datos, creación de perfiles de datos Es el ID de ejecución específico del trabajo de análisis de datos.
goog-dataplex-datascan-data-source-project Calidad de los datos, creación de perfiles de datos Es el proyecto de Google Cloud que contiene la fuente de datos analizada.
goog-dataplex-datascan-data-source-region Calidad de los datos, creación de perfiles de datos La región de Google Cloud de la fuente de datos analizada.
goog-dataplex-datascan-data-source-bigquery-dataset Calidad de los datos, creación de perfiles de datos Es el ID del conjunto de datos de BigQuery de la tabla analizada.
goog-dataplex-datascan-data-source-bigquery-table Calidad de los datos, creación de perfiles de datos Es el ID de la tabla de BigQuery que se analizó.
goog-dataplex-datascan-data-source-dataplex-lake Calidad de los datos, creación de perfiles de datos Es el ID del lake de Knowledge Catalog (si corresponde).
goog-dataplex-datascan-data-source-dataplex-zone Calidad de los datos, creación de perfiles de datos Es el ID de la zona de datos de Knowledge Catalog (si corresponde).
goog-dataplex-datascan-data-source-dataplex-entity Calidad de los datos, creación de perfiles de datos El ID de entidad de Knowledge Catalog (si corresponde).
goog-dataplex-datascan-data-source-biglake-catalog Calidad de los datos, creación de perfiles de datos Es el ID del catálogo de BigLake (si corresponde).
goog-dataplex-datascan-data-source-biglake-namespace Calidad de los datos, creación de perfiles de datos El espacio de nombres de BigLake (si corresponde).
goog-dataplex-datascan-data-source-biglake-table Calidad de los datos, creación de perfiles de datos El ID de la tabla de BigLake (si corresponde).
goog-dataplex-workload-type Linaje de datos Identifica la carga de trabajo. Establece en LINEAGE para los cargos de procesamiento del linaje de datos.

Consultas de ejemplo

Antes de ejecutar estas consultas, asegúrate de haber habilitado la exportación de la Facturación de Cloud a BigQuery. En las consultas de ejemplo, reemplaza los siguientes marcadores de posición:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud que aloja tu conjunto de datos de exportación de facturación de BigQuery.
  • DATASET_NAME: Es el nombre del conjunto de datos de BigQuery que contiene tu tabla de exportación de facturación.
  • BILLING_ACCOUNT_ID: Es el ID de tu cuenta de Facturación de Cloud (con formato de guiones bajos, por ejemplo, 012345_567890_ABCDEF).

Consulta 1: Atribuye los costos y el uso de DCU por DataScan y tabla de destino

Esta consulta agrega los costos de procesamiento de Knowledge Catalog y de procesamiento Premium por ID de DataScan y tabla de BigQuery de destino durante los últimos 30 días:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 2: Atribuye los costos de Knowledge Catalog por tipo de carga de trabajo (linaje en comparación con DataScan)

Esta consulta desglosa los costos de los SKU de Knowledge Catalog por categoría de carga de trabajo (como Linaje de datos en comparación con DataScan) en todos los proyectos:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 3: Tendencia de uso y costo diario de DCU por ejecución de trabajo de DataScan

Esta consulta hace un seguimiento del consumo diario de DCU y los costos de las ejecuciones individuales de trabajos de DataScan durante los últimos 7 días:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Crea un panel de Monitoring personalizado

Puedes crear un panel de Monitoring personalizado que muestre gráficos de las métricas seleccionadas del servicio de Knowledge Catalog. Para obtener más información sobre cómo crear un panel, consulta Crea y administra paneles personalizados. Cuando selecciones una métrica para un widget en tu panel, selecciona un recurso de Cloud Dataplex y, luego, elige una métrica de Knowledge Catalog.

Usa las alertas de Monitoring

Puedes crear una alerta de Monitoring que te notifique cuando una métrica de servicio o trabajo de Knowledge Catalog supere un umbral especificado.

Crea una alerta

Para crear una alerta, sigue las instrucciones que se indican en Crea políticas de alertas de umbral de métrica. Cuando selecciones una serie temporal para supervisar, selecciona un recurso de Cloud Dataplex y, luego, elige una métrica de Knowledge Catalog.

Ver alertas

Cuando una condición de límite de una métrica activa una alerta, Monitoring crea un incidente y un evento correspondiente.

Para ver un incidente, sigue este paso:

Si definiste un mecanismo de notificación en la política de alertas, como una notificación por correo electrónico o notificación vía SMS, Monitoring también envía una notificación del incidente.

Para obtener más información sobre las alertas, consulta Incidentes para alertas basadas en métricas.

¿Qué sigue?