En este documento, se explica cómo usar Cloud Monitoring para hacer un seguimiento del estado del servicio de Knowledge Catalog (anteriormente, Dataplex Universal Catalog), optimizar el rendimiento y obtener visibilidad de tu plataforma de datos. La supervisión proactiva te ayuda a garantizar la confiabilidad de las aplicaciones de datos y a tomar decisiones fundamentadas sobre la asignación de recursos y la administración de costos.
Para comprender los costos, consulta Precios de Monitoring.
Para obtener más información sobre la retención de datos de métricas, consulta Cuotas y límites de Monitoring.
Casos de uso
Puedes usar las métricas de Knowledge Catalog en Cloud Monitoring para admitir los siguientes casos de uso:
- Garantizar la confiabilidad de la canalización de datos: Supervisa las tasas de éxito y de fallas de las tareas de Knowledge Catalog, como la transferencia de datos o los trabajos de calidad de los datos. Configura alertas para las fallas o las duraciones inusuales para minimizar el tiempo de inactividad de las cargas de trabajo críticas.
- Optimizar el rendimiento: Haz un seguimiento de las duraciones de los trabajos y las métricas de utilización de recursos para identificar y resolver los cuellos de botella en el rendimiento de tus cargas de trabajo de procesamiento de datos, calidad de los datos y descubrimiento de datos.
- Administrar costos: Supervisa el consumo de recursos de Knowledge Catalog (como lakes, zonas y recursos) en Monitoring y usa la exportación de Facturación de Cloud a BigQuery para atribuir los costos de computación sin servidores (DCU) para las cargas de trabajo de calidad de los datos, generación de perfiles de datos y linaje de datos.
- Mantener la administración de datos: Haz un seguimiento de las métricas relacionadas con el descubrimiento de metadatos y el enriquecimiento del catálogo para garantizar que los recursos de datos se analicen y etiqueten según tus políticas de administración.
Cómo funciona
Knowledge Catalog está integrado con Cloud Monitoring, que recopila métricas, eventos y metadatos de los servicios de Knowledge Catalog. Estas métricas proporcionan estadísticas sobre áreas como el estado de ejecución del trabajo, el uso de la API y el estado de los recursos. Puedes analizar estas métricas con herramientas en Cloud Monitoring, como el Explorador de métricas, los paneles personalizados y las alertas. Estas herramientas te permiten visualizar el comportamiento de tu servicio, identificar tendencias de rendimiento y crear políticas de alertas que te notifiquen cuando el rendimiento se desvíe de los límites definidos o cuando se produzcan fallas.
Accede a las métricas de servicio en Monitoring
Las métricas de recursos de servicio de Knowledge Catalog se habilitan automáticamente en los servicios de Knowledge Catalog. Para ver estas métricas, usa Monitoring.
Puedes acceder a Monitoring desde la Google Cloud consola o mediante la API de Monitoring.
Si no puedes ver los gráficos de supervisión o crear alertas, es posible que necesites permisos de Monitoring adicionales.
Console
En la Google Cloud consola de, accede a la página Explorador de métricas :
En el menú Seleccionar una métrica, selecciona un recurso
Cloud Dataplex.Selecciona una categoría de métrica y, luego, selecciona una métrica de la lista.
Para mostrar información sobre una métrica, mantén el puntero sobre el nombre de la métrica.
Haz clic en Aplicar.
Opcional: Selecciona filtros, agrupa por etiquetas de métricas, realiza agregaciones y selecciona opciones de visualización de gráficos.
REST
Para capturar y enumerar las métricas definidas por una expresión filter,
usa el método timeSeries.list
de Monitoring.
Para enviar una solicitud a la API y mostrar la respuesta, en la página de la API, usa la plantilla Probar esta API.
Métricas de servicio de Knowledge Catalog en Monitoring
Las métricas de servicio de Knowledge Catalog facilitan la supervisión del estado del servicio.
Las strings de "tipo de métrica" de esta tabla deben tener el prefijo
con dataplex.googleapis.com/. Este prefijo se omitió en las entradas de la tabla.
Cuando consultes una etiqueta, usa el prefijo metric.labels.. Por
ejemplo, metric.labels.LABEL="VALUE".
| Tipo de métrica Etapa de lanzamiento (niveles de jerarquía de recursos) Nombre visible |
|
|---|---|
| Clase, tipo, unidad Recursos supervisados |
Descripción Etiquetas |
asset/active
BETA
(project)
Activo |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Indica si el recurso está activo.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
asset/data_items
BETA
(project)
Elementos de datos |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Es el recuento de elementos dentro del recurso al que se hace referencia.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
asset/data_size
BETA
(project)
Tamaño de los datos |
|
GAUGE, INT64, By
dataplex.googleapis.com/Asset |
Es la cantidad de bytes almacenados dentro del recurso al que se hace referencia.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
asset/entities_pending_bigquery_iampolicy_updates
BETA
(proyecto)
Entidades con actualizaciones pendientes de la política de IAM de BigQuery |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Cantidad de entidades asociadas con el recurso con actualizaciones pendientes de la política de IAM de BigQuery.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
asset/entities_pending_bigquery_metadata_updates
BETA
(project)
Entidades con actualizaciones pendientes de metadatos de BigQuery |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Cantidad de entidades asociadas con el recurso con actualizaciones pendientes de metadatos de BigQuery.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
asset/filesets
BETA
(proyecto)
Conjuntos de archivos |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Es el recuento de entidades de conjuntos de archivos dentro del recurso al que se hace referencia.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
asset/requires_action
BETA
(project)
Requiere acción |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Indica si el recurso tiene acciones de administrador sin resolver.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
asset/tables
BETA
(project)
Tablas |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Es el recuento de entidades de tablas dentro del recurso al que se hace referencia.
resource_type:
El tipo de recurso al que se hace referencia.
zone_type:
El tipo de zona superior.
|
lake/requires_action
BETA
(project)
Requiere acción |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Lake |
Indica si el lake tiene acciones de administrador sin resolver. |
zone/requires_action
BETA
(project)
Requiere acción |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Zone |
Indica si la zona tiene acciones de administrador sin resolver.
type:
El tipo de zona.
|
Tabla generada el 14 de octubre de 2026 a las 20:24:33 UTC.
Supervisa y atribuye los costos de DCU de Dataplex con la exportación de Facturación de Cloud
Debido a que los análisis de datos de Knowledge Catalog (incluidos la calidad de los datos automáticos y la generación de perfiles de datos) y el linaje de datos no publican métricas de series temporales en Cloud Monitoring, puedes usar la exportación de Facturación de Cloud a BigQuery para hacer un seguimiento, supervisar y atribuir el uso y los costos de las unidades de procesamiento de datos (DCU) en todos los proyectos, análisis y recursos de datos.
Etiquetas de facturación de Dataplex
Knowledge Catalog adjunta automáticamente etiquetas del sistema a los registros de facturación emitidos para los análisis de datos y el linaje de datos. Puedes consultar estas etiquetas en el array labels de tu tabla de exportación de Facturación de Cloud:
| Clave de etiqueta | Carga de trabajo | Descripción |
|---|---|---|
goog-dataplex-datascan-id |
Calidad de los datos, generación de perfiles de datos | El ID o el nombre del análisis de datos. |
goog-dataplex-datascan-job-id |
Calidad de los datos, generación de perfiles de datos | El ID de ejecución específico para el trabajo de análisis de datos. |
goog-dataplex-datascan-data-source-project |
Calidad de los datos, generación de perfiles de datos | El ID del Google Cloud proyecto que contiene la fuente de datos analizada. |
goog-dataplex-datascan-data-source-region |
Calidad de los datos, generación de perfiles de datos | La Google Cloud región de la fuente de datos analizada. |
goog-dataplex-datascan-data-source-bigquery-dataset |
Calidad de los datos, generación de perfiles de datos | El ID del conjunto de datos de BigQuery de la tabla analizada. |
goog-dataplex-datascan-data-source-bigquery-table |
Calidad de los datos, generación de perfiles de datos | El ID de la tabla de BigQuery analizada. |
goog-dataplex-datascan-data-source-dataplex-lake |
Calidad de los datos, generación de perfiles de datos | El ID del lake de Dataplex (si corresponde). |
goog-dataplex-datascan-data-source-dataplex-zone |
Calidad de los datos, generación de perfiles de datos | El ID de la zona de datos de Dataplex (si corresponde). |
goog-dataplex-datascan-data-source-dataplex-entity |
Calidad de los datos, generación de perfiles de datos | El ID de la entidad de Dataplex (si corresponde). |
goog-dataplex-datascan-data-source-biglake-catalog |
Calidad de los datos, generación de perfiles de datos | El ID del catálogo de BigLake (si corresponde). |
goog-dataplex-datascan-data-source-biglake-namespace |
Calidad de los datos, generación de perfiles de datos | El espacio de nombres de BigLake (si corresponde). |
goog-dataplex-datascan-data-source-biglake-table |
Calidad de los datos, generación de perfiles de datos | El ID de la tabla de BigLake (si corresponde). |
goog-dataplex-workload-type |
Linaje de datos | Identifica la carga de trabajo. Se establece en LINEAGE para los cargos de procesamiento de linaje de datos. |
Consultas de ejemplo
Antes de ejecutar estas consultas, asegúrate de haber habilitado la exportación de Facturación de Cloud a BigQuery. En las consultas de ejemplo, reemplaza los siguientes marcadores de posición:
PROJECT_ID: El Google Cloud ID del proyecto que aloja tu conjunto de datos de exportación de facturación de BigQuery.DATASET_NAME: El nombre del conjunto de datos de BigQuery que contiene tu tabla de exportación de facturación.BILLING_ACCOUNT_ID: El ID de tu cuenta de Facturación de Cloud (con formato de guiones bajos, por ejemplo,012345_567890_ABCDEF).
Consulta 1: Atribuye los costos y el uso de DCU por DataScan y tabla de destino
Esta consulta agrega los costos de procesamiento de Dataplex y de procesamiento premium por ID de DataScan y tabla de BigQuery de destino durante los últimos 30 días:
SELECT project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table, sku.description AS sku_description, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, datascan_id, data_source_project, data_source_dataset, data_source_table, sku_description, usage_unit, currency ORDER BY total_cost DESC;
Consulta 2: Atribuye los costos de Dataplex por tipo de carga de trabajo (linaje vs. DataScan)
Esta consulta desglosa los costos de SKU de Dataplex por categoría de carga de trabajo (como linaje de datos en comparación con DataScan) en todos los proyectos:
SELECT project.id AS project_id, sku.description AS sku_description, COALESCE( (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'), IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER') ) AS workload_type, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, sku_description, workload_type, usage_unit, currency ORDER BY total_cost DESC;
Consulta 3: Tendencia diaria de uso y costo de DCU por ejecución de trabajo de DataScan
Esta consulta hace un seguimiento del consumo y los costos diarios de DCU para las ejecuciones de trabajos de DataScan individuales durante los últimos 7 días:
SELECT DATE(usage_start_time) AS usage_date, project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY) GROUP BY usage_date, project_id, datascan_id, job_id, usage_unit, currency ORDER BY usage_date DESC, total_cost DESC;
Compila un panel personalizado de Monitoring
Puedes compilar un panel personalizado de Monitoring que muestre gráficos de las métricas de servicio de Knowledge Catalog seleccionadas. Para obtener más información
sobre cómo crear un panel, consulta
Crea y administra paneles personalizados. Cuando selecciones una métrica para un widget en tu panel, selecciona un recurso Cloud Dataplex y, luego, elige una métrica de Knowledge Catalog.
Usa alertas de Monitoring
Puedes crear una alerta de Monitoring que te notifique cuando una métrica de servicio o de trabajo de Knowledge Catalog supere un límite especificado.
Crea una alerta
Para crear una alerta, sigue las instrucciones que se indican en
Crea políticas de alertas de límite de métrica.
Cuando selecciones una serie temporal para supervisar, selecciona un recurso Cloud Dataplex y, luego, elige una métrica de Knowledge Catalog.
Ver alertas
Cuando una condición de límite de una métrica activa una alerta, Monitoring crea un incidente y un evento correspondiente.
Para ver un incidente, sigue este paso:
En la Google Cloud consola de, ve a la página Alertas.
Si definiste un mecanismo de notificación en la política de alertas, como una notificación por correo electrónico o SMS, Monitoring también envía una notificación del incidente.
Para obtener más información sobre las alertas, consulta Incidentes para alertas basadas en métricas.
¿Qué sigue?
- Obtén más información sobre Cloud Monitoring.
- Obtén información sobre la exportación de Facturación de Cloud a BigQuery.
- Obtén información para usar la calidad de los datos automáticos.
- Obtén información para usar la generación de perfiles de datos.
- Obtén información para usar el linaje de datos.