Supervisa los registros de Knowledge Catalog

En este documento, se explica cómo acceder a los registros de Knowledge Catalog (anteriormente Dataplex Universal Catalog), consultarlos e interpretarlos con Cloud Logging. El acceso a los registros de trabajos y servicios de Knowledge Catalog te permite solucionar problemas y supervisar las actividades de administración de datos, incluidos el descubrimiento de datos con tecnología de IA y el análisis de calidad de los datos.

Si centralizas los registros en Logging, puedes analizar el rendimiento de los trabajos, configurar alertas para fallas o anomalías y enrutar los registros a otros Google Cloud servicios, como BigQuery, para su retención y análisis a largo plazo.

Para comprender los costos, consulta los precios de Google Cloud Observability.

Para obtener más información sobre la retención de registros, consulta Períodos de retención de registros.

Para inhabilitar todos los registros o excluirlos de Logging, consulta Filtros de exclusión.

Para enrutar los registros de Logging a Cloud Storage, BigQuery o Pub/Sub, consulta Descripción general de enrutamiento y almacenamiento.

Casos de uso

El registro de Knowledge Catalog admite casos de uso en diferentes sectores:

  • Soluciona problemas de fallas en la canalización de datos: Cuando falla una tarea de Knowledge Catalog para el procesamiento de datos, los registros process proporcionan mensajes de error detallados que ayudan a los ingenieros de datos a identificar y resolver problemas en sus trabajos de Spark o tareas personalizadas.
  • Supervisa la calidad de los datos: Una empresa de servicios financieros puede supervisar los registros data_quality_scan_rule_result para hacer un seguimiento de las tendencias de calidad de los datos a lo largo del tiempo, recibir alertas sobre las degradaciones de calidad de los recursos de datos críticos y proporcionar a los auditores evidencia de las verificaciones de calidad de los datos para el cumplimiento normativo.
  • Haz un seguimiento del enriquecimiento de metadatos: Una empresa de venta minorista que usa trabajos de importación de metadatos para enriquecer su catálogo puede usar registros metadata_job para verificar que las importaciones se completen correctamente y que todos los elementos de metadatos se procesen de forma correcta.
  • Audita el descubrimiento de datos: Las organizaciones pueden usar registros discovery para supervisar cómo y cuándo se descubren y registran nuevas fuentes de datos en Knowledge Catalog, lo que proporciona un registro de auditoría para los procesos de incorporación de datos.

Cómo funciona el registro de Knowledge Catalog

Knowledge Catalog envía registros de operaciones de servicio y ejecuciones de trabajos a Cloud Logging. Cada entrada de registro contiene detalles sobre la operación o el trabajo, como su estado, hora de inicio y finalización, recursos asociados (como un análisis o una tarea de datos) y resultado. Los diferentes tipos de operaciones, como el análisis de datos, el descubrimiento, la importación de metadatos y el procesamiento de datos, generan diferentes tipos de registros, que puedes consultar con logName o el lenguaje de consulta de Logging en Logging.

Puedes acceder a estos registros y analizarlos con el Explorador de registros en la Google Cloud consola o enrutarlos a otros destinos, como buckets de Cloud Storage o tablas de BigQuery, para realizar un análisis más detallado.

Tipos de registros de Knowledge Catalog

Knowledge Catalog publica los siguientes registros de servicio en Cloud Logging.

Tipo de registro Nombre del registro Consulta logName Descripción del registro
Registros de eventos de análisis de datos dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registros de eventos a nivel de trabajo para trabajos de análisis de datos (tanto de calidad de los datos como de perfiles de datos) que indican el estado, los resultados y las estadísticas del trabajo
Registros de resultados de reglas de análisis de calidad de los datos dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados detallados de la evaluación a nivel de regla para cada regla evaluada en un trabajo de análisis de calidad de los datos
Registros de descubrimiento dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progreso y actualizaciones de descubrimiento sobre los recursos en una zona
Registros de trabajos de metadatos dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registros sobre trabajos de importación de metadatos y elementos de importación en el archivo de importación de metadatos
Registros de procesos dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Ejecuciones de trabajos que resultan de tareas de procesamiento de datos

Accede a los registros de servicio de Knowledge Catalog

Para acceder a Logging, usa el Explorador de registros en la Google Cloud consola, los gcloud logging comandos, o la API de Logging. Puedes usar el lenguaje de consulta de Logging para crear consultas detalladas.

Permisos de IAM obligatorios

Para ver y consultar registros, debes tener el rol Visor de registros (roles/logging.viewer) o permisos equivalentes en el proyecto.

Consulta los registros en la Google Cloud consola

  1. En la Google Cloud consola, ve a la página Observability > Logging > Explorador de registros.

    Ir al Explorador de registros

  2. Configura los filtros Recurso y Nombre del registro según la siguiente tabla:

    Tipo de registro Selección de recursos Selección del nombre del registro
    Eventos de análisis de datos Recurso auditado > Servicio: Cloud Dataplex dataplex.googleapis.com/data_scan
    Resultados de reglas de análisis de calidad de los datos Recurso auditado > Servicio: Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    Registros de descubrimiento Zona de Cloud Dataplex dataplex.googleapis.com/discovery
    Registros de trabajos de metadatos Trabajo de metadatos de Cloud Dataplex dataplex.googleapis.com/metadata_job
    Registros de procesos Tarea de Cloud Dataplex dataplex.googleapis.com/process

  3. (Opcional) Selecciona subfiltros específicos (como un ID de tarea específico) para acotar tu consulta.

  4. Haz clic en Aplicar y, luego, en Ejecutar consulta.

Ejemplos de filtrado de registros

Puedes usar el lenguaje de consulta de Logging en el editor de consultas del Explorador de registros o con Google Cloud CLI. En los siguientes ejemplos, se muestra cómo leer registros con gcloud CLI.

Ejemplo: Lee eventos de análisis de datos

Para leer entradas de registro de eventos para análisis de calidad de los datos o de perfiles de datos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

Ejemplo: Lee entradas de registro de procesos

Para leer entradas de registro de procesos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

Cargas útiles de registro de muestra

En los siguientes ejemplos, se muestran las estructuras de carga útil de JSON para diferentes tipos de registros de Knowledge Catalog. Puedes usar estos ejemplos para comprender la estructura de los registros y crear filtros de registros.

Registros de eventos de análisis de datos

En Knowledge Catalog, los análisis de datos abarcan tanto los análisis de calidad de los datos como los análisis de perfiles de datos. Cuando ejecutas un trabajo de análisis de datos de cualquier tipo, Knowledge Catalog produce un registro de eventos data_scan en Logging que resume la ejecución general del trabajo.

En el siguiente ejemplo, se muestra la carga útil del registro de eventos para un análisis de calidad de los datos:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de resultados de reglas de análisis de calidad de los datos

Cuando se ejecuta un análisis de calidad de los datos, Knowledge Catalog genera un registro de eventos de análisis de datos y un registro de resultados de reglas de análisis de calidad de los datos independiente para cada regla individual evaluada en el trabajo.

Cada entrada de registro data_quality_scan_rule_result contiene información sobre la regla específica, incluida la configuración de la regla, la dimensión de evaluación, el estado y los recuentos de filas.

En el siguiente ejemplo, se muestra una carga útil de registro de resultados de reglas de análisis de calidad de los datos:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de descubrimiento

En el siguiente ejemplo, se muestra una carga útil de registro de descubrimiento:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de trabajos de metadatos

En el siguiente ejemplo, se muestra una carga útil de registro de trabajos de metadatos:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de procesos

En el siguiente ejemplo, se muestra una carga útil de registro de procesos:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Establece alertas basadas en registros

Puedes configurar alertas basadas en registros para recibir notificaciones cada vez que se produzcan eventos específicos de Knowledge Catalog (como un análisis de calidad de los datos fallido).

Para crear alertas basadas en registros, debes tener los roles Escritor de configuración de registros (roles/logging.configWriter) y Editor de política de alertas de Monitoring (roles/monitoring.alertPolicyEditor) o permisos equivalentes.

  1. Ejecuta una consulta en el Explorador de registros que apunte a la condición de falla (por ejemplo: resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. Arriba del panel de resultados de la consulta, haz clic en Crear alerta.
  3. En el panel Crear alerta basada en registros, ingresa un nombre y una descripción para la política de alertas.
  4. Haz clic en Siguiente y configura tus canales de notificaciones.
  5. Haz clic en Guardar.

Para obtener información más detallada, consulta Crea alertas basadas en registros.

¿Qué sigue?