Supervisa los registros de Knowledge Catalog

En este documento, se explica cómo acceder, consultar y, también, interpretar los registros de Knowledge Catalog (antes Dataplex Universal Catalog) con Cloud Logging. Acceder a los registros de trabajos y servicios de Knowledge Catalog te permite solucionar problemas y supervisar las actividades de administración de datos, incluidos el descubrimiento de datos potenciado por IA y el análisis de calidad de los datos.

Si centralizas los registros en Logging, puedes analizar el rendimiento de los trabajos, configurar alertas para fallas o anomalías, y enrutar los registros a otros servicios de Google Cloud, como BigQuery, para la retención y el análisis a largo plazo.

Para comprender los costos, consulta los precios de Google Cloud Observability.

Para obtener más información sobre la retención de registros, consulta Períodos de retención de registros.

Para inhabilitar todos los registros o excluirlos de Logging, consulta Filtros de exclusión.

Para enrutar registros de Logging a Cloud Storage, BigQuery o Pub/Sub, consulta Descripción general del enrutamiento y el almacenamiento.

Casos de uso

El registro de Knowledge Catalog admite casos de uso en diferentes sectores:

  • Soluciona problemas de fallas en la canalización de datos: Cuando falla una tarea de Knowledge Catalog para el procesamiento de datos, los registros de process proporcionan mensajes de error detallados que ayudan a los ingenieros de datos a identificar y resolver problemas en sus trabajos de Spark o tareas personalizadas.
  • Supervisa la calidad de los datos: Una empresa de servicios financieros puede supervisar los registros de data_quality_scan_rule_result para hacer un seguimiento de las tendencias de calidad de los datos a lo largo del tiempo, obtener alertas sobre las disminuciones de calidad de los recursos de datos críticos y proporcionar a los auditores evidencia de las verificaciones de calidad de los datos para el cumplimiento de reglamentaciones.
  • Realiza un seguimiento del enriquecimiento de metadatos: Una empresa de venta minorista que usa trabajos de importación de metadatos para enriquecer su catálogo puede usar los registros de metadata_job para verificar que las importaciones se completen correctamente y que todos los elementos de metadatos se procesen de forma adecuada.
  • Audita el descubrimiento de datos: Las organizaciones pueden usar los registros de discovery para supervisar cómo y cuándo se descubren y registran nuevas fuentes de datos en Knowledge Catalog, lo que proporciona un registro de auditoría para los procesos de integración de datos.

Cómo funciona el registro de Knowledge Catalog

Knowledge Catalog envía registros de las operaciones de servicio y las ejecuciones de trabajos a Cloud Logging. Cada entrada de registro contiene detalles sobre la operación o el trabajo, como su estado, hora de inicio y finalización, recursos asociados (como un análisis de datos o una tarea) y resultado. Los diferentes tipos de operaciones, como el análisis de datos, el descubrimiento, la importación de metadatos y el procesamiento de datos, generan diferentes tipos de registros, que puedes consultar con logName o el lenguaje de consulta de Logging en Logging.

Puedes acceder a estos registros y analizarlos con el Explorador de registros en la consola deGoogle Cloud o enrutarlos a otros destinos, como buckets de Cloud Storage o tablas de BigQuery, para realizar más análisis.

Tipos de registros de Knowledge Catalog

Knowledge Catalog publica los siguientes registros de servicio en Cloud Logging.

Tipo de registro Nombre del registro logName consulta Descripción del registro
Registros de eventos de análisis de datos dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registros de eventos a nivel de trabajo para trabajos de análisis de datos (análisis de calidad de los datos, perfiles de datos y estadísticas de datos) que indican el estado, los resultados y las estadísticas del trabajo
Registros de resultados de reglas de análisis de calidad de los datos dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados detallados de la evaluación a nivel de regla para cada regla evaluada en un trabajo de análisis de calidad de los datos
Registros de descubrimiento dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progreso del descubrimiento y actualizaciones de los recursos de una zona
Registros de trabajos de metadatos dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registros sobre los trabajos de importación de metadatos y los elementos de importación en el archivo de importación de metadatos
Registros de procesos dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Ejecuciones de trabajos que resultan de tareas de procesamiento de datos

Accede a los registros del servicio de Knowledge Catalog

Para acceder a Logging, usa el Explorador de registros en la consola deGoogle Cloud , los comandos de gcloud logging o la API de Logging. Puedes usar el lenguaje de consulta de Logging para crear consultas detalladas.

Permisos de IAM obligatorios

Para ver y consultar registros, debes tener el rol de visualizador de registros (roles/logging.viewer) o permisos equivalentes en el proyecto.

Visualiza los registros en la consola de Google Cloud

  1. En la consola de Google Cloud , ve a la página Observabilidad > Logging > Explorador de registros.

    Ir al Explorador de registros

  2. Configura los filtros Recurso y Nombre del registro según la siguiente tabla:

    Tipo de registro Selección de recursos Selección del nombre del registro
    Eventos de análisis de datos Recurso auditado > Servicio: Cloud Dataplex dataplex.googleapis.com/data_scan
    Resultados de las reglas de análisis de calidad de los datos Recurso auditado > Servicio: Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    Registros de descubrimiento Zona de Cloud Dataplex dataplex.googleapis.com/discovery
    Registros de trabajos de metadatos Trabajo de metadatos de Cloud Dataplex dataplex.googleapis.com/metadata_job
    Registros de procesos Tarea de Cloud Dataplex dataplex.googleapis.com/process

  3. (Opcional) Selecciona subfiltros específicos (como un ID de tarea específico) para acotar la consulta.

  4. Haz clic en Aplicar y, luego, en Ejecutar consulta.

Ejemplos de filtrado de registros

Puedes usar el lenguaje de consulta de Logging en el editor de consultas del Explorador de registros o con Google Cloud CLI. En los siguientes ejemplos, se muestra cómo leer registros con gcloud CLI.

Ejemplo: Lee eventos de análisis de datos

Para leer las entradas del registro de eventos de los análisis de calidad de los datos o de los análisis del perfil de datos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

Ejemplo: Lee entradas de registro de procesos

Para leer las entradas de registro de procesos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

Cargas útiles de registro de muestra

En los siguientes ejemplos, se muestran las estructuras de carga útil de JSON para diferentes tipos de registros de Knowledge Catalog. Puedes usar estos ejemplos para comprender la estructura de los registros y compilar filtros de registros.

Registros de eventos de análisis de datos

En Knowledge Catalog, los análisis de datos abarcan los análisis de calidad de los datos, los análisis de perfiles de datos y los análisis de estadísticas de datos. Cuando ejecutas un trabajo de análisis de datos, Knowledge Catalog escribe un registro de eventos data_scan en Logging que resume la ejecución general del trabajo. En el caso de los análisis de estadísticas de datos que se realizaron correctamente (jsonPayload.type="DATA_DOCUMENTATION"), el registro de eventos también incluye un bloque billableTokenUsage. Para obtener información sobre cómo consultar y graficar el consumo de tokens de estadísticas de datos, consulta Supervisa el uso de tokens de estadísticas de datos.

En el siguiente ejemplo, se muestra una carga útil de registro de eventos para un análisis de calidad de los datos:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de resultados de reglas de análisis de calidad de los datos

Cuando se ejecuta un análisis de calidad de los datos, Knowledge Catalog genera un registro de eventos de análisis de datos y un registro de resultados de reglas de análisis de calidad de los datos independiente para cada regla individual evaluada en el trabajo.

Cada entrada de registro data_quality_scan_rule_result contiene información sobre la regla específica, incluida la configuración de la regla, la dimensión de evaluación, el estado y los recuentos de filas.

En el siguiente ejemplo, se muestra una carga útil de registro de resultados de la regla de análisis de calidad de los datos:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de descubrimiento

En el siguiente ejemplo, se muestra una carga útil de registro de descubrimiento:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de trabajos de metadatos

En el siguiente ejemplo, se muestra una carga útil de registro de trabajo de metadatos:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Registros de procesos

En el siguiente ejemplo, se muestra una carga útil de registro de proceso:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Establece alertas basadas en registros

Puedes configurar alertas basadas en registros para recibir notificaciones cada vez que ocurran eventos específicos de Knowledge Catalog (como un análisis de calidad de los datos con errores).

Para crear alertas basadas en registros, debes tener los roles de Escritor de configuración de registros (roles/logging.configWriter) y Editor de políticas de alertas de Monitoring (roles/monitoring.alertPolicyEditor), o permisos equivalentes.

  1. Ejecuta una consulta en el Explorador de registros que se oriente a la condición de falla (por ejemplo: resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. Arriba del panel de resultados de la consulta, haz clic en Crear alerta.
  3. En el panel Crear alerta basada en registros, ingresa un nombre y una descripción para la política de alertas.
  4. Haz clic en Siguiente y configura tus canales de notificaciones.
  5. Haz clic en Guardar.

Para obtener información más detallada, consulta Crea alertas basadas en registros.

¿Qué sigue?