Supervisa los registros de Knowledge Catalog

En este documento, se explica cómo acceder a los registros de Knowledge Catalog (anteriormente Dataplex Universal Catalog), consultarlos e interpretarlos con Cloud Logging. Acceder a los registros de trabajos y servicios de Knowledge Catalog te ayuda a solucionar problemas y supervisar las actividades de administración de datos, incluidos el descubrimiento de datos con tecnología de IA y el análisis de calidad de los datos. Si centralizas los registros en Logging, puedes analizar el rendimiento de los trabajos, configurar alertas para fallas o anomalías y enrutar los registros a otros Google Cloud servicios, como BigQuery, para su retención y análisis a largo plazo.

Para comprender los costos, consulta los precios de Google Cloud Observability.

Para obtener más información sobre la retención de registros, consulta Períodos de retención de registros.

Para inhabilitar todos los registros o excluirlos de Logging, consulta Filtros de exclusión.

Para enrutar los registros de Logging a Cloud Storage, BigQuery o Pub/Sub, consulta Descripción general de enrutamiento y almacenamiento.

Casos de uso

El registro de Knowledge Catalog admite casos de uso en diferentes sectores:

  • Soluciona problemas de fallas en la canalización de datos: Cuando falla una tarea de Knowledge Catalog para el procesamiento de datos, los registros process proporcionan mensajes de error detallados que ayudan a los ingenieros de datos a identificar y resolver problemas en sus trabajos de Spark o tareas personalizadas.
  • Supervisa la calidad de los datos: Una empresa de servicios financieros puede supervisar los registros data_quality_scan_rule_result para hacer un seguimiento de las tendencias de calidad de los datos a lo largo del tiempo, recibir alertas sobre las degradaciones de calidad de los recursos de datos críticos y proporcionar a los auditores pruebas de las verificaciones de calidad de los datos para el cumplimiento normativo.
  • Haz un seguimiento del enriquecimiento de metadatos: Una empresa de venta minorista que usa trabajos de importación de metadatos para enriquecer su catálogo puede usar registros metadata_job para verificar que las importaciones se completen correctamente y que todos los elementos de metadatos se procesen de forma correcta.
  • Audita el descubrimiento de datos: Las organizaciones pueden usar registros discovery para supervisar cómo y cuándo se descubren y registran nuevas fuentes de datos en Knowledge Catalog, lo que proporciona un registro de auditoría para los procesos de incorporación de datos.

Cómo funciona el registro de Knowledge Catalog

Knowledge Catalog envía registros de operaciones de servicio y ejecuciones de trabajos a Cloud Logging. Cada entrada de registro contiene detalles sobre la operación o el trabajo, como su estado, hora de inicio y finalización, recursos asociados (como un análisis o una tarea de datos) y resultado. Los diferentes tipos de operaciones, como el análisis de datos, el descubrimiento, la importación de metadatos y el procesamiento de datos, generan diferentes tipos de registros, que puedes consultar con logName en Logging.

Puedes acceder a estos registros y analizarlos con el Explorador de registros en la Google Cloud consola o enrutarlos a otros destinos, como buckets de Cloud Storage o tablas de BigQuery, para realizar un análisis más detallado.

Accede a los registros de servicios de Knowledge Catalog en Logging

Knowledge Catalog publica los siguientes registros de servicios en Cloud Logging.

Tipo de registro Nombre del registro Consulta logName Descripción del registro
Registros de eventos de análisis de datos dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registros de eventos para trabajos de análisis de datos que indican el estado, los resultados y las estadísticas del trabajo
Registros de resultados de reglas de análisis de calidad de los datos dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados de las reglas de análisis de calidad de los datos en un trabajo de calidad de los datos
Registros de descubrimiento dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progreso y actualizaciones del descubrimiento sobre los recursos en una zona
Registros de trabajos de metadatos dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registros sobre trabajos de importación de metadatos y elementos de importación en el archivo de importación de metadatos
Registros de procesos dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Ejecuciones de trabajos que resultan de tareas de procesamiento de datos

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID de tu proyecto.

Para acceder a Logging, puedes usar el Explorador de registros en la Google Cloud consola, los gcloud logging comandos o la API de Logging.

Consulta los registros de eventos de análisis de datos

Cuando usas Knowledge Catalog para crear y ejecutar un análisis de datos, se genera un registro de eventos de análisis de datos en Logging para el trabajo resultante.

Console

  1. En la Google Cloud consola de, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registros, ingresa dataplex.googleapis.com%2Fdata_scan. Selecciona data_scan y haz clic en Aplicar.

  7. Opcional: Filtra los registros a un ID o ubicación de análisis de datos específico agregando los siguientes filtros en la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro de eventos de análisis de datos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de resultados de reglas de análisis de calidad de los datos

Cuando usas Knowledge Catalog para crear y ejecutar un análisis de calidad de los datos, se genera un registro de resultados de reglas de análisis de calidad de los datos en Logging para el trabajo resultante.

Console

  1. En la Google Cloud consola de, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registros, ingresa dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Selecciona data_quality_scan_rule_result y haz clic en Aplicar.

  7. Opcional: Filtra los registros a un ID o ubicación de análisis de datos específico agregando los siguientes filtros en la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro de resultados de reglas de análisis de calidad de los datos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de descubrimiento

Cuando usas Knowledge Catalog para descubrir datos en los recursos, se genera un registro de descubrimiento en Logging.

Console

  1. En la Google Cloud consola de, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Zona de Cloud Dataplex. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registros, ingresa dataplex.googleapis.com%2Fdiscovery. Selecciona discovery y haz clic en Aplicar.

  7. Opcional: Filtra los registros a un recurso específico agregando los siguientes filtros en la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro de descubrimiento, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de trabajos de metadatos

Cuando ejecutas un trabajo de importación de metadatos, se generan registros de trabajos de metadatos en Logging.

Console

  1. En la Google Cloud consola de, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Trabajos de metadatos de Cloud Dataplex.

  5. Opcional: Para filtrar los registros a una ubicación o un ID de trabajo de metadatos específicos, selecciona una ubicación o un ID de trabajo.

  6. Haz clic en Aplicar.

  7. Haz clic en el menú Nombre del registro.

  8. Escribe dataplex.googleapis.com%2Fmetadata_job y, luego, selecciona metadata_job.

  9. Haz clic en Aplicar.

gcloud

Para leer las entradas de registro de trabajos de metadatos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de procesos

Cuando usas Knowledge Catalog para programar y ejecutar tareas, se genera un registro de procesos en Logging para el trabajo resultante.

Console

  1. En la Google Cloud consola de, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Tarea de Cloud Dataplex. Haz clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registros, ingresa dataplex.googleapis.com%2Fprocess. Selecciona process y haz clic en Aplicar.

  7. Opcional: Filtra los registros a una tarea específica agregando los siguientes filtros en la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro de procesos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

¿Qué sigue?