Supervisa los registros de Knowledge Catalog

En este documento, se explica cómo acceder a los registros de Knowledge Catalog (anteriormente Dataplex Universal Catalog), consultarlos e interpretarlos con Cloud Logging. Acceder a los registros de trabajos y servicios de Knowledge Catalog te ayuda a solucionar problemas y supervisar las actividades de administración de datos, incluidos el descubrimiento de datos con tecnología de IA y el análisis de calidad de los datos. Si centralizas los registros en Logging, puedes analizar el rendimiento de los trabajos, configurar alertas para fallas o anomalías y enrutar los registros a otros Google Cloud servicios, como BigQuery, para su retención y análisis a largo plazo.

Para comprender los costos, consulta los precios de Google Cloud Observability.

Para obtener más información sobre la retención de registros, consulta Períodos de retención de registros.

Para inhabilitar todos los registros o excluirlos de Logging, consulta Filtros de exclusión.

Para enrutar los registros de Logging a Cloud Storage, BigQuery o Pub/Sub, consulta Descripción general de enrutamiento y almacenamiento.

Casos de uso

El registro de Knowledge Catalog admite casos de uso en diferentes sectores:

  • Soluciona fallas de canalizaciones de datos: Cuando falla una tarea de Knowledge Catalog para el procesamiento de datos, los registros process proporcionan mensajes de error detallados que ayudan a los ingenieros de datos a identificar y resolver problemas en sus trabajos de Spark o tareas personalizadas.
  • Supervisa la calidad de los datos: Una empresa de servicios financieros puede supervisar los registros data_quality_scan_rule_result para hacer un seguimiento de las tendencias de calidad de los datos a lo largo del tiempo, recibir alertas sobre las degradaciones de calidad de los recursos de datos críticos y proporcionar a los auditores evidencia de las verificaciones de calidad de los datos para el cumplimiento normativo.
  • Haz un seguimiento del enriquecimiento de metadatos: Una empresa de venta minorista que usa trabajos de importación de metadatos para enriquecer su catálogo puede usar registros metadata_job para verificar que las importaciones se completen correctamente y que todos los elementos de metadatos se procesen de forma correcta.
  • Audita el descubrimiento de datos: Las organizaciones pueden usar registros discovery para supervisar cómo y cuándo se descubren y registran nuevas fuentes de datos en Knowledge Catalog, lo que proporciona un registro de auditoría para los procesos de incorporación de datos.

Cómo funciona el registro de Knowledge Catalog

Knowledge Catalog envía registros de operaciones de servicio y ejecuciones de trabajos a Cloud Logging. Cada entrada de registro contiene detalles sobre la operación o el trabajo, como su estado, hora de inicio y finalización, recursos asociados (como un análisis o una tarea de datos) y resultado. Los diferentes tipos de operaciones, como el análisis de datos, el descubrimiento, la importación de metadatos y el procesamiento de datos, generan diferentes tipos de registros, que puedes consultar con logName o el lenguaje de consulta de Logging en Logging.

Puedes acceder a estos registros y analizarlos con el Explorador de registros de la Google Cloud consola o enrutarlos a otros destinos, como buckets de Cloud Storage o tablas de BigQuery, para realizar un análisis más detallado.

Accede a los registros de servicios de Knowledge Catalog en Logging

Knowledge Catalog publica los siguientes registros de servicios en Cloud Logging.

Tipo de registro Nombre del registro Consulta logName Descripción del registro
Registros de eventos de análisis de datos dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registros de eventos para trabajos de análisis de datos que indican el estado, los resultados y las estadísticas del trabajo
Registros de resultados de reglas de análisis de calidad de los datos dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados de las reglas de análisis de calidad de los datos en un trabajo de calidad de los datos
Registros de descubrimiento dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progreso y actualizaciones del descubrimiento sobre los recursos en una zona
Registros de trabajos de metadatos dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registros sobre trabajos de importación de metadatos y elementos de importación en el archivo de importación de metadatos
Registros de procesos dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Ejecuciones de trabajos que resultan de tareas de procesamiento de datos

Para acceder a Logging, puedes usar el Explorador de registros en la Google Cloud consola, los gcloud logging comandos o la API de Logging. Puedes usar el lenguaje de consulta de Logging para crear consultas detalladas.

Consulta los registros de eventos de análisis de datos

Cuando usas Knowledge Catalog para crear y ejecutar un análisis de datos, se produce un registro de eventos de análisis de datos en Logging para el trabajo resultante.

Console

  1. En la Google Cloud consola, ve a la página Observability > Logging > Explorador de registros.

    Ir al Explorador de registros

  2. Haz clic en Todos los recursos.

  3. En la lista Seleccionar recurso, haz clic en Recurso auditado y, luego, selecciona Cloud Dataplex. De manera opcional, para filtrar los registros a un método específico, selecciona el método en Método. Haz clic en Aplicar.

  4. Haz clic en Todos los nombres de registro.

  5. En la lista Seleccionar nombres de registro, ingresa dataplex.googleapis.com%2Fdata_scan. Selecciona data_scan para filtrar los registros a los registros de eventos de análisis de datos y haz clic en Aplicar.

  6. Opcional: Para un filtrado más avanzado, usa el lenguaje de consulta de Logging para agregar filtros en la consulta de registro. Por ejemplo, para filtrar a un ID o ubicación de análisis de datos específicos, agrega los siguientes filtros en el campo de consulta, y haz clic en Ejecutar consulta:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

gcloud

Para leer las entradas de registro de eventos de análisis de datos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de resultados de reglas de análisis de calidad de los datos

Cuando usas Knowledge Catalog para crear y ejecutar un análisis de calidad de los datos, se produce un registro de resultados de reglas de análisis de calidad de los datos en Logging para el trabajo resultante.

Console

  1. En la Google Cloud consola, ve a la página Observability > Logging > Explorador de registros.

    Ir al Explorador de registros

  2. Haz clic en Todos los recursos.

  3. En la lista Seleccionar recurso, haz clic en Recurso auditado y, luego, selecciona Cloud Dataplex. De manera opcional, para filtrar los registros a un método específico, selecciona el método en Método. Haz clic en Aplicar.

  4. Haz clic en Todos los nombres de registro.

  5. En la lista Seleccionar nombres de registro, ingresa dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Selecciona data_quality_scan_rule_result para filtrar los registros a los registros de resultados de reglas de análisis de calidad de los datos y haz clic en Aplicar.

  6. Opcional: Para un filtrado más avanzado, usa el lenguaje de consulta de Logging para agregar filtros en la consulta de registro. Por ejemplo, para filtrar a un ID o ubicación de análisis de datos específicos, agrega los siguientes filtros en el campo de consulta, y haz clic en Ejecutar consulta:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

gcloud

Para leer las entradas de registro de resultados de reglas de análisis de calidad de los datos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de descubrimiento

Cuando usas Knowledge Catalog para descubrir datos en los recursos, se produce un registro de descubrimiento en Logging.

Console

  1. En la Google Cloud consola, ve a la página Observability > Logging > Explorador de registros.

    Ir al Explorador de registros

  2. Haz clic en Todos los recursos.

  3. En la lista Seleccionar recurso, haz clic en Zona de Cloud Dataplex para filtrar los registros a los recursos de zona de Knowledge Catalog. De manera opcional, para filtrar los registros a un recurso específico, selecciona la ubicación, el lago y la zona. Haz clic en Aplicar.

  4. Haz clic en Todos los nombres de registro.

  5. En la lista Seleccionar nombres de registro, ingresa dataplex.googleapis.com%2Fdiscovery. Selecciona discovery para filtrar los registros a los registros de descubrimiento y haz clic en Aplicar.

  6. Opcional: Para un filtrado más avanzado, usa el lenguaje de consulta de Logging para agregar filtros en la consulta de registro. Por ejemplo, para filtrar a un recurso específico , agrega los siguientes filtros en el campo de consulta y haz clic en Ejecutar consulta:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

gcloud

Para leer las entradas de registro de descubrimiento, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de trabajos de metadatos

Cuando ejecutas un trabajo de importación de metadatos, se producen registros de trabajos de metadatos en Logging.

Console

  1. En la Google Cloud consola, ve a la página Observability > Logging > Explorador de registros.

    Ir al Explorador de registros

  2. Haz clic en Todos los recursos.

  3. En la lista Seleccionar recurso, haz clic en Trabajo de metadatos de Cloud Dataplex para filtrar los registros a los recursos de trabajos de metadatos. De manera opcional, para filtrar los registros a una ubicación o un ID de trabajo de metadatos específicos, selecciona la ubicación y el ID de trabajo de metadatos. Haz clic en Aplicar.

  4. Haz clic en Todos los nombres de registro.

  5. En la lista Seleccionar nombres de registro, ingresa dataplex.googleapis.com%2Fmetadata_job. Selecciona metadata_job para filtrar los registros a los registros de trabajos de metadatos y haz clic en Aplicar.

  6. Opcional: Para un filtrado más avanzado, usa el lenguaje de consulta de Logging para agregar filtros en la consulta de registro. Para obtener más información, consulta Visualiza los registros de trabajos y soluciona problemas.

gcloud

Para leer las entradas de registro de trabajos de metadatos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

Consulta los registros de procesos

Cuando usas Knowledge Catalog para programar y ejecutar tareas, se produce un registro de procesos en Logging para el trabajo resultante.

Console

  1. En la Google Cloud consola, ve a la página Observability > Logging > Explorador de registros.

    Ir al Explorador de registros

  2. Haz clic en Todos los recursos.

  3. En la lista Seleccionar recurso, haz clic en Tarea de Cloud Dataplex para filtrar los registros a los recursos de tareas. De manera opcional, para filtrar los registros a una tarea o ubicación específicas, selecciona la ubicación, el lago y la tarea. Haz clic en Aplicar.

  4. Haz clic en Todos los nombres de registro.

  5. En la lista Seleccionar nombres de registro, ingresa dataplex.googleapis.com%2Fprocess. Selecciona process para filtrar los registros a los registros de procesos y haz clic en Aplicar.

  6. Opcional: Para un filtrado más avanzado, usa el lenguaje de consulta de Logging para agregar filtros en la consulta de registro. Por ejemplo, para filtrar a una tarea específica , agrega los siguientes filtros en el campo de consulta y haz clic en Ejecutar consulta:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

gcloud

Para leer las entradas de registro de procesos, usa el gcloud logging read comando con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el entries.list método.

¿Qué sigue?