Supervisa los registros de Dataplex Universal Catalog

En este documento, se explica cómo acceder a los registros de Dataplex Universal Catalog, consultarlos e interpretarlos con Cloud Logging. Acceder a los registros de trabajos y servicios de Dataplex Universal Catalog te ayuda a solucionar problemas y supervisar las actividades de administración de datos, incluidos el descubrimiento de datos potenciado por IA y el análisis de calidad de los datos. Si centralizas los registros en Logging, puedes analizar el rendimiento de los trabajos, configurar alertas para detectar fallas o anomalías, y enrutar los registros a otros servicios de Google Cloud como BigQuery para su retención y análisis a largo plazo.

Para comprender los costos, consulta los precios de Google Cloud Observability.

Para obtener más información sobre la retención de registros, consulta Períodos de retención de registros.

Para inhabilitar todos los registros o excluirlos de Logging, consulta Filtros de exclusión.

Para enrutar registros de Logging a Cloud Storage, BigQuery o Pub/Sub, consulta la Descripción general del enrutamiento y el almacenamiento.

Casos de uso

El registro de Dataplex Universal Catalog admite casos de uso en diferentes industrias:

  • Soluciona problemas de fallas en la canalización de datos: Cuando falla una tarea de Dataplex Universal Catalog para el procesamiento de datos, los registros de process proporcionan mensajes de error detallados que ayudan a los ingenieros de datos a identificar y resolver problemas en sus trabajos de Spark o tareas personalizadas.
  • Supervisar la calidad de los datos: Una empresa de servicios financieros puede supervisar los registros de data_quality_scan_rule_result para hacer un seguimiento de las tendencias de calidad de los datos a lo largo del tiempo, recibir alertas sobre las degradaciones de la calidad de los recursos de datos críticos y proporcionar a los auditores evidencia de las verificaciones de calidad de los datos para el cumplimiento de las reglamentaciones.
  • Seguimiento del enriquecimiento de metadatos: Una empresa minorista que usa trabajos de importación de metadatos para enriquecer su catálogo puede usar los registros de metadata_job para verificar que las importaciones se completen correctamente y que todos los elementos de metadatos se procesen de forma correcta.
  • Auditoría del descubrimiento de datos: Las organizaciones pueden usar los registros de discovery para supervisar cómo y cuándo se descubren y registran nuevas fuentes de datos en Dataplex Universal Catalog, lo que proporciona un registro de auditoría para los procesos de incorporación de datos.

Cómo funciona el registro de Dataplex Universal Catalog

Dataplex Universal Catalog envía registros de las operaciones del servicio y las ejecuciones de trabajos a Cloud Logging. Cada entrada de registro contiene detalles sobre la operación o el trabajo, como su estado, la hora de inicio y finalización, los recursos asociados (como un análisis de datos o una tarea) y el resultado. Los diferentes tipos de operaciones, como el análisis de datos, el descubrimiento, la importación de metadatos y el procesamiento de datos, generan diferentes tipos de registros, que puedes consultar con logName en Logging.

Puedes acceder a estos registros y analizarlos con el Explorador de registros en laGoogle Cloud consola o bien enrutarlos a otros destinos, como buckets de Cloud Storage o tablas de BigQuery, para realizar análisis adicionales.

Accede a los registros del servicio de Dataplex Universal Catalog en Logging

Dataplex Universal Catalog publica los siguientes registros de servicio en Cloud Logging.

Tipo de registro Nombre del registro logName consulta Descripción del registro
Registros de eventos de análisis de datos dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registros de eventos para trabajos de análisis de datos que indican el estado, los resultados y las estadísticas del trabajo
Registros de resultados de reglas de análisis de calidad de los datos dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados de las reglas de análisis de calidad de los datos en un trabajo de calidad de los datos
Registros de detección dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progreso y actualizaciones del descubrimiento en los recursos de una zona
Registros de trabajos de metadatos dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registros sobre los trabajos de importación de metadatos y los elementos de importación en el archivo de importación de metadatos
Registros de procesos dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Ejecuciones de trabajos resultantes de tareas de procesamiento de datos

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto.

Para acceder a Logging, puedes usar el Explorador de registros en la consola deGoogle Cloud , los comandos de gcloud logging o la API de Logging.

Registros de eventos de análisis de datos de consultas

Cuando usas Dataplex Universal Catalog para crear y ejecutar un análisis de datos, se genera un registro de eventos del análisis de datos en Logging para el trabajo resultante.

Console

  1. En la consola de Google Cloud , ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista del Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Search log names, ingresa dataplex.googleapis.com%2Fdata_scan. Selecciona data_scan y haz clic en Aplicar.

  7. Opcional: Filtra los registros para que muestren un ID o una ubicación de análisis de datos específicos agregando los siguientes filtros en la consulta de registros:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro de eventos de análisis de datos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Registros de resultados de reglas de análisis de calidad de los datos de consultas

Cuando usas Dataplex Universal Catalog para crear y ejecutar un análisis de calidad de los datos, se genera un registro de resultados de la regla de análisis de calidad de los datos en Logging para el trabajo resultante.

Console

  1. En la consola de Google Cloud , ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista del Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Search log names, ingresa dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Selecciona data_quality_scan_rule_result y haz clic en Aplicar.

  7. Opcional: Filtra los registros para que muestren un ID o una ubicación de análisis de datos específicos agregando los siguientes filtros en la consulta de registros:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro de los resultados de las reglas del análisis de calidad de los datos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Registros de descubrimiento de consultas

Cuando usas Dataplex Universal Catalog para descubrir datos en los recursos, se genera un registro de descubrimiento en Logging.

Console

  1. En la consola de Google Cloud , ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista del Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Zona de Cloud Dataplex. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Search log names, ingresa dataplex.googleapis.com%2Fdiscovery. Selecciona discovery y haz clic en Aplicar.

  7. Opcional: Filtra los registros para un activo específico agregando los siguientes filtros en la consulta de registro:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer tus entradas del registro de descubrimiento, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Consulta los registros de trabajos de metadatos

Cuando ejecutas un trabajo de importación de metadatos, se generan registros de trabajos de metadatos en Logging.

Console

  1. En la consola de Google Cloud , ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista del Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Trabajo de metadatos de Cloud Dataplex.

  5. Opcional: Para filtrar los registros según una ubicación específica o un ID de trabajo de metadatos, selecciona una ubicación o un ID de trabajo.

  6. Haz clic en Aplicar.

  7. Haz clic en el menú Nombre del registro.

  8. Escribe dataplex.googleapis.com%2Fmetadata_job y, luego, selecciona metadata_job.

  9. Haz clic en Aplicar.

gcloud

Para leer las entradas de registro de tu trabajo de metadatos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Consulta los registros del proceso

Cuando usas Dataplex Universal Catalog para programar y ejecutar tareas, se genera un registro de proceso en Logging para el trabajo resultante.

Console

  1. En la consola de Google Cloud , ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista del Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex Task. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Search log names, ingresa dataplex.googleapis.com%2Fprocess. Selecciona proceso y haz clic en Aplicar.

  7. Opcional: Para filtrar los registros según una tarea específica, agrega los siguientes filtros a la consulta de registros:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas del registro de procesos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

¿Qué sigue?