Soluciona problemas de descubrimiento de datos de Knowledge Catalog

El descubrimiento de datos de Knowledge Catalog (anteriormente, Dataplex Universal Catalog), también llamado descubrimiento independiente, te permite analizar automáticamente los buckets de Cloud Storage para extraer metadatos y publicar tablas en BigQuery. Puedes solucionar problemas y resolver errores comunes de análisis de descubrimiento, como fallas de publicación de tablas de BigQuery y BigLake, desajustes de esquemas de carpetas y tablas que no se actualizan después de los cambios de esquema. Para obtener más información, consulta Descubre y cataloga datos de Cloud Storage.

Si necesitas ayuda para resolver un problema que no se aborda en este documento, comunícate con la Atención al cliente de Cloud.

Falla en la publicación de la tabla de BigQuery (FAILED_BIGQUERY_TABLE_PUBLISH)

Cuando se ejecuta un análisis de descubrimiento, es posible que no se publiquen tablas en BigQuery. En este caso, el análisis registra una acción FAILED_BIGQUERY_TABLE_PUBLISH en Cloud Logging.

Este problema se produce debido a las siguientes condiciones:

  • Permisos de IAM insuficientes: La cuenta de servicio de Knowledge Catalog o la cuenta de servicio de conexión de BigQuery no tienen los roles necesarios para delegar conexiones, acceder a Cloud Storage o escribir en el conjunto de datos de destino.
  • No coinciden la conexión o el conjunto de datos de BigQuery: El ID de conexión especificado no es válido, o la conexión y el conjunto de datos de destino se encuentran en regiones diferentes.
  • Errores de configuración de la tabla: La creación o modificación de la tabla aplica parámetros de configuración incorrectos o no admitidos.

Para resolver este problema, realiza las siguientes verificaciones:

  • Verifica los roles de la cuenta de servicio: Confirma que la cuenta de servicio de Knowledge Catalog service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com tenga el rol de agente de servicio de publicación de BigLake de Dataplex Discovery (roles/dataplex.discoveryBigLakePublishingServiceAgent).
  • Verifica los permisos de conexión: Si creas tablas de BigLake, verifica que la cuenta de servicio de conexión de BigQuery tenga acceso de lectura al bucket de Cloud Storage con el rol de visualizador de objetos de Storage (roles/storage.objectViewer) o de agente de servicio de Dataplex Discovery (roles/dataplex.discoveryServiceAgent).
  • Verifica la conexión y la ubicación del conjunto de datos: Asegúrate de que la conexión de BigQuery y el conjunto de datos de BigQuery existan en la misma región y de que sean compatibles con la ubicación del bucket de Cloud Storage.
  • Inspecciona los registros para obtener detalles: Explora los registros de trabajos de DataScan en Cloud Logging. Si el error contiene BigQuery: Permission denied, verifica los permisos de la cuenta de servicio. Si contiene TABLE_CONFIG, verifica que los archivos de datos cumplan con los requisitos de BigQuery.

La creación de tablas de BigLake falla en los buckets de Cloud Storage grandes

Cuando un análisis de descubrimiento procesa buckets de Cloud Storage con un gran volumen de datos o archivos individuales grandes (por ejemplo, archivos Avro de más de 30 MB), el análisis puede crear correctamente el conjunto de datos de BigQuery, pero no publicar las tablas de BigLake.

Cuando esto sucede, es posible que observes los siguientes errores en Cloud Logging:

  • FAILED_BIGQUERY_TABLE_PUBLISH
  • com.google.cloud.bigquery.BigQueryException: Read timed out

Este problema es una limitación de escalabilidad conocida. Si necesitas aprovisionar la tabla de inmediato, configura el análisis de descubrimiento para que incluya un subconjunto más pequeño y filtrado de los datos del bucket.

Discrepancias en el esquema de la carpeta de Cloud Storage

Un análisis de descubrimiento de datos no registra tablas externas o no detecta archivos en ciertas carpetas.

Este problema se produce si tus carpetas de Cloud Storage contienen archivos con esquemas incompatibles o formatos diferentes. El análisis de descubrimiento agrupa los archivos en una sola tabla solo si están en la misma carpeta y tienen un esquema compatible.

Cuando un análisis de descubrimiento de datos analiza una ruta de acceso de Cloud Storage, espera que los archivos dentro de una carpeta y la estructura de partición en las carpetas sean coherentes. La exploración marca una acción si detecta alguna de las siguientes opciones:

  • Formato de datos no válido (INVALID_DATA_FORMAT): Se encuentran formatos de datos incoherentes en la misma carpeta o en todas las particiones (por ejemplo, mezclar archivos .csv y .parquet en el mismo directorio).
  • Definición de partición no válida (INVALID_PARTITION_DEFINITION): Las claves de partición son incoherentes o faltan. Por ejemplo, usar Year=2023/Mon=Jan en una ruta de acceso y Year=2023/Dept=Sales en otra.
  • Esquema de datos incompatible (INCOMPATIBLE_DATA_SCHEMA): Se detectan esquemas incoherentes o incompatibles en los archivos de la misma carpeta o tabla.

En el caso de los formatos con tipos fuertemente definidos, como Avro y Parquet, las discrepancias de esquema se producen por lo siguiente:

  • Tipos de datos incompatibles: Una columna tiene un tipo string en un archivo y un tipo int o boolean en otro.
  • Faltan valores predeterminados: Se agregan o borran campos nuevos en archivos más recientes sin especificar valores predeterminados en la definición del esquema, lo que impide la evolución correcta del esquema.
  • Formato de archivo dañado: Uno o más archivos están dañados o tienen un formato incorrecto, lo que hace que el análisis no pueda leer ni extraer el esquema.

Para resolver este problema, verifica la estructura de tu archivo y las definiciones de esquema:

  • Organiza los archivos por esquema y formato: Verifica que todos los archivos de una sola carpeta compartan el mismo formato y la misma estructura de esquema. Mueve los archivos con diferentes columnas, tipos primitivos o formatos a carpetas o prefijos separados para que se puedan registrar como tablas separadas.
  • Usa definiciones de partición coherentes: Asegúrate de que las claves y estructuras de partición sean coherentes en todas las carpetas de partición (por ejemplo, usando Year=YYYY/Month=MM/ de forma coherente).
  • Sigue las reglas de evolución de esquemas: Cuando actualices esquemas (como agregar o quitar campos de archivos de Avro), define siempre valores predeterminados para que el servicio de descubrimiento pueda combinar las variantes de esquema correctamente.
  • Identifica los archivos dañados: Revisa el resultado o los registros del análisis para identificar si un archivo en particular no se puede decodificar. Mueve archivos temporalmente para averiguar si un archivo específico hace que falle el análisis.

Las tablas descubiertas no se actualizan con los cambios de esquema

Después de modificar archivos en Cloud Storage o ejecutar un análisis nuevo, el esquema actualizado no se refleja en las tablas de BigQuery publicadas.

Este problema se produce si la tabla publicada tiene la etiqueta metadata-managed-mode establecida en user_managed. De forma predeterminada, el descubrimiento publica tablas como discovery_managed. Si tú o algún otro usuario editan manualmente las propiedades del esquema de la tabla, debes cambiar la etiqueta a user_managed para bloquear las actualizaciones automáticas.

Para resolver este problema, verifica las etiquetas de la tabla en BigQuery:

  1. En la consola de Google Cloud , ve a la página BigQuery.
  2. En el panel Explorador, expande tu proyecto, selecciona el conjunto de datos y haz clic en la tabla afectada.
  3. Haz clic en la pestaña Detalles.
  4. En la sección Etiquetas, verifica el valor de la clave metadata-managed-mode.
  5. Si deseas que el análisis de descubrimiento reanude la administración y la actualización del esquema, haz clic en Editar > Editar detalles, cambia el valor a discovery_managed y, luego, haz clic en Guardar.