Importa archivos Parquet del almacenamiento a Lakehouse sin bordes con Dataflow

Puedes usar un plano de compilador de trabajos de Dataflow para agregar archivos de Apache Parquet existentes desde el almacenamiento basado en la nube (Cloud Storage, Amazon S3 o Azure Blob Storage) a una tabla de Apache Iceberg en Lakehouse sin fronteras.

En este proceso, se usa la transformación IcebergAddFiles. Si tus archivos de Parquet están en Cloud Storage, esta transformación registra los archivos con Lakehouse sin mover ni volver a escribir los datos subyacentes. Si tus archivos están en un sistema de almacenamiento externo, como Amazon S3, se copian en Cloud Storage para realizar consultas más rápidas a través de Lakehouse y, luego, se registran.

Usa los siguientes detalles de conexión para agregar archivos Parquet desde el almacenamiento basado en la nube a una tabla de Apache Iceberg en Lakehouse.

Antes de comenzar

  1. Habilita las APIs de Dataflow, BigQuery y Lakehouse.

  2. Para obtener los permisos que necesitas para crear los recursos, pídele a tu administrador que te otorgue los roles de Identity and Access Management (IAM) necesarios en tu proyecto.

  3. Crear un catálogo, un espacio de nombres y una tabla de Lakehouse para importar datos

  4. Crea un bucket de almacenamiento basado en la nube (Cloud Storage, Amazon S3 o Azure Blob Storage) y sube tus archivos de Parquet al bucket.

  5. Si el bucket de almacenamiento basado en la nube que usas no es Cloud Storage de Google, crea un bucket de Cloud Storage para almacenar los registros de errores de tu trabajo.

Asistencia y limitaciones

La importación de archivos Parquet en el almacenamiento basado en la nube a Lakehouse con Dataflow tiene las siguientes limitaciones:

  • Los datos de origen deben estar en formato Apache Parquet y almacenarse en Cloud Storage, Amazon S3 o Azure Blob Storage.
  • Esta función solo admite canalizaciones por lotes.

Importar archivos Parquet a Lakehouse

Sigue estos pasos para importar archivos Parquet desde el almacenamiento basado en la nube a una tabla de Iceberg en Lakehouse con la IU del compilador de trabajos de Dataflow.

  1. En la consola de Google Cloud , ve a la página Lakehouse.

    Ir a Lakehouse

  2. Selecciona el catálogo, el espacio de nombres y la tabla a la que deseas importar datos.

  3. En la página Detalles de la tabla, haz clic en Importar tabla y, luego, selecciona Desde archivos de Apache Parquet (por lotes).

    Se abrirá la página Creador de trabajos de Dataflow.

  4. En la sección Fuentes, haz lo siguiente:

    1. Abre la entrada de origen CreateGlobalInput que ya se creó.

    2. En la sección del editor Configuración de la fuente YAML, ingresa una o más rutas de acceso a tus archivos de Parquet en la secuencia elements.

      Para mejorar la eficiencia de la importación, especifica varios conjuntos de archivos (globs) cuando registres una gran cantidad de archivos. Por ejemplo:

      reshuffle: true
      elements:
        -   gs://BUCKET_NAME/restaurant-data/2023/*.parquet
        -   gs://BUCKET_NAME/restaurant-data/2024/*.parquet
      
    3. Haz clic en Listo.

  5. En la sección Transformaciones, haz lo siguiente:

    1. Haz clic en la sección de transformación IcebergAddFiles para abrirla.

    2. En el campo Tabla de Iceberg, ingresa el espacio de nombres y el nombre de la tabla. Por ejemplo: NAMESPACE .TABLE_NAME .

    3. Opcional: En el campo Tamaño del archivo de manifiesto, ingresa la cantidad de archivos de datos que se incluirán en cada archivo de manifiesto. El valor predeterminado es 10,000.

    4. En Propiedades del catálogo, configura los siguientes elementos:

      1. warehouse: Es la ubicación de Cloud Storage de tu catálogo. Por ejemplo, gs://CATALOG_PATH

      2. header.x-goog-user-project: Es el ID del proyecto de Google Cloud : PROJECT_ID.

    5. Opcional: Para permitir que el trabajo actualice el esquema de la tabla de destino de modo que coincida con tus archivos de Parquet, selecciona una o más opciones en la lista Evolución del esquema. Para obtener más información, consulta Configura la evolución del esquema.

    6. Haz clic en Listo.

    7. Si migras desde Amazon S3 o Azure Blob Storage, debes proporcionar parámetros de configuración adicionales para copiar archivos Parquet en Cloud Storage. Esto no es necesario si tus archivos ya están en Cloud Storage.

      1. Haz clic en la sección de transformación CopyFilesToGCS para abrirla.

      2. Establece el valor del parámetro de configuración gcs_file_path para proporcionar el bucket de Cloud Storage completamente calificado en el que se copiarán los archivos temporales. Te recomendamos usar el mismo bucket de Cloud Storage que usa el almacén de Lakehouse.

      3. Haz clic en Listo.

      4. Haz clic en la sección Opciones de Dataflow para abrirla.

      5. Si tus archivos de Parquet están en Amazon S3, haz clic en Agregar opciones de canalización adicionales para proporcionar opciones de canalización relacionadas con S3 de Apache Beam. Por ejemplo, s3_region_name, s3_access_key_id, s3_secret_access_key y sus valores correspondientes.

      6. Si tus archivos de Parquet están en Azure Blob Storage, haz clic en Agregar opciones de canalización adicionales para proporcionar las opciones de canalización de Apache Beam relacionadas con Azure. Por ejemplo, azure_connection_string, blob_service_endpoint, azure_managed_identity_client_id y sus valores correspondientes.

  6. En la sección Receptores, haz lo siguiente:

    1. Haz clic en el receptor Write results para abrirlo.

    2. En el campo Ubicación de JSON, especifica la ubicación de Cloud Storage y el nombre del archivo para escribir los resultados de los errores. Por ejemplo:

      gs://BUCKET_NAME/errors/errors.json
      
    3. Haz clic en Listo.

  7. En la sección Opciones de Dataflow, haz clic en Ejecutar trabajo.

Si necesitas personalizar aún más la canalización de Dataflow que se usa para registrar archivos Parquet, puedes hacerlo con el formulario del compilador de trabajos o el editor de YAML.

Configura la evolución de esquemas

De forma predeterminada, la transformación IcebergAddFiles no cambia el esquema de la tabla de destino. Con un trabajo por lotes, puedes activar la evolución del esquema para inspeccionar el pie de página de cada archivo de Parquet y actualizar el esquema de la tabla antes de registrar los archivos. Si la tabla de destino no existe, el trabajo crea la tabla a partir de los esquemas combinados de los archivos de Parquet.

Para activar la evolución del esquema en la sección de transformación IcebergAddFiles, selecciona una o más opciones de la lista Evolución del esquema:

  • Agregar columnas: Agrega columnas de un archivo de Parquet que no están en la tabla como columnas opcionales.
  • Hacer que las columnas sean opcionales: cambia una columna de tabla obligatoria a opcional cuando un archivo omite la columna o puede contener valores nulos en ella.
  • Amplía los tipos de columnas: Amplía el tipo de datos de una columna, como de int a long.

Si algún archivo de datos tiene un esquema incompatible, la canalización falla sin confirmar los cambios de esquema ni registrar ningún archivo. Por ejemplo, un esquema es incompatible si requiere un cambio que no seleccionaste o si entra en conflicto con la tabla o con otro archivo.

Cuando seleccionas al menos una opción de Evolución del esquema, también puedes especificar las columnas que siempre deben estar presentes y no ser nulas, incluso cuando se selecciona Hacer que las columnas sean opcionales. Expande Columnas obligatorias, haz clic en Agregar elemento y, luego, ingresa un valor en el campo Nombre de la columna. En el caso de los campos anidados, separa los nombres de los campos con puntos, como address.city. Los archivos que omiten una columna obligatoria o contienen valores nulos en ella se envían a la salida de error.

Examina el resultado del trabajo

Una vez que se complete el trabajo, puedes verificar que los datos se hayan registrado en la tabla de Iceberg consultándola en BigQuery.

  1. En la lista de trabajos de Dataflow, verifica que el estado del trabajo sea Correcto.

    Ir a Trabajos

  2. Si el trabajo falla o tiene errores, consulta el archivo de registro de errores JSON en Cloud Storage para obtener más detalles.

    Ir a Buckets

  3. En la consola de Google Cloud , ve a la página Studio de BigQuery.

    Ir a BigQuery

  4. En el editor de consultas, ingresa una consulta en SQL para inspeccionar la tabla. Puedes usar la convención PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME para realizar consultas.

    SELECT * FROM `PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME` LIMIT 10
    
  5. Haz clic en Ejecutar.

  6. Revisa los resultados de la consulta para asegurarte de que los datos se hayan procesado correctamente.

¿Qué sigue?