Importa tablas de Delta Lake a Lakehouse sin bordes con el compilador de trabajos de Dataflow

El compilador de trabajos de Dataflow te permite importar tablas de Delta Lake de Cloud Storage directamente a Lakehouse sin límites a través de una interfaz con poco código o sin código, lo que reduce la complejidad de las migraciones de datos a gran escala. Un trabajo por lotes de Dataflow con ajuste de escala automático copia tus datos en la tabla de Apache Iceberg de destino en Lakehouse y crea automáticamente el esquema para las tablas nuevas, mientras que las tablas existentes requieren un esquema coincidente.

Después de importar tus datos, puedes habilitar la migración continua de forma opcional.

Antes de comenzar

Para importar datos de tablas de Delta Lake, necesitas lo siguiente:

  1. Habilita las APIs de Dataflow, BigQuery y Lakehouse, si aún no están habilitadas.

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén información para otorgar roles.

    Habilitar las API

  2. Para obtener los permisos que necesitas para crear los recursos, pídele a tu administrador que te otorgue los roles de Identity and Access Management (IAM) necesarios en tu proyecto.

  3. Una tabla de Delta Lake existente almacenada en un bucket de Cloud Storage. El directorio de la tabla debe ser una raíz de tabla de Delta Lake válida que contenga tus archivos de datos de Parquet y el directorio de registro de transacciones _delta_log/.

  4. Un catálogo, un espacio de nombres y una tabla de Iceberg de Lakehouse para importar los datos.

Asistencia y limitaciones

La importación de datos de tablas de Delta Lake a Lakehouse con Dataflow tiene las siguientes limitaciones:

  • Debes usar un trabajo de canalización por lotes para usar esta función.
  • En el caso de las tablas de destino existentes, el esquema no se modifica. El esquema de la tabla de destino debe asignarse correctamente al esquema de la tabla de Delta Lake de origen.
  • Los datos de origen deben ser una tabla de Delta Lake válida almacenada en Cloud Storage. El directorio raíz de la tabla debe contener los archivos de datos de Parquet y el directorio de registro de transacciones _delta_log/ (que contiene archivos de registro JSON o Parquet) según lo creado por Delta Lake.
  • Amazon S3 no es compatible con las fuentes de tablas de Delta Lake.

Importa una tabla de Delta Lake

Para importar una tabla de Delta Lake a Lakehouse, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Catálogo de tiempo de ejecución de Lakehouse.

    Ir al catálogo de tiempo de ejecución de Lakehouse

  2. Selecciona el catálogo, el espacio de nombres y la tabla a la que deseas importar datos.

  3. En la página Detalles de la tabla, haz clic en Importar tabla y, luego, selecciona Desde Delta Lake (por lotes).

    Se abrirá la página Creador de trabajos de Dataflow con el plano Delta Lake a Lakehouse cargado.

  4. En la sección Fuentes, haz lo siguiente:

    1. Para expandir el panel de origen de la tabla de Delta Lake ReadFromDeltaLake, haz clic en la flecha de expansión .

    2. En el campo Ruta de la tabla, ingresa el URI de Cloud Storage del directorio raíz de la tabla de Delta Lake (el directorio que contiene los archivos de datos y el directorio _delta_log/). Por ejemplo, gs://BUCKET_NAME/tables/TABLE_NAME.

    3. Opcional: En el campo Propiedades de configuración de Hadoop, configura las propiedades de configuración de Hadoop adicionales que se requieran para leer desde Cloud Storage. Por ejemplo: fs.gs.impl=com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem

    4. Haz clic en Listo.

  5. En la sección Receptor, haz lo siguiente:

    1. Opcional: Revisa el panel del receptor de la tabla de Lakehouse WriteToIceberg. La información de este panel, como la tabla de Lakehouse, el nombre del catálogo y la ubicación del almacén, suele completarse de forma previa.

    2. Haz clic en Listo.

  6. En la sección Opciones de Dataflow, haz clic en Ejecutar trabajo.

Si necesitas personalizar aún más la canalización de Dataflow que se usa para importar tablas de Delta Lake, puedes hacerlo con el formulario del compilador de trabajos o el editor de YAML.

Examina el resultado del trabajo

Una vez que se complete el trabajo, puedes verificar que los datos se hayan copiado en la tabla de Lakehouse consultándola en BigQuery.

  1. En la lista de trabajos de Dataflow, verifica que el estado del trabajo sea Correcto.

    Ir a Trabajos

  2. Si el trabajo falla o tiene errores, consulta los registros del trabajo o del trabajador para obtener detalles.

  3. En la consola de Google Cloud , ve a la página Studio de BigQuery.

    Ir a BigQuery

  4. En el editor de consultas, ingresa una consulta en SQL para inspeccionar la tabla. Puedes usar la convención PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME para consultar lo siguiente:

    SELECT * FROM `PROJECT_ID`.`CATALOG`.`NAMESPACE`.`TABLE_NAME` LIMIT 10;
    
  5. Haz clic en Ejecutar.

  6. Revisa los resultados de la consulta para asegurarte de que los datos se hayan procesado correctamente.

Es opcional. Habilita la migración continua

Para configurar la migración continua de extremo a extremo de Delta Lake a Lakehouse, completa la siguiente secuencia de operaciones:

  1. Habilita la propiedad delta.enableChangeDataFeed en la tabla de Delta Lake de entrada.
  2. Realiza una migración de tabla inicial a un ID de confirmación o una marca de tiempo después de configurar la propiedad delta.enableChangeDataFeed.
  3. Ejecuta trabajos de CDC programados para los datos posteriores con una frecuencia (ID de confirmación o rango de marca de tiempo) elegida para los requisitos de tu carga de trabajo.

Para obtener más información, consulta Migra datos de captura de datos modificados (CDC) de Delta Lake a Lakehouse con Dataflow.

¿Qué sigue?