Importa tablas externas de Iceberg al catálogo de entornos de ejecución de Lakehouse con Dataflow

Formatos de tabla admitidos

Solo se admiten las tablas de Apache Iceberg V2; no se admiten las tablas de Iceberg V1. Si tienes tablas de Iceberg V1 existentes, debes actualizarlas a la versión 2 (por ejemplo, ejecutando ALTER TABLE catalog.schema.table SET TBLPROPERTIES ('format-version'='2'); o usando operaciones de motor similares) antes de importarlas al catálogo del entorno de ejecución de Lakehouse.

Es posible que tu caso de uso requiera que conectes una tabla de catálogo de REST de Iceberg (IRC) externa a una tabla de Lakehouse existente. La IU del compilador de trabajos de Dataflow te permite compilar una canalización que migra tus tablas de catálogo externas de Iceberg de código abierto a Lakehouse de una manera con poco código o sin código. Este proceso te permite consolidar datos en un formato de Iceberg administrado por Lakehouse unificado para el análisis entre motores.

Usa los siguientes detalles de conexión para importar datos de catálogos externos de Iceberg.

Después de importar la tabla, tienes la opción de importar periódicamente los datos de cambio para sincronizar las actualizaciones de la tabla de origen con la tabla de Lakehouse. Para obtener más información, consulta Migra datos de captura de datos modificados (CDC) de Apache Iceberg a Lakehouse sin límites con Dataflow.

Antes de comenzar

Para importar datos, necesitas lo siguiente:

  1. Es la información de conexión para el catálogo de REST de Iceberg externo. Por ejemplo, el nombre del catálogo, el espacio de nombres, el nombre de la tabla, el URI de la cuenta y el rol para acceder al catálogo.
  2. Un catálogo, un espacio de nombres y una tabla de Iceberg de Lakehouse en los que se importarán los datos.

Asistencia y limitaciones

La importación de datos desde catálogos externos de Iceberg a Lakehouse con Dataflow tiene las siguientes limitaciones:

  • Esta función admite la lectura desde proveedores de Iceberg disponibles de forma externa que admiten IRC (catálogo de REST de Iceberg) en Lakehouse. No se admiten otros tipos de catálogos de Iceberg.
  • Esta función admite canalizaciones por lotes y de transmisión.

Importa una tabla de catálogo externa de Iceberg

Para importar una tabla de catálogo de Iceberg externa a Lakehouse, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Catálogo del entorno de ejecución de Lakehouse.

    Ir al catálogo de entorno de ejecución de Lakehouse

  2. Selecciona el catálogo, el espacio de nombres y la tabla a los que deseas importar datos.

  3. En la página Detalles de la tabla, haz clic en Importar tabla y, luego, selecciona Desde el catálogo de REST de Apache Iceberg (por lotes).

    Se abrirá la página Job builder de Dataflow.

  4. En la sección Fuentes, haz lo siguiente:

    1. Para expandir el panel de origen de la tabla de Iceberg, haz clic en la flecha de expansión .

    2. En el campo Tabla de Iceberg, ingresa el identificador de la tabla de Apache Iceberg.

    3. En el campo Nombre del catálogo, ingresa el nombre del catálogo.

    4. En el campo Filtro, ingresa el filtro de Iceberg que se usará. Por ejemplo, id > 5.

    5. Opcional: Para especificar los cambios en las columnas de la tabla de origen, usa las secciones Keep columns o Drop columns.

    6. En la lista Tipo de catálogo de la sección Propiedades del catálogo, selecciona el tipo de catálogo.

    7. En el campo URI del catálogo, ingresa el URI del catálogo. Por ejemplo, http://localhost:8181.

    8. En el campo Nombre del almacén, ingresa el nombre del catálogo.

      En el caso de algunos proveedores externos del catálogo de REST de Iceberg, el almacén se abstrae y el nombre del catálogo se proporciona como el nombre del almacén.

    9. En la lista Tipo de autenticación, selecciona el tipo de autenticación. Por ejemplo, OAUTH2.

  5. Opcional: En la sección Transformaciones, agrega las transformaciones que desees a los datos de origen.

  6. En la sección Sink, haz lo siguiente:

    1. Opcional: Revisa el panel del receptor de la tabla de Lakehouse. La información de este panel, como la tabla de Lakehouse, el nombre del catálogo y la ubicación del almacén, suele completarse previamente.

  7. En la sección Opciones de Dataflow, haz clic en Ejecutar trabajo.

¿Qué sigue?