Importer des données depuis des catalogues Iceberg externes vers Lakehouse pour Apache Iceberg à l'aide de Dataflow

Votre cas d'utilisation peut nécessiter que vous connectiez une table de catalogue REST Iceberg (IRC) externe à une table Lakehouse pour Apache Iceberg existante. L'UI du générateur de jobs Dataflow vous permet de créer un pipeline qui migre vos tables de catalogue Iceberg Open Source externes vers Lakehouse de manière low-code ou no-code. Ce processus vous permet de consolider les données dans un format Iceberg géré par Lakehouse pour l'analyse multi-moteurs.

Utilisez les informations de connexion suivantes pour importer des données à partir de catalogues Iceberg externes.

Avant de commencer

Pour importer des données, vous avez besoin des éléments suivants :

  1. Informations de connexion pour le catalogue REST Iceberg externe. Par exemple : nom du catalogue, espace de noms, nom de la table, URI du compte et rôle permettant d'accéder au catalogue.
  2. Un catalogue, un espace de noms et une table Lakehouse Iceberg dans lesquels importer les données.

Compatibilité et limites

L'importation de données depuis des catalogues Iceberg externes vers Lakehouse pour Apache Iceberg à l'aide de Dataflow présente les limites suivantes :

  • Cette fonctionnalité permet de lire les données des fournisseurs Iceberg disponibles en externe qui sont compatibles avec IRC (Iceberg Rest Catalog) dans Lakehouse. Les autres types de catalogues Iceberg ne sont pas acceptés.
  • Cette fonctionnalité est compatible avec les pipelines de traitement par lot et par flux.

Importer une table de catalogue Iceberg externe

Pour importer une table de catalogue Iceberg externe dans Lakehouse pour Apache Iceberg, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Metastore de Lakehouse.

    Accéder au catalogue d'environnements d'exécution Lakehouse

  2. Sélectionnez le catalogue, l'espace de noms et la table dans lesquels vous souhaitez importer les données.

  3. Sur la page Détails de la table, cliquez sur Importer une table.

  4. Dans la boîte de dialogue Importer la configuration, sélectionnez Importer une table depuis un catalogue REST Apache Iceberg dans Lakehouse (lot).

    La page Job Builder Dataflow s'ouvre.

  5. Dans la section Sources :

    1. Pour développer le panneau source Table Iceberg, cliquez sur la flèche de développement .

    2. Dans le champ Table Iceberg, saisissez l'identifiant de la table Apache Iceberg.

    3. Dans le champ Nom du catalogue, saisissez le nom du catalogue.

    4. Dans le champ Filtre, saisissez le filtre Iceberg à utiliser. Exemple : id > 5.

    5. Facultatif : Pour spécifier les modifications apportées aux colonnes de la table source, utilisez les sections Conserver les colonnes ou Supprimer les colonnes.

    6. Dans la liste Type de catalogue de la section Propriétés du catalogue, sélectionnez le type de catalogue.

    7. Dans le champ URI du catalogue, saisissez l'URI du catalogue. Exemple : http://localhost:8181.

    8. Dans le champ Nom de l'entrepôt, saisissez le nom du catalogue.

      Pour certains fournisseurs de catalogues REST Iceberg externes, l'entrepôt est abstrait et le nom du catalogue est fourni en tant que nom de l'entrepôt.

    9. Dans la liste Type d'authentification, sélectionnez le type d'authentification. Exemple : OAUTH2.

  6. Facultatif : Dans la section Transformations, ajoutez des transformations aux données sources.

  7. Dans la section Récepteur :

    1. Facultatif : examinez le panneau du récepteur Table Lakehouse. Les informations de ce panneau, telles que la table Lakehouse, le nom du catalogue et l'emplacement de l'entrepôt, sont généralement préremplies.

  8. Dans la section Options Dataflow, cliquez sur Exécuter le job.

Étapes suivantes