Importa tabelle Iceberg esterne nel catalogo runtime Lakehouse utilizzando Dataflow

Formati di tabella supportati

Sono supportate solo le tabelle Apache Iceberg V2; le tabelle Iceberg V1 non sono supportate. Se hai tabelle Iceberg V1 esistenti, devi eseguirne l'upgrade alla versione 2 (ad esempio eseguendo ALTER TABLE catalog.schema.table SET TBLPROPERTIES ('format-version'='2'); o utilizzando operazioni del motore simili) prima di importarle nel catalogo di runtime Lakehouse.

Il tuo caso d'uso potrebbe richiedere di collegare una tabella del catalogo REST Iceberg (IRC) esterno a una tabella Lakehouse esistente. L'interfaccia utente di creazione dei job di Dataflow consente di creare una pipeline che esegue la migrazione delle tabelle del catalogo Iceberg open source esterne in Lakehouse in modo low-code o no-code. Questo processo ti consente di consolidare i dati in un formato Iceberg gestito da Lakehouse unificato per l'analisi cross-engine.

Utilizza i seguenti dettagli di connessione per importare i dati da cataloghi Iceberg esterni.

Dopo aver importato la tabella, hai la possibilità di importare periodicamente i dati delle modifiche per sincronizzare gli aggiornamenti della tabella di origine con la tabella Lakehouse. Per saperne di più, consulta Migrare i dati di Change Data Capture (CDC) di Apache Iceberg in Lakehouse senza bordi utilizzando Dataflow.

Prima di iniziare

Per importare i dati, devi disporre di quanto segue:

  1. Informazioni di connessione per il catalogo REST Iceberg esterno. Ad esempio: nome del catalogo, spazio dei nomi, nome della tabella, URI dell'account e ruolo per accedere al catalogo.
  2. Un catalogo, uno spazio dei nomi e una tabella Iceberg di Lakehouse in cui importare i dati.

Supporto e limitazioni

L'importazione di dati da cataloghi Iceberg esterni a Lakehouse utilizzando Dataflow presenta le seguenti limitazioni:

  • Questa funzionalità supporta la lettura da provider Iceberg disponibili esternamente che supportano IRC (Iceberg Rest Catalog) in Lakehouse. Gli altri tipi di catalogo Iceberg non sono supportati.
  • Questa funzionalità supporta le pipeline batch e di streaming.

Importare una tabella del catalogo Iceberg esterno

Per importare una tabella del catalogo Iceberg esterno in Lakehouse, completa i seguenti passaggi:

  1. Nella console Google Cloud , vai alla pagina Catalogo del runtime di Lakehouse.

    Vai al catalogo runtime Lakehouse

  2. Seleziona il catalogo, lo spazio dei nomi e la tabella in cui vuoi importare i dati.

  3. Nella pagina Dettagli tabella, fai clic su Importa tabella, quindi seleziona Da catalogo REST Apache Iceberg (batch).

    Viene visualizzata la pagina Generatore di job di Dataflow.

  4. Nella sezione Fonti:

    1. Per espandere il riquadro dell'origine della tabella Iceberg, fai clic sulla freccia di espansione .

    2. Nel campo Tabella Iceberg, inserisci l'identificatore della tabella Apache Iceberg.

    3. Nel campo Nome catalogo, inserisci il nome del catalogo.

    4. Nel campo Filtro, inserisci il filtro Iceberg da utilizzare. Ad esempio, id > 5.

    5. (Facoltativo) Per specificare le modifiche alle colonne della tabella di origine, utilizza le sezioni Mantieni colonne o Elimina colonne.

    6. Nell'elenco Tipo di catalogo della sezione Proprietà catalogo, seleziona il tipo di catalogo.

    7. Nel campo URI catalogo, inserisci l'URI del catalogo. Ad esempio, http://localhost:8181.

    8. Nel campo Nome warehouse, inserisci il nome del catalogo.

      Per alcuni fornitori esterni del catalogo REST Iceberg, il magazzino è astratto e il nome del catalogo viene fornito come nome del magazzino.

    9. Nell'elenco Tipo di autenticazione, seleziona il tipo di autenticazione. Ad esempio, OAUTH2.

  5. (Facoltativo) Nella sezione Trasformazioni, aggiungi eventuali trasformazioni ai dati di origine.

  6. Nella sezione Sink:

    1. (Facoltativo) Esamina il riquadro Sink Lakehouse table. Le informazioni in questo riquadro, come la tabella Lakehouse, il nome del catalogo e la posizione del warehouse, vengono in genere precompilate.

  7. Nella sezione Opzioni Dataflow, fai clic su Esegui job.

Passaggi successivi