Importar tabelas externas do Iceberg para o catálogo de ambiente de execução do Lakehouse usando o Dataflow

Formatos de tabela compatíveis

Somente tabelas do Apache Iceberg V2 são aceitas. As tabelas do Iceberg V1 não são compatíveis. Se você tiver tabelas do Iceberg V1, faça upgrade para a V2 (por exemplo, executando ALTER TABLE catalog.schema.table SET TBLPROPERTIES ('format-version'='2'); ou usando operações de mecanismo semelhantes) antes de importar para o catálogo do ambiente de execução do Lakehouse.

Seu caso de uso pode exigir que você conecte uma tabela externa do catálogo REST do Iceberg (IRC) a uma tabela do Lakehouse. Com a interface do criador de jobs do Dataflow, é possível criar um pipeline que migra suas tabelas de catálogo do Iceberg de código aberto externo para o Lakehouse de maneira com pouco código ou no-code. Esse processo permite consolidar dados em um formato Iceberg unificado gerenciado pelo Lakehouse para análise entre mecanismos.

Use os detalhes de conexão a seguir para importar dados de catálogos externos do Iceberg.

Depois de importar a tabela, você pode importar dados de mudança periodicamente para sincronizar as atualizações da tabela de origem com a tabela do Lakehouse. Para mais informações, consulte Migrar dados de captura de dados alterados (CDC) do Apache Iceberg para o Lakehouse sem fronteiras usando o Dataflow.

Antes de começar

Para importar dados, você precisa do seguinte:

  1. Informações de conexão para o catálogo REST do Iceberg externo. Por exemplo: nome do catálogo, namespace, nome da tabela, URI da conta e função para acessar o catálogo.
  2. Um catálogo, namespace e tabela do Lakehouse Iceberg para importar os dados.

Suporte e limitações

A importação de dados de catálogos externos do Iceberg para o Lakehouse usando o Dataflow tem as seguintes limitações:

  • Esse recurso permite ler de provedores do Iceberg disponíveis externamente que oferecem suporte ao IRC (catálogo REST do Iceberg) no Lakehouse. Outros tipos de catálogos do Iceberg não são compatíveis.
  • Esse recurso é compatível com pipelines em lote e de streaming.

Importar uma tabela de catálogo externa do Iceberg

Para importar uma tabela de catálogo externa do Iceberg para o Lakehouse, siga estas etapas:

  1. No console Google Cloud , acesse a página catálogo do ambiente de execução do Lakehouse.

    Acessar o catálogo de ambientes de execução do Lakehouse

  2. Selecione o catálogo, o namespace e a tabela em que você quer importar os dados.

  3. Na página Detalhes da tabela, clique em Importar tabela e selecione Do catálogo REST do Apache Iceberg (lote).

    A página Criador de jobs do Dataflow é aberta.

  4. Na seção Fontes:

    1. Para expandir o painel de origem Tabela de iceberg, clique na seta de expansão .

    2. No campo Tabela do Iceberg, insira o identificador da tabela do Apache Iceberg.

    3. No campo Nome do catálogo, insira o nome do catálogo.

    4. No campo Filtro, insira o filtro do Iceberg a ser usado. Por exemplo, id > 5.

    5. Opcional: para especificar mudanças nas colunas da tabela de origem, use as seções Manter colunas ou Remover colunas.

    6. Na lista Tipo de catálogo da seção Propriedades do catálogo, selecione o tipo de catálogo.

    7. No campo URI do catálogo, insira o URI do catálogo. Por exemplo, http://localhost:8181.

    8. No campo Nome do depósito, insira o nome do catálogo.

      Para alguns provedores externos do catálogo REST do Iceberg, o data warehouse é abstraído, e o nome do catálogo é fornecido como o nome do data warehouse.

    9. Na lista Tipo de autenticação, selecione o tipo de autenticação. Por exemplo, OAUTH2.

  5. Opcional: na seção Transformações, adicione transformações aos dados de origem.

  6. Na seção Gravador:

    1. Opcional: revise o painel de coletor Tabela do Lakehouse. As informações neste painel, como a tabela do Lakehouse, o nome do catálogo e o local do data warehouse, geralmente são preenchidas automaticamente.

  7. Na seção Opções do Dataflow, clique em Executar job.

A seguir