Importar dados de catálogos externos do Iceberg para o Lakehouse sem fronteiras usando o Dataflow

Seu caso de uso pode exigir que você conecte uma tabela externa do catálogo REST do Iceberg (IRC) a uma tabela do Lakehouse. Com a interface do criador de jobs do Dataflow, é possível criar um pipeline que migra suas tabelas de catálogo do Iceberg de código aberto externo para o Lakehouse de maneira com pouco código ou no-code. Esse processo permite consolidar dados em um formato Iceberg unificado gerenciado pelo Lakehouse para análise entre mecanismos.

Use os detalhes de conexão a seguir para importar dados de catálogos externos do Iceberg.

Depois de importar a tabela, você pode importar dados de mudança periodicamente para sincronizar as atualizações da tabela de origem com a tabela do Lakehouse. Para mais informações, consulte Migrar dados de captura de dados alterados (CDC) do Apache Iceberg para o Lakehouse sem fronteiras usando o Dataflow.

Antes de começar

Para importar dados, você precisa do seguinte:

  1. Informações de conexão para o catálogo REST do Iceberg externo. Por exemplo: nome do catálogo, namespace, nome da tabela, URI da conta e função para acessar o catálogo.
  2. Um catálogo, namespace e tabela do Lakehouse Iceberg para importar os dados.

Suporte e limitações

A importação de dados de catálogos externos do Iceberg para o Lakehouse usando o Dataflow tem as seguintes limitações:

  • Esse recurso permite ler de provedores do Iceberg disponíveis externamente que oferecem suporte ao IRC (catálogo REST do Iceberg) no Lakehouse. Outros tipos de catálogos do Iceberg não são compatíveis.
  • Esse recurso é compatível com pipelines em lote e de streaming.

Importar uma tabela de catálogo externa do Iceberg

Para importar uma tabela de catálogo externa do Iceberg para o Lakehouse, siga estas etapas:

  1. No console Google Cloud , acesse a página catálogo do ambiente de execução do Lakehouse.

    Acessar o catálogo do ambiente de execução do Lakehouse

  2. Selecione o catálogo, o namespace e a tabela em que você quer importar os dados.

  3. Na página Detalhes da tabela, clique em Importar tabela e selecione Do catálogo REST do Apache Iceberg (lote).

    A página Criador de jobs do Dataflow é aberta.

  4. Na seção Fontes:

    1. Para expandir o painel de origem Tabela de iceberg, clique na seta de expansão .

    2. No campo Tabela do Iceberg, insira o identificador da tabela do Apache Iceberg.

    3. No campo Nome do catálogo, insira o nome do catálogo.

    4. No campo Filtro, insira o filtro do Iceberg a ser usado. Por exemplo, id > 5.

    5. Opcional: para especificar mudanças nas colunas da tabela de origem, use as seções Manter colunas ou Remover colunas.

    6. Na lista Tipo de catálogo da seção Propriedades do catálogo, selecione o tipo de catálogo.

    7. No campo URI do catálogo, insira o URI do catálogo. Por exemplo, http://localhost:8181.

    8. No campo Nome do depósito, insira o nome do catálogo.

      Para alguns provedores externos do catálogo REST do Iceberg, o data warehouse é abstraído, e o nome do catálogo é fornecido como o nome do data warehouse.

    9. Na lista Tipo de autenticação, selecione o tipo de autenticação. Por exemplo, OAUTH2.

  5. Opcional: na seção Transformações, adicione transformações aos dados de origem.

  6. Na seção Gravador:

    1. Opcional: revise o painel de coletor Tabela do Lakehouse. As informações neste painel, como a tabela do Lakehouse, o nome do catálogo e o local do data warehouse, geralmente são preenchidas automaticamente.

  7. Na seção Opções do Dataflow, clique em Executar job.

A seguir