Importar tabelas do Delta Lake para o Lakehouse sem fronteiras usando o criador de jobs do Dataflow

O criador de jobs do Dataflow permite importar tabelas do Delta Lake do Cloud Storage diretamente para o Lakehouse sem fronteiras por uma interface com pouco ou nenhum código, reduzindo a complexidade das migrações de dados em grande escala. Um job em lote do Dataflow com escalonamento automático copia seus dados para a tabela de destino do Apache Iceberg no Lakehouse e cria automaticamente o esquema para novas tabelas, enquanto as tabelas atuais exigem um esquema correspondente.

Depois de importar os dados, é possível ativar a migração contínua.

Antes de começar

Para importar dados de tabelas do Delta Lake, você precisa do seguinte:

  1. Ative as APIs Dataflow, BigQuery e Lakehouse, se ainda não estiverem ativadas.

    Funções necessárias para ativar APIs

    Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    Ativar as APIs

  2. Para receber as permissões necessárias para criar os recursos, peça ao administrador para conceder a você os papéis necessários do Identity and Access Management (IAM) no projeto.

  3. Uma tabela do Delta Lake armazenada em um bucket do Cloud Storage. O diretório da tabela precisa ser uma raiz de tabela válida do Delta Lake que contenha os arquivos de dados do Parquet e o diretório de registro de transações _delta_log/.

  4. Um catálogo, namespace e tabela do Lakehouse Iceberg para importar os dados.

Suporte e limitações

A importação de dados de tabelas do Delta Lake para o Lakehouse usando o Dataflow tem as seguintes limitações:

  • É preciso usar um job de pipeline em lote para usar esse recurso.
  • Para tabelas de destino atuais, o esquema não é modificado. O esquema da tabela de destino precisa ser mapeado corretamente para o esquema da tabela de origem do Delta Lake.
  • Os dados de origem precisam ser uma tabela válida do Delta Lake armazenada no Cloud Storage. O diretório raiz da tabela precisa conter os arquivos de dados do Parquet e o diretório de registro de transações _delta_log/ (com arquivos de registro JSON ou Parquet) criados pelo Delta Lake.
  • O Amazon S3 não é compatível com fontes de tabela do Delta Lake.

Importar uma tabela do Delta Lake

Para importar uma tabela do Delta Lake para o Lakehouse, siga estas etapas:

  1. No console do Google Cloud , acesse a página Catálogo do ambiente de execução do Lakehouse.

    Acessar o catálogo do ambiente de execução do Lakehouse

  2. Selecione o catálogo, o namespace e a tabela em que você quer importar dados.

  3. Na página Detalhes da tabela, clique em Importar tabela e selecione Do Delta Lake (lote).

    A página Criador de jobs do Dataflow é aberta com o blueprint Delta Lake para Lakehouse carregado.

  4. Na seção Origens:

    1. Para expandir o painel de origem da tabela do Delta Lake ReadFromDeltaLake, clique na seta de expansão .

    2. No campo Caminho da tabela, insira o URI do Cloud Storage do diretório raiz da tabela do Delta Lake (o diretório que contém os arquivos de dados e o diretório _delta_log/). Por exemplo, gs://BUCKET_NAME/tables/TABLE_NAME.

    3. Opcional: no campo Propriedades de configuração do Hadoop, configure as propriedades de configuração do Hadoop necessárias para ler do Cloud Storage. Por exemplo, fs.gs.impl=com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem.

    4. Clique em Concluído.

  5. Na seção Coletor:

    1. Opcional: revise o painel do coletor WriteToIceberg da tabela do Lakehouse. As informações nesse painel, como a tabela do Lakehouse, o nome do catálogo e o local do warehouse, geralmente são preenchidas automaticamente.

    2. Clique em Concluído.

  6. Na seção Opções do Dataflow, clique em Executar job.

Se você precisar personalizar ainda mais o pipeline do Dataflow usado para importar tabelas do Delta Lake, use o formulário do criador de jobs ou o editor YAML.

Examinar a saída do job

Depois que o job for concluído, verifique se os dados foram copiados para a tabela do Lakehouse consultando-a no BigQuery.

  1. Na lista de jobs do Dataflow, verifique se o status do job é Concluído.

    Acessar "Jobs"

  2. Se o job falhar ou tiver erros, verifique os registros do job ou do worker para mais detalhes.

  3. No console do Google Cloud , acesse a página Studio do BigQuery.

    Acessar o BigQuery

  4. No editor de consultas, insira uma consulta SQL para inspecionar a tabela. É possível usar a convenção PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME para consultar:

    SELECT * FROM `PROJECT_ID`.`CATALOG`.`NAMESPACE`.`TABLE_NAME` LIMIT 10;
    
  5. Clique em Executar.

  6. Revise os Resultados da consulta para garantir que os dados foram processados corretamente.

Opcional. Ativar a migração contínua

Para configurar a migração contínua de ponta a ponta do Delta Lake para o Lakehouse, conclua a seguinte sequência de operações:

  1. Ative a propriedade delta.enableChangeDataFeed na tabela de entrada do Delta Lake.
  2. Faça uma migração de tabela inicial para um ID de commit ou carimbo de data/hora depois de definir a propriedade delta.enableChangeDataFeed.
  3. Execute jobs de CDC programados para dados subsequentes usando uma frequência (ID de commit ou intervalo de carimbo de data/hora) escolhida para os requisitos da carga de trabalho.

Para mais informações, consulte Migrar dados de captura de dados alterados (CDC) do Delta Lake para o Lakehouse usando o Dataflow.

A seguir