O criador de jobs do Dataflow permite importar tabelas do Delta Lake do Cloud Storage diretamente para o Lakehouse sem fronteiras por uma interface com pouco ou nenhum código, reduzindo a complexidade das migrações de dados em grande escala. Um job em lote do Dataflow com escalonamento automático copia seus dados para a tabela de destino do Apache Iceberg no Lakehouse e cria automaticamente o esquema para novas tabelas, enquanto as tabelas atuais exigem um esquema correspondente.
Depois de importar os dados, é possível ativar a migração contínua.
Antes de começar
Para importar dados de tabelas do Delta Lake, você precisa do seguinte:
Ative as APIs Dataflow, BigQuery e Lakehouse, se ainda não estiverem ativadas.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.Para receber as permissões necessárias para criar os recursos, peça ao administrador para conceder a você os papéis necessários do Identity and Access Management (IAM) no projeto.
Uma tabela do Delta Lake armazenada em um bucket do Cloud Storage. O diretório da tabela precisa ser uma raiz de tabela válida do Delta Lake que contenha os arquivos de dados do Parquet e o diretório de registro de transações
_delta_log/.Um catálogo, namespace e tabela do Lakehouse Iceberg para importar os dados.
Suporte e limitações
A importação de dados de tabelas do Delta Lake para o Lakehouse usando o Dataflow tem as seguintes limitações:
- É preciso usar um job de pipeline em lote para usar esse recurso.
- Para tabelas de destino atuais, o esquema não é modificado. O esquema da tabela de destino precisa ser mapeado corretamente para o esquema da tabela de origem do Delta Lake.
- Os dados de origem precisam ser uma tabela válida do Delta Lake armazenada no
Cloud Storage. O diretório raiz da tabela precisa conter os arquivos de dados do Parquet e o diretório de registro de transações
_delta_log/(com arquivos de registro JSON ou Parquet) criados pelo Delta Lake. - O Amazon S3 não é compatível com fontes de tabela do Delta Lake.
Importar uma tabela do Delta Lake
Para importar uma tabela do Delta Lake para o Lakehouse, siga estas etapas:
No console do Google Cloud , acesse a página Catálogo do ambiente de execução do Lakehouse.
Selecione o catálogo, o namespace e a tabela em que você quer importar dados.
Na página Detalhes da tabela, clique em Importar tabela e selecione Do Delta Lake (lote).
A página Criador de jobs do Dataflow é aberta com o blueprint Delta Lake para Lakehouse carregado.
Na seção Origens:
Para expandir o painel de origem da tabela do Delta Lake ReadFromDeltaLake, clique na seta de expansão .
No campo Caminho da tabela, insira o URI do Cloud Storage do diretório raiz da tabela do Delta Lake (o diretório que contém os arquivos de dados e o diretório
_delta_log/). Por exemplo,gs://BUCKET_NAME/tables/TABLE_NAME.Opcional: no campo Propriedades de configuração do Hadoop, configure as propriedades de configuração do Hadoop necessárias para ler do Cloud Storage. Por exemplo,
fs.gs.impl=com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem.Clique em Concluído.
Na seção Coletor:
Opcional: revise o painel do coletor WriteToIceberg da tabela do Lakehouse. As informações nesse painel, como a tabela do Lakehouse, o nome do catálogo e o local do warehouse, geralmente são preenchidas automaticamente.
Clique em Concluído.
Na seção Opções do Dataflow, clique em Executar job.
Se você precisar personalizar ainda mais o pipeline do Dataflow usado para importar tabelas do Delta Lake, use o formulário do criador de jobs ou o editor YAML.
Examinar a saída do job
Depois que o job for concluído, verifique se os dados foram copiados para a tabela do Lakehouse consultando-a no BigQuery.
Na lista de jobs do Dataflow, verifique se o status do job é Concluído.
Se o job falhar ou tiver erros, verifique os registros do job ou do worker para mais detalhes.
No console do Google Cloud , acesse a página Studio do BigQuery.
No editor de consultas, insira uma consulta SQL para inspecionar a tabela. É possível usar a convenção
PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAMEpara consultar:SELECT * FROM `PROJECT_ID`.`CATALOG`.`NAMESPACE`.`TABLE_NAME` LIMIT 10;Clique em Executar.
Revise os Resultados da consulta para garantir que os dados foram processados corretamente.
Opcional. Ativar a migração contínua
Para configurar a migração contínua de ponta a ponta do Delta Lake para o Lakehouse, conclua a seguinte sequência de operações:
- Ative a propriedade
delta.enableChangeDataFeedna tabela de entrada do Delta Lake. - Faça uma migração de tabela inicial para um ID de commit ou carimbo de data/hora depois de
definir a propriedade
delta.enableChangeDataFeed. - Execute jobs de CDC programados para dados subsequentes usando uma frequência (ID de commit ou intervalo de carimbo de data/hora) escolhida para os requisitos da carga de trabalho.
Para mais informações, consulte Migrar dados de captura de dados alterados (CDC) do Delta Lake para o Lakehouse usando o Dataflow.
A seguir
- Saiba mais na Introdução às tabelas do Lakehouse para Apache Iceberg no BigQuery.
- Saiba mais sobre como migrar periodicamente dados de CDC do Delta Lake para o Lakehouse.
- Saiba mais sobre a ingestão de captura de dados alterados no Lakehouse.
- Saiba como criar um job personalizado com a interface do criador de jobs.