Migrar metadados de catálogos de dados externos para tabelas do catálogo REST do Lakehouse para Apache Iceberg
Neste documento, mostramos como migrar metadados de Data Catalogs externos para tabelas de catálogo REST do Lakehouse para Apache Iceberg. O serviço de migração do BigQuery é compatível com a migração de metadados dos seguintes metastores externos:
- Metastore do Apache Hive
- Catálogos REST do Apache Iceberg
Limitações
- As migrações de metadados de Data Catalogs externos para tabelas de catálogo REST do Lakehouse para Apache Iceberg são uma sincronização única. Esse recurso não oferece suporte a sincronizações contínuas ou periódicas. Portanto, as gravações feitas após a migração só ficam visíveis quando você migra novamente.
- Não é possível usar namespaces aninhados.
- O catálogo REST do Iceberg só é compatível com arquivos de dados Parquet.
- O Lakehouse sem fronteiras não é compatível com tabelas do Apache Iceberg V3.
- As migrações de metadados de Data Catalogs externos para tabelas de catálogo REST do Lakehouse para Apache Iceberg não oferecem suporte ao uso de políticas da organização para aplicar o compartilhamento restrito por domínio.
Antes de começar
Antes de migrar metadados dos seus Data Catalogs externos, siga as etapas nas seções a seguir.
Ativar APIs
Ative as APIs BigLake, BigQuery Data Transfer, BigQuery Migration, Secret Manager e Storage Transfer, se ainda não estiverem ativadas.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você
criou o projeto, provavelmente já tem essa permissão pelo
papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo
papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin).
Saiba como conceder papéis.
Um agente de serviço é criado quando você ativa a API Data Transfer.
Configurar permissões
Para migrar metadados de um Data Catalog externo para tabelas do catálogo REST do Lakehouse para o Apache Iceberg, conceda as permissões necessárias para as seguintes contas de usuário e agentes de serviço.
Por padrão, a página do IAM do console do Google Cloud oculta os agentes serviço gerenciado pelo Google, incluindo o agente de serviço de migração do BigQuery e o agente do serviço de transferência de dados do BigQuery. Para incluir esses agentes de serviço, clique na conta de serviço e, em Principais com acesso, selecione Incluir concessões de papel fornecidas pelo Google.

Conceder permissões de conta de usuário
Para receber as permissões necessárias para selecionar e anexar a conta de serviço personalizada ao job de migração no console, peça ao administrador para conceder a você os seguintes papéis do IAM na conta de serviço personalizada no nível do recurso:
- Usuário da conta de serviço (
roles/iam.serviceAccountUser) - Editor de gerenciamento de migração (
roles/bigquerymigration.migrationEditor)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Conceder permissões de conta de serviço personalizada
Para garantir que a conta de serviço personalizada tenha as permissões necessárias para instanciar a configuração de transferência, peça ao administrador para conceder os seguintes papéis do IAM à conta de serviço personalizada:
-
Permitir acesso ao anexo de rede:
Administrador de rede do Compute (
roles/compute.networkAdmin) na conta de serviço personalizada -
Acesso ao serviço de transferência de dados do BigQuery:
Administrador do BigQuery (
roles/bigquery.admin) na conta de serviço personalizada -
Permitir acesso aos recursos do Lakehouse:
Editor do BigLake (
roles/biglake.editor) na conta de serviço personalizada -
Acesso a secrets:
Acessador de secrets do Secret Manager (
roles/secretmanager.secretAccessor) no secret fornecido pelo cliente
Para mais informações sobre como conceder papéis a contas de serviço, consulte Gerenciar o acesso a contas de serviço.
Conceder permissões de agente de serviço de migração do BigQuery
Para garantir que o agente de serviço de migração do BigQuery tenha as permissões necessárias para personificar a conta de serviço personalizada e autorizar o Dataproc Metastore durante a descoberta, peça ao administrador para conceder o papel do IAM de Criador de token da conta de serviço (roles/iam.serviceAccountTokenCreator) ao agente de serviço de migração do BigQuery na conta de serviço personalizada no nível do recurso.
Para mais informações sobre como conceder papéis a agentes de serviço, consulte Gerenciar o acesso a contas de serviço.
Você também precisa criar uma identidade de serviço
para o BigQuery Migration Service e conceder a ela o papel
roles/iam.serviceAccountTokenCreator. Para criar a identidade de serviço, execute o seguinte comando:
gcloud beta services identity create --service=bigquerymigration.googleapis.com --project=PROJECT_ID
Substitua PROJECT_ID pelo ID do projeto.
Conceder permissões de agente do serviço de transferência de dados do BigQuery
Para garantir que o agente do serviço de transferência de dados do BigQuery tenha as permissões necessárias para registrar tabelas no Lakehouse e organizar a transferência de arquivos, peça ao administrador para conceder os seguintes papéis do IAM ao agente do serviço de transferência de dados do BigQuery no nível do projeto:
- Administrador do BigLake (
roles/biglake.admin) - Administrador do Storage Transfer (
roles/storagetransfer.admin) - Administrador de armazenamento (
roles/storage.admin) - Consumidor do Service Usage (
roles/serviceusage.serviceUsageConsumer)
Para mais informações sobre como conceder papéis a agentes de serviço, consulte Gerenciar o acesso a contas de serviço.
Configurar secret
Se você estiver migrando para um catálogo REST do Apache Iceberg, crie um secret para autorizar a migração. O secret precisa estar no seguinte formato:
{
"client_id": "CLIENT_ID",
"client_secret": "CLIENT_SECRET",
"polaris_realm": "POLARIS_REALM",
"scope": "SCOPE"
}Substitua:
CLIENT_ID: o ID do cliente OAuth 2.0CLIENT_SECRET: a chave secreta do cliente OAuth 2.0.POLARIS_REALM: o realm do catálogo do Polaris. Esse campo é obrigatório apenas para o Apache Polaris. Por exemplo,FINANCE.SCOPE: (opcional) o escopo do OAuth 2.0. O valor padrão éPRINCIPAL_ROLE:ALL.
Criar um catálogo do Lakehouse
Crie um catálogo do Lakehouse. Os metadados migrados são armazenados no bucket do Cloud Storage que você especificou ao criar o catálogo.
Migrar metadados
Para iniciar uma migração de metadados para tabelas do catálogo REST do Lakehouse Iceberg, faça o seguinte:
No console do Google Cloud , acesse a página Migração > Serviços.
Em Registrar ou migrar o Open Lakehouse, clique em Criar migração.
Em Configuração da migração, faça o seguinte:
- Em "Tipo de catálogo", selecione um catálogo externo.
Em Região, selecione uma região. A região selecionada determina onde a orquestração da migração e a transferência de dados são executadas. Ele também determina onde o serviço de migração usa ou cria recursos, como anexos de rede ou secrets.
Somente secrets regionais são compatíveis. A região do secret precisa corresponder à região neste campo.
Em Nome de exibição da migração, insira um nome para essa migração.
Em Configuração do sistema de origem, faça o seguinte:
- Em URL, insira o URL do endpoint base que atua como o ponto de entrada para o metastore do Apache Iceberg ou do Apache Hive.
- Em Conta de serviço, selecione uma conta de serviço na lista. Se não for especificado, essa migração será executada usando a credencial do usuário.
- (Opcional) Em Anexo de rede, selecione um anexo de rede.
Clique em Continuar.
Quando a migração de metadados é concluída, os metadados dos seus catálogos externos são armazenados no bucket do Cloud Storage que você especificou ao criar o catálogo do Lakehouse.
Preços
Não há custo para transferir metadados para tabelas do catálogo REST do Iceberg do Lakehouse. Depois que os metadados forem transferidos, os preços do Lakehouse serão aplicados.