Migrar metadados de catálogos de dados externos para tabelas do catálogo REST do Lakehouse para Apache Iceberg

Neste documento, mostramos como migrar metadados de Data Catalogs externos para tabelas de catálogo REST do Lakehouse para Apache Iceberg. O serviço de migração do BigQuery é compatível com a migração de metadados dos seguintes metastores externos:

  • Metastore do Apache Hive
  • Catálogos REST do Apache Iceberg

Limitações

  • As migrações de metadados de Data Catalogs externos para tabelas de catálogo REST do Lakehouse para Apache Iceberg são uma sincronização única. Esse recurso não oferece suporte a sincronizações contínuas ou periódicas. Portanto, as gravações feitas após a migração só ficam visíveis quando você migra novamente.
  • Não é possível usar namespaces aninhados.
  • O catálogo REST do Iceberg só é compatível com arquivos de dados Parquet.
  • O Lakehouse sem fronteiras não é compatível com tabelas do Apache Iceberg V3.
  • As migrações de metadados de Data Catalogs externos para tabelas de catálogo REST do Lakehouse para Apache Iceberg não oferecem suporte ao uso de políticas da organização para aplicar o compartilhamento restrito por domínio.

Antes de começar

Antes de migrar metadados dos seus Data Catalogs externos, siga as etapas nas seções a seguir.

Ativar APIs

Ative as APIs BigLake, BigQuery Data Transfer, BigQuery Migration, Secret Manager e Storage Transfer, se ainda não estiverem ativadas.

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

Ativar as APIs

Um agente de serviço é criado quando você ativa a API Data Transfer.

Configurar permissões

Para migrar metadados de um Data Catalog externo para tabelas do catálogo REST do Lakehouse para o Apache Iceberg, conceda as permissões necessárias para as seguintes contas de usuário e agentes de serviço.

Por padrão, a página do IAM do console do Google Cloud oculta os agentes serviço gerenciado pelo Google, incluindo o agente de serviço de migração do BigQuery e o agente do serviço de transferência de dados do BigQuery. Para incluir esses agentes de serviço, clique na conta de serviço e, em Principais com acesso, selecione Incluir concessões de papel fornecidas pelo Google.

Incluir concessões do papel fornecidas pelo Google

Conceder permissões de conta de usuário

Para receber as permissões necessárias para selecionar e anexar a conta de serviço personalizada ao job de migração no console, peça ao administrador para conceder a você os seguintes papéis do IAM na conta de serviço personalizada no nível do recurso:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Conceder permissões de conta de serviço personalizada

Para garantir que a conta de serviço personalizada tenha as permissões necessárias para instanciar a configuração de transferência, peça ao administrador para conceder os seguintes papéis do IAM à conta de serviço personalizada:

Para mais informações sobre como conceder papéis a contas de serviço, consulte Gerenciar o acesso a contas de serviço.

Conceder permissões de agente de serviço de migração do BigQuery

Para garantir que o agente de serviço de migração do BigQuery tenha as permissões necessárias para personificar a conta de serviço personalizada e autorizar o Dataproc Metastore durante a descoberta, peça ao administrador para conceder o papel do IAM de Criador de token da conta de serviço (roles/iam.serviceAccountTokenCreator) ao agente de serviço de migração do BigQuery na conta de serviço personalizada no nível do recurso.

Para mais informações sobre como conceder papéis a agentes de serviço, consulte Gerenciar o acesso a contas de serviço.

Você também precisa criar uma identidade de serviço para o BigQuery Migration Service e conceder a ela o papel roles/iam.serviceAccountTokenCreator. Para criar a identidade de serviço, execute o seguinte comando:

  gcloud beta services identity create --service=bigquerymigration.googleapis.com --project=PROJECT_ID
  

Substitua PROJECT_ID pelo ID do projeto.

Conceder permissões de agente do serviço de transferência de dados do BigQuery

Para garantir que o agente do serviço de transferência de dados do BigQuery tenha as permissões necessárias para registrar tabelas no Lakehouse e organizar a transferência de arquivos, peça ao administrador para conceder os seguintes papéis do IAM ao agente do serviço de transferência de dados do BigQuery no nível do projeto:

Para mais informações sobre como conceder papéis a agentes de serviço, consulte Gerenciar o acesso a contas de serviço.

Configurar secret

Se você estiver migrando para um catálogo REST do Apache Iceberg, crie um secret para autorizar a migração. O secret precisa estar no seguinte formato:

{
  "client_id": "CLIENT_ID",
  "client_secret": "CLIENT_SECRET",
  "polaris_realm": "POLARIS_REALM",
  "scope": "SCOPE"
}

Substitua:

  • CLIENT_ID: o ID do cliente OAuth 2.0
  • CLIENT_SECRET: a chave secreta do cliente OAuth 2.0.
  • POLARIS_REALM: o realm do catálogo do Polaris. Esse campo é obrigatório apenas para o Apache Polaris. Por exemplo, FINANCE.
  • SCOPE: (opcional) o escopo do OAuth 2.0. O valor padrão é PRINCIPAL_ROLE:ALL.

Criar um catálogo do Lakehouse

Crie um catálogo do Lakehouse. Os metadados migrados são armazenados no bucket do Cloud Storage que você especificou ao criar o catálogo.

Migrar metadados

Para iniciar uma migração de metadados para tabelas do catálogo REST do Lakehouse Iceberg, faça o seguinte:

  1. No console do Google Cloud , acesse a página Migração > Serviços.

    Acessar os serviços de migração

  2. Em Registrar ou migrar o Open Lakehouse, clique em Criar migração.

  3. Em Configuração da migração, faça o seguinte:

    1. Em "Tipo de catálogo", selecione um catálogo externo.
    2. Em Região, selecione uma região. A região selecionada determina onde a orquestração da migração e a transferência de dados são executadas. Ele também determina onde o serviço de migração usa ou cria recursos, como anexos de rede ou secrets.

      Somente secrets regionais são compatíveis. A região do secret precisa corresponder à região neste campo.

    3. Em Nome de exibição da migração, insira um nome para essa migração.

  4. Em Configuração do sistema de origem, faça o seguinte:

    1. Em URL, insira o URL do endpoint base que atua como o ponto de entrada para o metastore do Apache Iceberg ou do Apache Hive.
    2. Em Conta de serviço, selecione uma conta de serviço na lista. Se não for especificado, essa migração será executada usando a credencial do usuário.
    3. (Opcional) Em Anexo de rede, selecione um anexo de rede.
  5. Clique em Continuar.

Quando a migração de metadados é concluída, os metadados dos seus catálogos externos são armazenados no bucket do Cloud Storage que você especificou ao criar o catálogo do Lakehouse.

Preços

Não há custo para transferir metadados para tabelas do catálogo REST do Iceberg do Lakehouse. Depois que os metadados forem transferidos, os preços do Lakehouse serão aplicados.