Introdução à migração do BigQuery

O serviço de migração do BigQuery é uma solução abrangente que permite migrar seu data warehouse para o BigQuery. Ele oferece ferramentas para cada fase da migração, incluindo avaliação e planejamento, tradução de SQL para vários dialetos SQL e transferência de dados para ajudar você a fazer a transição das cargas de trabalho com o mínimo de esforço manual.

Para acessar o serviço de migração do BigQuery, no console do Google Cloud , acesse a página do BigQuery e selecione Migração > Serviços.

Recursos e ferramentas de migração

Com o BigQuery Migration Service, é possível:

Também é possível usar as seguintes ferramentas de código aberto para ajudar no processo de migração:

  • Ferramenta de migração de dados: use a ferramenta de migração de dados para automatizar a migração do data warehouse para o BigQuery. A ferramenta usa o serviço de transferência de dados do BigQuery, os serviços de tradução do BigQuery e a ferramenta de validação de dados para transferir dados, traduzir e validar consultas DDL, DML e SQL.
  • Ferramenta de validação de dados: depois de migrar os dados para o BigQuery, execute a ferramenta de validação de dados para verificar se as tabelas de origem e de destino são iguais.
  • Mapeador de permissões do BigQuery: use o mapeador de permissões para automatizar a criação e a manutenção de mapas de permissões modificáveis pelo usuário. É possível usar o mapeador de permissões para analisar e reconciliar permissões e grupos de usuários duplicados, além de gerar relatórios de erros. A ferramenta gera scripts JSON e Terraform para a criação de grupos, usuários e vinculações do BigQuery.
  • Modelos do Serviço Gerenciado para Apache Airflow: use os modelos do Serviço Gerenciado para Apache Airflow para simplificar a criação de novos DAGs do Airflow ou a migração de jobs orquestrados atuais do ambiente local para a nuvem.
  • Cloud Foundation Fabric: confira exemplos e módulos do Terraform para o Google Cloud, incluindo um blueprint de zona de destino para toda a organização, blueprints de referência para padrões de rede e recursos de produtos, além de uma biblioteca de módulos adaptáveis.

Origens de migração

O serviço de migração do BigQuery é compatível com a migração dos seguintes data warehouses para o BigQuery:

Cotas

As cotas e os limites se aplicam ao número de jobs e ao tamanho dos arquivos. Para mais informações sobre cotas e limites do serviço de migração, consulte Cotas e limites.

Preços

Não há custos para usar a API Migration BigQuery. No entanto, o armazenamento usado para arquivos de entrada e saída gera taxas normais. Para mais informações, consulte preços de armazenamento.

Além disso, é possível usar a funcionalidade de estimativa de custos no Google Cloud Migration Center para gerar uma estimativa de custo da execução da configuração do data warehouse que você migra para o BigQuery. Para mais informações, consulte Iniciar uma estimativa de custos e Especificar requisitos do armazenamento em data warehouse.

A seguir