Introdução à migração do BigQuery

O serviço de migração do BigQuery é uma solução abrangente para migrar seu armazenamento de dados para o BigQuery. Ele inclui recursos que ajudam em cada fase da migração, incluindo avaliação e planejamento, tradução de SQL para uma variedade de dialetos de SQL e transferência de dados.

Para encontrar o Serviço de migração do BigQuery no console do BigQuery, acesse Migração > Serviços.

Com o BigQuery Migration Service, é possível fazer o seguinte:

Você também pode usar as seguintes ferramentas de código aberto para ajudar no processo de migração:

  • Ferramenta de migração de dados: use a ferramenta de migração de dados para automatizar a migração do data warehouse para o BigQuery. A ferramenta usa o serviço de transferência de dados do BigQuery, os serviços de tradução do BigQuery e a ferramenta de validação de dados para transferir dados, traduzir e validar consultas DDL, DML e SQL.
  • Ferramenta de validação de dados: depois de migrar os dados para o BigQuery, execute a ferramenta de validação de dados para confirmar se as tabelas de origem e de destino correspondem.
  • Mapeador de permissões do BigQuery: use o mapeador de permissões para automatizar a criação e manutenção de mapas de permissões modificáveis pelo usuário. É possível usar o mapeador de permissões para analisar e conciliar permissões e grupos de usuários duplicados, além de gerar relatórios de erros. A ferramenta gera scripts JSON e do Terraform para criação de grupos, usuários e vinculações do BigQuery.
  • Modelos do Serviço Gerenciado para Apache Airflow: use os modelos do Serviço Gerenciado para Apache Airflow para simplificar a criação de novos DAGs do Airflow ou a migração de jobs orquestrados atuais do ambiente local para a nuvem.
  • Cloud Foundation Fabric: confira exemplos e módulos do Terraform para Google Cloud, incluindo um blueprint de landing zone em toda a organização, blueprints de referência para padrões de rede e recursos de produtos, além de uma biblioteca de módulos adaptáveis.

Origens de migração

O serviço de migração do BigQuery é compatível com a migração dos seguintes data warehouses para o BigQuery:

Cotas

As cotas e os limites se aplicam ao número de jobs e ao tamanho dos arquivos. Para mais informações sobre cotas e limites do serviço de migração, consulte Cotas e limites.

Preços

Não há custos para usar a API Migration BigQuery. No entanto, o armazenamento usado para arquivos de entrada e saída gera taxas normais. Para mais informações, consulte preços de armazenamento.

Além disso, é possível usar a funcionalidade de estimativa de custos no Google Cloud Migration Center para gerar uma estimativa de custo da execução da configuração do data warehouse que você migra para o BigQuery. Para mais informações, consulte Iniciar uma estimativa de custos e Especificar requisitos de armazenamento de dados.

A seguir