Ferramentas de migração

Recomendamos usar as seguintes ferramentas para ajudar em várias etapas da migração do Spanner, dependendo do banco de dados de origem e de outros fatores. Algumas ferramentas são compatíveis apenas com determinados bancos de dados de origem. Para algumas etapas do processo de migração, não há ferramenta disponível. Portanto, é necessário concluir essas etapas manualmente.

• A ferramenta de migração do Spanner (SMT) é uma ferramenta de código aberto que realiza avaliações, conversão de esquema e migrações de dados. Para informações sobre como configurar a ferramenta de migração do Spanner, consulte Configurar a ferramenta de migração do Spanner.

• O Datastream é um serviço do Google Cloud que permite ler eventos de captura de dados alterados (CDC) e dados em massa de um banco de dados de origem e gravar em um destino especificado.

• A migração de dados em massa é um modelo do Dataflow que permite migrar grandes conjuntos de dados do MySQL diretamente para o Spanner.

• A migração de dados em tempo real usa o Datastream e o Dataflow para migrar:

  • Dados atuais no banco de dados de origem.
  • Fluxo de mudanças feitas no banco de dados de origem durante a migração.

• A Ferramenta de validação de dados (DVT) é um método padronizado de validação de dados criado pelo Google e com suporte da comunidade de código aberto. É possível integrar a DVT aos produtos Google Cloud atuais.

• A avaliação de migração de banco de dados (DMA) oferece uma avaliação básica para migrar o MySQL e o PostgreSQL para o Spanner.

Ferramentas de migração para bancos de dados de origem MySQL

Se o banco de dados de origem for o MySQL, será possível realizar algumas das etapas iniciais da migração usando arquivos de despejo do MySQL. É necessário se conectar diretamente ao banco de dados MySQL de origem em execução para concluir uma migração de produção.

Observação: se o banco de dados de origem não for MySQL ou PostgreSQL e você tiver um arquivo dump de amostra em formato CSV, Avro ou Parquet, carregue o arquivo no BigQuery e copie para o Spanner usando a ETL reversa. Para todas as outras etapas de migração, você precisa avaliar soluções personalizadas.

A tabela a seguir recomenda ferramentas de migração com base na etapa da migração e se você está usando um arquivo dump ou conectando diretamente o banco de dados de origem:

Etapa de migração	Arquivo de despejo	Conexão direta ao banco de dados de origem
Avaliação	Use SMT com mysqldump.	Use SMT com mysqldump.
Conversão de esquema	Use SMT com mysqldump.	Use o SMT para configurar e converter o esquema.
Carga de dados de amostra	Se o arquivo dump de amostra tiver menos de 100 GB, use o SMT no modo POC. Se o arquivo dump de exemplo tiver mais de 100 GB, exporte-o para o Cloud SQL e faça uma migração em massa. Se o arquivo dump de amostra estiver em um formato CSV, Avro ou Parquet, carregue o arquivo no BigQuery e copie para o Spanner usando ETL reversa.	Faça uma migração em massa.
Migração de dados	Não relevante	Faça uma migração em massa e depois uma migração com tempo de inatividade mínimo.
Validação de dados	Não relevante	Use DVT.
Configuração de migração e substituição	Não relevante	Use SMT para replicação inversa.

Ferramentas de migração para bancos de dados de origem do PostgreSQL

Se o banco de dados de origem usar o PostgreSQL, você poderá realizar algumas das etapas de migração usando um arquivo dump do PostgreSQL. É preciso se conectar diretamente ao banco de dados PostgreSQL de origem em execução para concluir a migração.

A tabela a seguir recomenda ferramentas de migração com base na etapa da migração e se você está trabalhando com um arquivo dump ou se conectando diretamente do banco de dados de origem:

Etapa de migração	Arquivo de despejo	Conexão direta ao banco de dados de origem
Avaliação	Use SMT com pg_dump.	Use a DMA.
Conversão de esquema	Use SMT com pg_dump.	Use a SMT para configurar e converter o esquema.
Carga de dados de amostra	Se o arquivo dump de amostra tiver menos de 100 GB, use o SMT no modo POC. Se o arquivo dump de exemplo tiver mais de 100 GB, exporte-o para o Cloud SQL e faça uma migração com tempo de inatividade mínimo. Se o arquivo dump de amostra estiver em um formato CSV, Avro ou Parquet, carregue o arquivo no BigQuery e copie para o Spanner usando a ETL reversa.	Faça uma migração com tempo mínimo de inatividade.
Migração de dados	Não relevante	Faça uma migração com tempo mínimo de inatividade.
Validação de dados	Não relevante	Use DVT.
Configuração de migração e substituição	Não relevante	Não relevante

Ferramentas de migração para bancos de dados de origem do Cassandra

Pré-lançamento — Cassandra

Este recurso está sujeito aos "Termos da Oferta Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis no estado em que se encontram e podem ter assistência limitada. Para mais informações, consulte as descrições das fases de lançamento.

O Spanner oferece uma interface compatível com o Cassandra que aceita mudanças quase nulas no código do aplicativo ao migrar do Cassandra para o Spanner. Para mais informações sobre detalhes de compatibilidade, consulte a Visão geral do Cassandra.

A tabela a seguir recomenda ferramentas de migração com base no estágio da migração:

Estágio da migração	Ferramenta ou processo recomendado
Avaliação	Não relevante
Conversão de esquema	Ferramenta de conversão de esquema
Migração de dados	Migração em massa: use o modelo do Sourcedb para o Spanner Dados ativos: use o proxy ZDM do DataStax.
Validação de dados	Validar a contagem de linhas de dados Validar o conteúdo da linha de dados Para bancos de dados de grande escala (mais de 10 milhões de linhas), crie suas próprias ferramentas. Para mais informações, consulte Dicas para validar o Cassandra usando a correspondência de linhas. Para bancos de dados de pequena escala (<10 milhões de linhas), consulte os scripts de validação de amostra no GitHub.
Configuração de failover	Use a CLI da ferramenta de migração do Spanner (SMT) no GitHub para fazer a replicação inversa.