Replicar dados do MySQL para o BigQuery

Este tutorial mostra como criar e implementar uma tarefa que replica continuamente os dados alterados de uma base de dados MySQL para uma tabela do BigQuery.

Instale o MySQL no Compute Engine

1. Transfira uma imagem Docker do servidor MySQL.

2. Carregue a sua imagem do Docker para o Artifact Registry.

3. Implemente a sua imagem de Docker numa nova instância de VM.

   Nota: para implementar a imagem na nova instância de VM, o serviço Compute Engine tem de ter a função Leitor do Artifact Registry (roles/artifactregistry.reader).

4. Na página Discos do Compute Engine, altere o tamanho do disco para 500 GB e reinicie a VM.

   Aceda a Discos

5. Crie uma firewall para a instância de VM.

6. Instale a base de dados de exemplo Sakila.

Ative a replicação na sua base de dados MySQL

Para ativar a replicação, configure a captura de dados de alterações (CDC) no MySQL.

Pode ter de contactar o administrador da base de dados para obter autorizações para executar os comandos.

Crie e execute uma tarefa de replicação do Cloud Data Fusion

Carregue o controlador JDBC

Nota: use a versão 8 ou posterior do controlador JDBC.

1. Transfira o controlador JDBC do MySQL (versão 8 ou superior) para a sua máquina local.

2. Na interface Web do Cloud Data Fusion, carregue o controlador JDBC.

   Use estes valores para configurar o controlador JDBC:

   • No campo Nome, introduza mysql.
   • No campo Versão, mantenha a predefinição.
   • No campo Nome da turma, introduza com.mysql.jdbc.Driver.

Crie o trabalho

1. Na interface Web do Cloud Data Fusion, clique em Replicação.

2. Clique em Criar tarefa de replicação.

3. Na página Criar nova tarefa de replicação, especifique um Nome para a tarefa de replicação e clique em Seguinte.

4. Configure a origem:

   1. Selecione MySQL como origem.
   2. Em Anfitrião, introduza o nome do anfitrião do servidor MySQL a partir do qual quer ler.
   3. Para Porta, introduza a porta a usar para estabelecer ligação ao servidor MySQL: 3306.
   4. Para Nome do plug-in JDBC , selecione mysql ou o nome que especificou quando configurou o controlador JDBC.
   5. Em Nome da base de dados, introduza sakila.
   6. Na secção Credenciais, introduza o seu nome de utilizador e palavra-passe para aceder ao servidor MySQL.

5. Clicar em Seguinte.

6. Configure o alvo:

   1. Selecione o destino do BigQuery.
   2. O ID do projeto e a chave da conta de serviço são detetados automaticamente. Mantenha os valores predefinidos.
   3. Opcional: na secção Avançadas, configure o nome, a localização, o intervalo de carregamento, o prefixo da tabela de preparação e o comportamento do contentor quando as tabelas ou as bases de dados são eliminadas.

7. Clicar em Seguinte.

8. Se a ligação for bem-sucedida, é apresentada uma lista de tabelas da base de dados de exemplo Sakila. Para este tutorial, selecione algumas tabelas e eventos para replicar, como eventos de inserção, atualização e eliminação.

9. Opcional: configure as propriedades avançadas. Para este tutorial, pode usar as predefinições.

10. Clicar em Seguinte.

11. Na página Rever avaliação, clique em Ver mapeamentos em qualquer uma das tabelas para ver uma avaliação dos problemas de esquema, das funcionalidades em falta ou dos problemas de conetividade que possam ocorrer durante a replicação. Se ocorrerem problemas, têm de ser resolvidos antes de poder continuar. Para este tutorial, se alguma das tabelas tiver problemas, volte ao passo em que selecionou tabelas e escolha tabelas ou eventos (inserções, atualizações ou eliminações) sem problemas.

    Para mais informações acerca das conversões de tipos de dados da base de dados de origem para o destino do BigQuery, consulte o artigo Tipos de dados de replicação.

12. Clicar em Seguinte.

13. Reveja os detalhes do trabalho de replicação do resumo e, de seguida, clique em Implementar trabalho de replicação.

Inicie a tarefa

• Na página Detalhes da tarefa de replicação, clique em Iniciar.

A tarefa de replicação transita do estado Aprovisionamento para o estado Início e, de seguida, para o estado Em execução. No estado de execução, a tarefa de replicação carrega uma captura instantânea inicial dos dados da tabela que selecionou no BigQuery. Neste estado, o estado da tabela é apresentado como Snapshotting. Depois de o instantâneo inicial ser carregado no BigQuery, todas as alterações feitas à tabela são replicadas no BigQuery, e o estado da tabela é apresentado como A replicar.

Monitorize o trabalho

Pode iniciar e parar a tarefa de replicação, rever a respetiva configuração e registos, e monitorizar a tarefa de replicação.

Pode monitorizar as atividades das tarefas de replicação na página Detalhes da tarefa de replicação.

1. Na página Replicação, clique no Nome da tarefa de replicação.

2. Clique em Monitorização.

Veja os resultados no BigQuery

A tarefa de replicação cria um conjunto de dados e uma tabela replicados no BigQuery, com nomes herdados da base de dados e dos nomes das tabelas correspondentes do MySQL.

Nota: se o nome da base de dados de origem não seguir as convenções de nomenclatura do conjunto de dados do BigQuery ou se tiver conflitos de nomenclatura quando replicar vários conjuntos de dados num único conjunto de dados do BigQuery, especifique alias nas propriedades de destino do BigQuery.

1. Na Google Cloud consola, aceda à página do BigQuery.

   Aceda ao BigQuery

2. No painel esquerdo, selecione o nome do projeto para expandir uma lista de conjuntos de dados.

3. Para ver os resultados, selecione o conjunto de dados sakila e selecione uma tabela.

Para mais informações, consulte a documentação do BigQuery.