Como replicar dados do MySQL para o BigQuery

Neste tutorial, mostramos como criar e implantar um job que replica continuamente os dados alterados de um banco de dados MySQL para uma tabela do BigQuery.

Objetivos

Neste tutorial, você aprenderá a:

1. Implante o banco de dados MySQL no Compute Engine.
2. Configure seu banco de dados MySQL para ativar a replicação.
3. Criar e executar um job de replicação do Cloud Data Fusion.
4. Ver os resultados no BigQuery.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

• Cloud Data Fusion
• BigQuery
• Dataproc
• Cloud Storage
• Compute Engine

Para gerar uma estimativa de custo baseada na projeção de uso, use a calculadora de preços.

Novos Google Cloud usuários podem estar qualificados para um teste sem custo financeiro.

Quando a replicação é executada, você é cobrado pelo cluster do Dataproc e há custos de processamento para o BigQuery. Para otimizar esses custos, recomendamos que você use os preços fixos do BigQuery .

Antes de começar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

4. Crie uma instância pública do Cloud Data Fusion na versão 6.3.0 ou mais recente. Se você criar uma instância particular, configure o peering de rede VPC.
   • Ao criar a instância, ative a replicação clicando em Adicionar aceleradores e marcando a caixa de seleção Replicação.
   • Para ativá-la em uma instância atual, consulte Ativar a replicação.

**Importante**: é necessário ativar a replicação na instância para que ela apareça na interface da Web do Cloud Data Fusion **Menu** (consulte Ativar a replicação).

Funções exigidas

Para receber as permissões necessárias para este tutorial, consulte Controle de acesso com o IAM e Conceder permissão de usuário da conta de serviço.

Instalar o MySQL no Compute Engine

1. Faça o download de uma imagem Docker do MySQL Server.

2. Faça upload da imagem do Docker para o Artifact Registry.

3. Implante sua imagem Docker em uma nova instância de VM.

   **Observação** :para implantar a imagem na nova instância de VM, o serviço do Compute Engine precisa ter o papel de leitor do Artifact Registry (roles/artifactregistry.reader).

4. Na página Discos do Compute Engine, altere o tamanho do disco para 500 GB e reinicie a VM.

   Acessar "Discos"

5. Crie um firewall para a instância de VM.

6. Instale o banco de dados de amostra Sakila.

Ativar a replicação no banco de dados MySQL

Para ativar a replicação, configure a captura de dados alterados (CDC) no MySQL.

Talvez seja necessário entrar em contato com o administrador do banco de dados para receber permissões para executar os comandos.

Criar e executar um job de replicação do Cloud Data Fusion

Fazer upload do driver JDBC

**Observação**: use a versão 8 ou mais recente do driver do JDBC.

1. Faça o download do driver JDBC do MySQL (versão 8 ou superior) para a máquina local.

2. Na interface da Web do Cloud Data Fusion, faça upload do driver JDBC.

   Use estes valores para configurar o driver JDBC:

   • No campo Nome, use mysql.
   • No campo Versão, mantenha o padrão.
   • No campo Class Name, digite com.mysql.jdbc.Driver.

Crie a tarefa

1. Na interface da Web do Cloud Data Fusion, clique em Replicação.

2. Clique em Criar um job de replicação.

3. Na página Criar novo job de replicação, especifique um Nome para o job de replicação e clique em Próxima.

4. Configure a origem:

   1. Selecione MySQL como a origem.
   2. Em Host, digite o nome do host do servidor MySQL para ler.
   3. Em Porta, insira a porta a ser usada para se conectar ao servidor MySQL: 3306.
   4. Em Nome do plug-in JDBC , selecione mysql ou o nome que você especificou quando você configurou o driver JDBC.
   5. Em Nome do banco de dados, insira sakila.
   6. Na seção Credenciais, insira seu nome de usuário e senha para acessar o servidor MySQL.

5. Clique em Próxima.

6. Configure o destino:

   1. Selecione o destino do BigQuery.
   2. O ID do projeto e a chave da conta de serviço são detectados automaticamente. Mantenha os valores padrão.
   3. Opcional: na seção Avançado, configure o nome, o local, o intervalo de carregamento, o prefixo da tabela de preparo e o comportamento do bucket de preparo quando as tabelas ou bancos de dados são descartados.

7. Clique em Próxima.

8. Se a conexão for bem-sucedida, uma lista de tabelas de banco de dados de amostra da Sakila será exibida. Para este tutorial, selecione algumas tabelas e eventos para replicar, como eventos de inserção, atualização e exclusão.

9. Opcional: configure as propriedades avançadas. Neste tutorial, use as configurações padrão.

10. Clique em Próxima.

11. Na página Analisar avaliação , clique em Visualizar mapeamentos em qualquer uma das tabelas para ver uma avaliação dos problemas de esquema, dos recursos ausentes ou dos problemas de conectividade que podem ocorrer durante a replicação. Se ocorrerem problemas, eles precisarão ser resolvidos antes de continuar. Para este tutorial, se alguma das tabelas tiver problemas, volte para a etapa em que você selecionou tabelas e escolha tabelas ou eventos (inserções, atualizações ou exclusões) sem problemas.

    Para mais informações sobre conversões de tipo de dados do banco de dados de origem para o destino do BigQuery, consulte Tipos de dados de replicação.

12. Clique em Próxima.

13. Revise o resumo dos detalhes do job de replicação e clique em Implantar job de replicação.

Iniciar o job

• Na página Detalhes do job de replicação, clique em Iniciar.

O job de replicação é transferido do estado provisionando para Iniciando em Em execução. No estado em execução, o job de replicação carrega um snapshot inicial dos dados da tabela que você selecionou no BigQuery. Nesse estado, o estado da tabela é listado como Snapshot. Depois que o snapshot inicial é carregado no BigQuery, todas as alterações feitas na tabela são replicadas no BigQuery, e o estado da tabela é listado como Replicação.

Monitorar o job

É possível iniciar e interromper o job de replicação, revisar a configuração e os registros dele e monitorar o job.

É possível monitorar as atividades do job de replicação na página Detalhes do job de replicação.

1. Na página Replicação, clique no Nome do job de replicação.

2. Clique em Monitoring.

Ver os resultados no BigQuery

O job de replicação cria um conjunto de dados e uma tabela replicados no BigQuery. Os nomes são herdados dos bancos de dados e nomes de tabelas MySQL correspondentes.

Observação: Se o nome do banco de dados de origem não estiver em conformidade com as convenções de nomenclatura de conjunto de dados do BigQuery ou se você tiver conflitos de nomenclatura ao replicar vários conjuntos de dados em um único conjunto de dados do BigQuery, especifique aliases nas propriedades de destino do BigQuery.

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, selecione o nome do projeto para expandir uma lista de conjuntos de dados.

3. Para visualizar os resultados, selecione o conjunto de dados sakila e selecione uma tabela.

Para saber mais, consulte a documentação do BigQuery.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Depois de concluir este tutorial, libere espaço dos recursos que você criou no Google Cloud para não atingir a cota nem gerar cobranças para você no futuro. Nas seções a seguir, você aprenderá a excluir e desativar esses recursos.

Excluir a instância do Cloud Data Fusion

Siga as instruções para excluir a instância do Cloud Data Fusion.

Excluir o projeto

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No Google Cloud console, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

A seguir

• Saiba mais sobre replicação no Cloud Data Fusion.
• Consulte a referência da API Replication.
• Siga o tutorial para replicar dados do SQL Server para o BigQuery.
• Faça o tutorial Como replicar dados do Oracle para o BigQuery.