Criar um fluxo do Cloud SQL usando o fluxo automatizado

O fluxo de configuração de stream automatizado no Datastream permite replicar dados de uma instância do Cloud SQL para o BigQuery diretamente da página de visão geral da instância. Esse fluxo é compatível com as origens do Cloud SQL para PostgreSQL, Cloud SQL para MySQL e Cloud SQL para SQL Server. O Datastream configura automaticamente a conexão de nuvem privada virtual (VPC), as configurações do banco de dados de origem e os recursos de stream.

Para usar o fluxo automatizado, a instância de origem do Cloud SQL precisa ter o acesso a serviços particulares ativado e usar interfaces do Private Service Connect. Para mais informações sobre os requisitos de origem, consulte Antes de começar.

Antes de começar

1. Ative as APIs Datastream, Conectividade de rede e Compute Engine.
2. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM) para criar e gerenciar recursos do Datastream. Consulte a seção a seguir para mais detalhes.
3. Criar e configurar um banco de dados de origem do Cloud SQL para replicação. Para mais informações, consulte Configurar origens.
4. Verifique se o banco de dados de origem está configurado para usar o acesso a serviços particulares.

5. Para instâncias do Cloud SQL para PostgreSQL: recomendamos que você ative a replicação lógica para sua instância antes de criar o stream. Se você não ativar a replicação lógica, o Datastream vai fazer isso por você, o que reinicia a instância de origem.

   Observação :para saber como ativar a replicação lógica em uma instância do Cloud SQL para PostgreSQL, consulte Configurar um banco de dados do Cloud SQL para PostgreSQL para CDC.

6. Para instâncias do Cloud SQL para MySQL: ative a recuperação pontual na instância do Cloud SQL para MySQL e verifique se a versão do banco de dados é 8.0.14 ou mais recente. O Datastream só permite ativar a recuperação pontual no nível de backup Standard ao usar a configuração de stream automatizada.

   Observação :o Datastream usa a replicação baseada em GTID ao usar o fluxo de configuração de stream automatizado.

7. Para instâncias do Cloud SQL para SQL Server: verifique se o Datastream é compatível com a versão do SQL Server usada pela instância.

Permissões necessárias

Para usar o fluxo de criação de stream automatizado, você precisa dos seguintes papéis ou permissões do Identity and Access Management (IAM):

• serviceusage.services.enable, compute.networkAdmin para ativar as APIs necessárias e realizar tarefas de configuração de rede.
• cloudsql.admin para tarefas de configuração de instâncias.
• datastream.admin para tarefas de administração que o Datastream realiza em seu nome.

Permissões adicionais necessárias para o Cloud SQL para PostgreSQL

• Verifique se você concedeu acesso a todos os esquemas e tabelas no banco de dados selecionado ao papel postgres ou cloudsqlsuperuser. Como o fluxo automatizado inclui todos os esquemas e tabelas no banco de dados por padrão, a criação do stream falhará se o usuário do banco de dados criado automaticamente não tiver permissões em nenhum esquema ou tabela.

• Se você optar por personalizar as configurações do fluxo, o usuário administrador do banco de dados também precisará de permissões GRANT para o esquema que você quer replicar e de algumas permissões adicionais para tarefas administrativas e estruturais no banco de dados de origem. Conecte-se ao banco de dados de origem e execute o seguinte:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  Observação: o papel cloudsqlsuperuser é necessário para que o Datastream crie a publicação para todas as tabelas na instância do banco de dados.

• As tabelas futuras serão adicionadas automaticamente ao stream somente se forem criadas pelo usuário cujos detalhes da conta você fornecer para autenticação durante o fluxo automatizado. Se uma tabela futura for criada por um usuário diferente, ele precisará conceder explicitamente ao usuário leitor do Datastream a permissão SELECT na tabela.

Criar e iniciar o stream

Para criar e iniciar uma transmissão, siga estas etapas:

Console

1. Acesse a página de visão geral da instância do banco de dados de origem do Cloud SQL.

   Acesse "Instâncias do Cloud SQL"

2. Selecione a instância de onde você quer transmitir dados.

3. Na seção Replicar dados para o BigQuery, clique em Iniciar stream.

4. O painel Iniciar stream para replicar dados é aberto.

5. Para origens do Cloud SQL para PostgreSQL e do Cloud SQL para MySQL, em Configurações do stream, revise as configurações padrão do stream que você criar. Para origens do Cloud SQL para SQL Server, acesse a seção Personalizar configurações de stream.

   Observação :para origens do Cloud SQL para PostgreSQL, o Datastream seleciona um banco de dados padrão, que pode ser alterado em Configurações do stream.

6. Se estiver tudo pronto para criar e iniciar sua transmissão, clique em Iniciar transmissão.

   Observação: se você não precisar personalizar as configurações, o Datastream vai usar as credenciais do usuário conectado para todas as configurações do banco de dados. Não é necessário fornecer mais detalhes de autenticação do IAM ou do banco de dados integrado. Ao usar esse fluxo com o Cloud SQL para PostgreSQL, o Datastream cria um usuário de banco de dados com os papéis cloudsqlsuperuser e postgres. Verifique se você concedeu permissões de acesso a todos os esquemas e tabelas no banco de dados selecionado para o papel postgres ou cloudsqlsuperuser.

Se você precisar mudar as configurações do stream, clique em Personalizar.

Personalizar configurações de transmissão

Quando você clica em Personalizar, a página Personalizar configurações de transmissão é exibida. Verifique se você tem as permissões necessárias para personalizar as configurações do stream.

Primeiros passos

1. Na página Começar, informe o nome do stream no campo Nome do stream. Um identificador exclusivo é preenchido automaticamente.

2. Na seção Fornecer os detalhes da conta de usuário da instância, selecione o método de autenticação:

   • Autenticação do banco de dados do IAM: essa opção estará disponível se o usuário tiver a identidade principal do Identity and Access Management (IAM) atribuída. Para mais informações, consulte Principais do IAM. Se você selecionar essa opção, precisará conceder manualmente o papel cloudsqlsuperuser e a permissão CREATEROLE ao usuário:

     1. No console do Google Cloud , acesse a página Instâncias do Cloud SQL.

     Acesse "Instâncias do Cloud SQL"

     1. Selecione sua instância do Cloud SQL.
     2. No menu de navegação, clique em Cloud SQL Studio e faça login.
     3. No painel Explorador, execute a seguinte consulta para seu usuário:

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autenticação de banco de dados integrada: forneça o nome de usuário e a senha de um usuário com o papel cloudsqlsuperuser. Se você selecionar essa opção, verifique se o usuário tem permissões GRANT nas tabelas que quer replicar.

3. Revise outros detalhes do stream, como região, criptografia e rótulos. Abra a seção Detalhes adicionais do stream para aplicar mudanças, se necessário.

4. Clique em Continuar.

Configurar origem

1. Na página Configurar origem do stream, selecione o banco de dados de onde você quer replicar os dados.

   Observação: o Datastream mostra apenas os bancos de dados para os quais o usuário tem as permissões necessárias. Se você não conseguir ver um banco de dados que quer usar, talvez seu usuário não tenha as permissões necessárias.

2. A lista Objetos a serem incluídos seleciona todos os objetos disponíveis por padrão. Os objetos na lista são aqueles para os quais você tem as permissões necessárias para fazer streaming. Para mudar os objetos selecionados, modifique as seleções na lista.

3. Revise as configurações avançadas de stream, como o modo de preenchimento e o número máximo de conexões de preenchimento simultâneas. Expanda a seção Configurações avançadas de stream para implementar mudanças, se necessário.

4. Clique em Continuar.

Configurar destino

1. Na página Configurar destino, ajuste as configurações de destino do BigQuery, se necessário. Para mais informações, consulte Configurar informações sobre o destino do stream.

Criar e iniciar o stream

1. Clique em Criar e iniciar mais tarde para criar o stream e iniciá-lo mais tarde no Datastream ou em Iniciar para criar e iniciar o stream imediatamente.

   Importante: clicar em Iniciar reinicia a instância do Cloud SQL para PostgreSQL. Se você não tiver a decodificação lógica ativada para sua instância, o Datastream vai ativá-la para você.

2. Você recebe notificações sobre as tarefas que são realizadas automaticamente para você:

   • O Datastream cria os recursos necessários da nuvem privada virtual, como intervalo de endereços IP interno, sub-rede e anexo de rede.
   • O Datastream configura tabelas para CDC, configura slots de replicação, configura uma publicação para todas as tabelas no banco de dados e cria um usuário dedicado do Datastream.
   • O Datastream cria uma configuração de conectividade privada e perfis de conexão de origem e destino.

3. Confirme que você quer criar ou criar e iniciar o stream.

Monitorar o stream

É possível monitorar os detalhes básicos do stream na página de visão geral da instância de origem no console do Google Cloud . A página exibe informações como status do stream, nome do stream, conjunto de dados de destino do BigQuery e identificador do projeto de destino.

Na página de visão geral, também é possível realizar ações como iniciar ou pausar o stream. Para informações de monitoramento mais granulares, clique no nome do stream para navegar até o Datastream.

Excluir o stream

Quando você exclui um stream criado usando o fluxo automatizado, alguns recursos, como o slot de replicação do PostgreSQL, são excluídos automaticamente. No entanto, há recursos que você precisa excluir manualmente:

• A publicação. A publicação é criada usando o usuário administrador do banco de dados e só pode ser excluída pelo proprietário, ou seja, por padrão, o usuário que a criou.
• O usuário leitor do Datastream.
• Os perfis de conexão de origem e destino do Datastream
• Os recursos de conectividade privada.
• Todos os recursos de rede criados durante o fluxo automatizado, como a sub-rede e o anexo de rede.

A seguir

• Saiba como criar um stream manualmente.
• Saiba como monitorar streams.