Criar um fluxo do Cloud SQL usando o fluxo automatizado

Nesta página, descrevemos como criar um stream usando o fluxo de configuração automatizado.

A configuração de stream automatizada simplifica o processo de movimentação de dados de Google Cloud bancos de dados gerenciados para o BigQuery, reduzindo o número de etapas necessárias. O fluxo permite criar um stream diretamente na página de visão geral das instâncias do Cloud SQL. O Datastream automatiza a proteção da conexão VPC entre o stream e o banco de dados de origem, criando configurações de banco de dados e recursos de conexão de stream.

Antes de começar

  1. Ative as APIs Datastream, Conectividade de rede e Compute Engine.
  2. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM) para criar e gerenciar recursos do Datastream. Consulte a seção a seguir para mais detalhes.
  3. Crie e configure um banco de dados de origem do Cloud SQL para replicação. Para mais informações, consulte Configurar origens.
  4. Verifique se o banco de dados de origem está configurado para usar o acesso a serviços particulares.

  5. Para instâncias do Cloud SQL para PostgreSQL: recomendamos ativar a replicação lógica da instância antes de criar o stream. Se você não ativar a replicação lógica, o Datastream vai ativá-la para você, o que reinicia a instância de origem.

  6. Para instâncias do Cloud SQL para MySQL: ative a recuperação pontual da sua instância do Cloud SQL para MySQL e verifique se a versão do banco de dados é 8.0.14 ou mais recente. O Datastream só oferece suporte à ativação da recuperação pontual no nível de backup padrão ao usar a configuração de stream automatizada.

  7. Para instâncias do Cloud SQL para SQL Server: verifique se o Datastream oferece suporte à versão do SQL Server usada pela instância.

Permissões necessárias

Para usar o fluxo de criação de stream automatizado, você precisa dos seguintes papéis ou permissões do Identity and Access Management (IAM):

  • serviceusage.services.enable, compute.networkAdmin para ativar as APIs necessárias e realizar tarefas de configuração de rede.
  • cloudsql.admin para tarefas de configuração de instância.
  • datastream.admin para tarefas de administração que o Datastream realiza em seu nome.

Permissões adicionais necessárias para o Cloud SQL para PostgreSQL

  • Para instâncias do Cloud SQL para PostgreSQL, o usuário administrador do banco de dados também precisa de permissões GRANT para o esquema que você quer replicar e algumas permissões adicionais para tarefas administrativas e estruturais no banco de dados de origem. Conecte-se ao banco de dados de origem e execute o seguinte:

    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
ALTER DEFAULT PRIVILEGES
IN SCHEMA "SCHEMA_NAME"
GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  • As tabelas futuras serão adicionadas automaticamente ao stream somente se forem criadas pelo usuário cujos detalhes da conta você fornecer para autenticação durante o fluxo automatizado. Se uma tabela futura for criada por um usuário diferente, ele precisará conceder explicitamente a permissão SELECT do usuário leitor do Datastream na tabela.

Criar e iniciar o stream

Para criar e iniciar um stream, siga estas etapas:

Console

Primeiros passos

  1. Acesse a página de visão geral da instância do banco de dados de origem do Cloud SQL.

    Acesse "Instâncias do Cloud SQL"

  2. Na seção Transmitir dados para o BigQuery, clique em Criar stream.

  3. Na página Primeiros passos, forneça o nome do stream no campo Nome do stream. Um identificador exclusivo é preenchido automaticamente.

  4. Na seção Fornecer os detalhes da conta de usuário da instância, selecione o método de autenticação:

    • Autenticação de banco de dados do IAM: essa opção está disponível se o usuário tiver a identidade principal do Identity and Access Management (IAM) atribuída. Para mais informações, consulte Principais do IAM. Se você selecionar essa opção, conceda manualmente o papel cloudsqlsuperuser e a permissão CREATEROLE ao usuário:

      1. No Google Cloud console, acesse a página Instâncias do Cloud SQL.

      Acesse "Instâncias do Cloud SQL"

      1. Selecione a instância do Cloud SQL.
      2. No menu de navegação, clique em Cloud SQL Studio e faça login.
      3. No painel Explorer, execute a seguinte consulta para o usuário:
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Autenticação de banco de dados integrada: forneça o nome de usuário e a senha de um usuário com o cloudsqlsuperuser papel. Se você selecionar essa opção, verifique se o usuário tem permissões GRANT nas tabelas que quer replicar.

  5. Analise outros detalhes do stream, como região, criptografia e rótulos. Expanda a seção Outros detalhes do stream para aplicar as mudanças, se necessário.

  6. Clique em Continuar.

Configurar origem

  1. Na página Configurar origem do stream, selecione o banco de dados do qual você quer replicar os dados.

  2. A lista Objetos a serem incluídos seleciona todos os objetos disponíveis por padrão. Os objetos na lista são aqueles para os quais você tem as permissões necessárias para transmitir. Para mudar os objetos selecionados, modifique as seleções na lista.

  3. Analise as configurações avançadas do stream, como o modo de preenchimento e o número máximo de conexões de preenchimento simultâneas. Expanda a seção Configurações avançadas do stream para aplicar as mudanças, se necessário.

  4. Clique em Continuar.

Configurar destino

  1. Na página Configurar destino, ajuste as configurações de destino do BigQuery, se necessário. Para mais informações, consulte Configurar informações sobre o destino do stream.

Criar e iniciar o stream

  1. Clique em Criar e iniciar mais tarde para criar o stream e iniciá-lo mais tarde no Datastream ou em Iniciar para criar e iniciar o stream imediatamente.

  2. Você vai receber uma notificação sobre as tarefas realizadas automaticamente:

    • O Datastream cria os recursos necessários da nuvem privada virtual, como intervalo de endereços IP internos, sub-rede e anexo de rede.
    • O Datastream configura tabelas para CDC, slots de replicação e uma publicação para todas as tabelas no banco de dados e cria um usuário dedicado do Datastream.
    • O Datastream cria uma configuração de conectividade privada e perfis de conexão de origem e destino.

  3. Confirme que você quer criar ou criar e iniciar o stream.

Monitorar o stream

É possível monitorar os detalhes básicos do stream na página de visão geral da instância de origem no console Google Cloud . A página mostra informações como status do stream, nome do stream, conjunto de dados de destino do BigQuery e identificador do projeto de destino.

Na página de visão geral, também é possível realizar ações como iniciar ou pausar o stream. Para mais informações de monitoramento granular, clique no nome do stream para navegar até o Datastream.

Excluir o stream

Quando você exclui um stream criado usando o fluxo automatizado, alguns recursos, como o slot de replicação do PostgreSQL, são excluídos automaticamente. No entanto, há recursos que precisam ser excluídos manualmente:

  • A publicação. A publicação é criada usando o usuário administrador do banco de dados e só pode ser excluída pelo proprietário, ou seja, por padrão, o usuário que a criou.
  • O usuário leitor do Datastream.
  • Os perfis de conexão de origem e destino do Datastream.
  • Os recursos de conectividade privada.
  • Todos os recursos de rede criados durante o fluxo automatizado, como a sub-rede e o anexo de rede.

A seguir