Criar um fluxo do AlloyDB usando o fluxo automatizado

Nesta página, descrevemos como criar um fluxo do AlloyDB para PostgreSQL usando o fluxo de configuração automatizada.

Observação: para usar o fluxo de configuração de stream automatizado ao replicar de um cluster do AlloyDB para PostgreSQL, a instância principal precisa ter o acesso a serviços particulares ativado e usar o tipo de conectividade interfaces do Private Service Connect.

A configuração automatizada de streams simplifica o processo de movimentação de dados dos clusters do AlloyDB para PostgreSQL para o BigQuery, reduzindo o número de etapas necessárias. O fluxo permite criar um stream diretamente na página de visão geral do cluster do AlloyDB para PostgreSQL.

Uma implantação do AlloyDB para PostgreSQL consiste em um cluster principal, que contém uma instância principal. Também pode incluir clusters e instâncias secundárias. O Datastream sempre cria o fluxo da instância principal no cluster principal.

O Datastream automatiza a proteção da conexão VPC entre o stream e o cluster de origem, criando configurações de banco de dados e recursos de conexão de stream.

Antes de começar

1. Ative as APIs Datastream, Conectividade de rede e Compute Engine.
2. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM) para criar e gerenciar recursos do Datastream. Consulte a seção a seguir para mais detalhes.
3. Crie e configure um cluster de origem do AlloyDB para PostgreSQL para replicação. Para mais informações, consulte Configurar um banco de dados do AlloyDB para PostgreSQL para CDC.

4. Recomendamos que você ative a replicação lógica para o cluster antes de criar o fluxo. Se você não ativar a replicação lógica, o Datastream fará isso por você, o que reinicia a instância de origem.

   Para informações sobre como ativar a replicação lógica em um cluster do AlloyDB para PostgreSQL, consulte Configurar um banco de dados do AlloyDB para PostgreSQL para CDC.

5. Verifique se o cluster de origem está configurado para usar o acesso a serviços particulares.

Permissões necessárias

Para usar o fluxo de criação automática de stream, você precisa das seguintes permissões ou papéis do Identity and Access Management (IAM):

• serviceusage.services.enable, compute.networkAdmin para ativar as APIs necessárias e realizar tarefas de configuração de rede.
• alloydb.admin para tarefas de configuração de cluster e instância.
• datastream.admin para tarefas de administração que o Datastream realiza em seu nome.

Se você optar por personalizar as configurações de transmissão, o usuário administrador do banco de dados também precisará de permissões GRANT para o esquema que você quer replicar e algumas permissões adicionais para tarefas administrativas e estruturais no banco de dados de origem. Conecte-se ao banco de dados de origem e execute o seguinte:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

Observação: a função alloydbsuperuser é necessária para que o Datastream crie a publicação de todas as tabelas na instância do banco de dados.

Tabelas futuras

As tabelas futuras são adicionadas automaticamente ao stream somente se forem criadas pelo usuário cujos detalhes da conta você fornece para autenticação durante o fluxo automatizado. Se uma tabela futura for criada por outro usuário, ele precisará conceder explicitamente a permissão SELECT ao usuário leitor do Datastream na tabela.

Criar e iniciar o stream

Para criar e iniciar uma transmissão, siga estas etapas:

Console

1. Acesse a página de visão geral dos clusters de origem do AlloyDB para PostgreSQL.

   Acessar o AlloyDB para PostgreSQL

2. Clique no cluster principal de onde você quer transmitir dados.

3. Crie e inicie seu stream automaticamente de uma das seguintes maneiras:

   1. Na página Detalhes do cluster, em Replicação de dados, clique em Iniciar transmissão.
   2. Na seção Integrações, clique em Iniciar fluxo em Replicar dados no BigQuery.
   3. Na guia Launchpad, em Integrar perfeitamente com outros Google Cloud produtos, clique em Replicar dados no BigQuery.

4. O painel Iniciar transmissão para replicar dados é aberto.

5. Em Configurações da transmissão, revise as configurações padrão da transmissão que você criar.

   Observação: se a flag alloydb.logical_decoding não estiver ativada, uma notificação correspondente vai aparecer na parte de cima do painel.

6. Para mudar o banco de dados de origem, expanda o menu suspenso correspondente e selecione outro valor.

7. Se estiver tudo pronto para criar e iniciar sua transmissão, clique em Iniciar transmissão.

   Observação: se você não precisar personalizar as configurações, o Datastream usará as credenciais do usuário conectado para todas as configurações de banco de dados. Não é necessário fornecer mais detalhes de autenticação do IAM ou do banco de dados integrado. Ao usar esse fluxo, o Datastream cria um usuário do banco de dados com as funções alloydbsuperuser e postgres.

Se precisar mudar as configurações da transmissão, clique em Personalizar.

Personalizar configurações de transmissão

Ao clicar em Personalizar, a página Personalizar configurações de transmissão aparece. Verifique se você tem as permissões necessárias para personalizar as configurações de transmissão.

Primeiros passos

1. Na página Começar, insira o nome do stream no campo Nome do stream. O campo ID do stream é preenchido automaticamente.

2. Na seção Forneça os detalhes da conta de usuário da instância, selecione o método de autenticação:

   • Autenticação do banco de dados do IAM: essa opção está disponível se o usuário tiver a identidade principal do Identity and Access Management (IAM) atribuída. Para mais informações, consulte Principais do IAM. Se você selecionar essa opção, conceda manualmente a função alloydbsuperuser e a permissão CREATEROLE ao usuário:

     1. No console Google Cloud , acesse a página Clusters do AlloyDB para PostgreSQL.

     Acessar o AlloyDB para PostgreSQL

     1. Selecione o cluster do AlloyDB para PostgreSQL.
     2. No menu de navegação, clique em AlloyDB para PostgreSQL Studio e faça login.
     3. No painel Explorer, execute a seguinte consulta para seu usuário:

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autenticação de banco de dados integrada: forneça o nome de usuário e a senha de um usuário com a função alloydbsuperuser. Se o usuário não tiver a função alloydbsuperuser, siga as etapas descritas na seção de autenticação de banco de dados do IAM para concedê-la manualmente. Se você selecionar a autenticação integrada do banco de dados, verifique se o usuário tem permissões GRANT nas tabelas que quer replicar.

3. Revise outros detalhes da transmissão, como região, criptografia e rótulos. Expanda a seção Detalhes adicionais do stream para aplicar as mudanças, se necessário.

4. Clique em Continuar.

Configurar origem

1. Na página Configurar origem, selecione o banco de dados de que você quer replicar os dados.

   Observação: o Datastream mostra apenas os bancos de dados para os quais seu usuário tem as permissões necessárias. Se você não encontrar um banco de dados que quer usar, talvez seu usuário não tenha as permissões necessárias. Além disso, o Datastream não mostra tabelas do sistema porque não é compatível com a replicação delas.

2. A lista Objetos selecionados seleciona todos os objetos disponíveis por padrão. Os objetos na lista são aqueles para os quais você tem as permissões necessárias para fazer streaming. Para mudar os objetos selecionados, modifique as seleções na lista.

3. Revise as configurações avançadas de stream, como o modo de preenchimento e o número máximo de conexões simultâneas de preenchimento. Expanda a seção Configurações avançadas de stream para aplicar mudanças, se necessário.

4. Clique em Continuar.

Configurar destino

1. Na página Configurar destino, ajuste as configurações de destino do BigQuery, se necessário. Para mais informações, consulte Configurar informações sobre o destino do stream.

Criar e iniciar o stream

1. Clique em Criar e iniciar para criar e iniciar o stream ou em Criar sem iniciar para criar o stream e iniciá-lo mais tarde no Datastream.

   Importante: clicar em Criar e iniciar reinicia a instância do AlloyDB para PostgreSQL. Se você não tiver a decodificação lógica ativada para sua instância, o Datastream vai fazer isso para você.

2. Você recebe notificações sobre as tarefas realizadas automaticamente para você:

   • O Datastream cria os recursos necessários da nuvem privada virtual, como um intervalo de endereços IP internos, uma sub-rede e um anexo de rede.
   • O Datastream configura tabelas para CDC, slots de replicação e uma publicação para todas as tabelas no banco de dados, além de criar um usuário dedicado do Datastream.
   • O Datastream cria uma configuração de conectividade privada e perfis de conexão de origem e destino.

3. Confirme que você quer criar e iniciar o stream.

Monitorar o stream

É possível monitorar os detalhes básicos do fluxo na página de visão geral da instância de origem no console Google Cloud . A página mostra informações como status do fluxo, nome do fluxo, conjunto de dados de destino do BigQuery e identificador do projeto de destino.

Na página de visão geral, também é possível realizar ações como iniciar ou pausar a transmissão. Para informações de monitoramento mais detalhadas, clique no nome do fluxo para navegar até o Datastream.

Excluir o stream

Quando você exclui um fluxo criado usando o fluxo automatizado, alguns recursos, como o slot de replicação do PostgreSQL, são excluídos automaticamente. No entanto, há recursos que precisam ser excluídos manualmente:

• A publicação. A publicação é criada usando o usuário administrador do banco de dados e só pode ser excluída pelo proprietário, ou seja, por padrão, o usuário que a criou.
• O usuário leitor do Datastream.
• Os perfis de conexão de origem e destino do Datastream
• Os recursos de conectividade particular.
• Todos os recursos de rede criados durante o fluxo automatizado, como a sub-rede e a conexão de rede.

A seguir

• Saiba como criar um stream manualmente.
• Saiba como configurar uma fonte do AlloyDB para PostgreSQL.
• Saiba como monitorar streams.