Criar um fluxo do AlloyDB usando o fluxo automatizado

É possível replicar dados de um cluster do AlloyDB para PostgreSQL para o BigQuery diretamente da página de visão geral do cluster usando o fluxo de configuração de stream automatizado no Datastream. O Datastream simplifica a configuração ao definir automaticamente a conexão de nuvem privada virtual (VPC), as configurações do banco de dados de origem e os recursos de stream.

O Datastream cria o stream com base na instância principal do cluster principal do AlloyDB, mesmo que sua implantação inclua clusters ou instâncias secundárias. Para usar o fluxo automatizado, a instância principal precisa ter o acesso a serviços particulares ativado e usar interfaces do Private Service Connect.

Nível sem custo financeiro

O Datastream permite fazer streaming do AlloyDB para PostgreSQL para o BigQuery usando o nível sem custo financeiro, fornecendo até 100 GiB de dados de captura de dados alterados sem custo financeiro todos os meses. Para mais informações, consulte Preços do Datastream.

Antes de começar

  1. Ative as APIs Datastream, Conectividade de rede e Compute Engine.
  2. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM) para criar e gerenciar recursos do Datastream. Consulte a seção a seguir para mais detalhes.
  3. Crie e configure um cluster de origem do AlloyDB para PostgreSQL para replicação. Para mais informações, consulte Configurar um banco de dados do AlloyDB para PostgreSQL para CDC.

  4. Recomendamos que você ative a replicação lógica para o cluster antes de criar o stream. Se você não ativar a replicação lógica, o Datastream vai fazer isso por você, o que reinicia a instância de origem.

    Para saber como ativar a replicação lógica em um cluster do AlloyDB para PostgreSQL, consulte Configurar um banco de dados do AlloyDB para PostgreSQL para CDC.

  5. Verifique se o cluster de origem está configurado para usar o acesso a serviços particulares.

Permissões necessárias

Para usar o fluxo de criação de stream automatizado, você precisa dos seguintes papéis ou permissões do Identity and Access Management (IAM):

  • serviceusage.services.enable, compute.networkAdmin para ativar as APIs necessárias e realizar tarefas de configuração de rede.
  • alloydb.admin para tarefas de configuração de cluster e instância.
  • datastream.admin para tarefas de administração que o Datastream realiza em seu nome.

Verifique se todos os esquemas e tabelas no banco de dados selecionado foram concedidos ao papel postgres ou alloydbsuperuser. Como o fluxo automatizado inclui todos os esquemas e tabelas no banco de dados por padrão, a criação do stream falhará se o usuário criado automaticamente não tiver permissões em nenhum esquema ou tabela.

Se você optar por personalizar as configurações do stream, o usuário administrador do banco de dados também precisará de permissões GRANT para o esquema que você quer replicar e algumas permissões adicionais para tarefas administrativas e estruturais no banco de dados de origem. Conecte-se ao banco de dados de origem e execute o seguinte:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

Tabelas futuras

As tabelas futuras serão adicionadas automaticamente ao stream somente se forem criadas pelo usuário cujos detalhes da conta você fornecer para autenticação durante o fluxo automatizado. Se uma tabela futura for criada por um usuário diferente, ele precisará conceder explicitamente ao usuário leitor do Datastream a permissão SELECT na tabela.

Criar e iniciar o stream

Para criar e iniciar uma transmissão, siga estas etapas:

Console

  1. Acesse a página de visão geral dos clusters de origem do AlloyDB para PostgreSQL.

    Acessar o AlloyDB para PostgreSQL

  2. Clique no cluster principal de onde você quer transmitir dados.

  3. Crie e inicie seu stream automaticamente de uma das seguintes maneiras:

    • Na página Detalhes do cluster, em Replicação de dados, clique em Iniciar stream.
    • Na seção Integrações, clique em Iniciar stream em Replicar dados para o BigQuery.
    • Na guia Launchpad, em Integração total com outros produtos doGoogle Cloud , clique em Replicar dados para o BigQuery.

  4. O painel Iniciar stream para replicar dados é aberto.

  5. Em Configurações do stream, revise as configurações padrão do stream que você criar.

  6. Para mudar o banco de dados de origem, abra o menu suspenso correspondente e selecione um valor diferente.

  7. Se estiver tudo pronto para criar e iniciar sua transmissão, clique em Iniciar transmissão.

Se você precisar mudar as configurações do stream, clique em Personalizar.

Personalizar configurações de transmissão

Quando você clica em Personalizar, a página Personalizar configurações de transmissão é exibida. Verifique se você tem as permissões necessárias para personalizar as configurações do stream.

Primeiros passos

  1. Na página Primeiros passos, informe o nome do stream no campo Nome do stream. O campo ID do fluxo é preenchido automaticamente.

  2. Na seção Fornecer os detalhes da conta de usuário da instância, selecione o método de autenticação:

    • Autenticação do banco de dados do IAM: essa opção estará disponível se o usuário tiver a identidade principal do Identity and Access Management (IAM) atribuída. Para mais informações, consulte Principais do IAM. Se você selecionar essa opção, precisará conceder manualmente o papel alloydbsuperuser e a permissão CREATEROLE ao usuário:

      1. No console do Google Cloud , acesse a página Clusters do AlloyDB para PostgreSQL.

      Acessar o AlloyDB para PostgreSQL

      1. Selecione o cluster do AlloyDB para PostgreSQL.
      2. No menu de navegação, clique em AlloyDB para PostgreSQL Studio e faça login.
      3. No painel Explorador, execute a seguinte consulta para seu usuário:
    GRANT alloydbsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Autenticação de banco de dados integrada: forneça o nome de usuário e a senha de um usuário com o papel alloydbsuperuser. Se o usuário não tiver o papel alloydbsuperuser, siga as etapas descritas na seção de autenticação de banco de dados do IAM para concedê-lo manualmente. Se você selecionar a autenticação de banco de dados integrada, verifique também se o usuário tem permissões GRANT nas tabelas que quer replicar.

  3. Revise outros detalhes do stream, como região, criptografia e rótulos. Abra a seção Detalhes adicionais do stream para aplicar mudanças, se necessário.

  4. Clique em Continuar.

Configurar origem

  1. Na página Configurar origem, selecione o banco de dados de onde você quer replicar os dados.

  2. A lista Objetos selecionados seleciona todos os objetos disponíveis por padrão. Os objetos na lista são aqueles para os quais você tem as permissões necessárias para fazer streaming. Para mudar os objetos selecionados, modifique as seleções na lista.

  3. Revise as configurações avançadas de stream, como o modo de preenchimento e o número máximo de conexões de preenchimento simultâneas. Expanda a seção Configurações avançadas de stream para implementar mudanças, se necessário.

  4. Clique em Continuar.

Configurar destino

  1. Na página Configurar destino, ajuste as configurações de destino do BigQuery, se necessário. Para mais informações, consulte Configurar informações sobre o destino do stream.

Criar e iniciar o stream

  1. Clique em Criar e iniciar para criar e iniciar o stream ou em Criar sem iniciar para criar o stream e iniciá-lo mais tarde no Datastream.

  2. Você recebe notificações sobre as tarefas que são realizadas automaticamente para você:

    • O Datastream cria os recursos necessários da nuvem privada virtual, como um intervalo de endereços IP interno, uma sub-rede e um anexo de rede.
    • O Datastream configura tabelas para CDC, configura slots de replicação, configura uma publicação para todas as tabelas no banco de dados e cria um usuário dedicado do Datastream.
    • O Datastream cria uma configuração de conectividade privada e perfis de conexão de origem e destino.

  3. Confirme que você quer criar e iniciar o stream.

Monitorar o stream

É possível monitorar os detalhes básicos do stream na página de visão geral da instância de origem no console do Google Cloud . A página exibe informações como status do stream, nome do stream, conjunto de dados de destino do BigQuery e identificador do projeto de destino.

Na página de visão geral, também é possível realizar ações como iniciar ou pausar o stream. Para informações de monitoramento mais granulares, clique no nome do stream para acessar o Datastream.

Excluir o stream

Quando você exclui um stream criado usando o fluxo automatizado, alguns recursos, como o slot de replicação do PostgreSQL, são excluídos automaticamente. No entanto, há recursos que você precisa excluir manualmente:

  • A publicação. A publicação é criada usando o usuário administrador do banco de dados e só pode ser excluída pelo proprietário, ou seja, por padrão, o usuário que a criou.
  • O usuário leitor do Datastream.
  • Os perfis de conexão de origem e destino do Datastream
  • Os recursos de conectividade privada.
  • Todos os recursos de rede criados durante o fluxo automatizado, como a sub-rede e o anexo de rede.

A seguir