Criar um fluxo do Spanner usando o fluxo automatizado

Nesta página, descrevemos como criar um stream do Spanner usando o fluxo de configuração automatizado.

A configuração automatizada do stream simplifica o processo de movimentação de dados de bancos de dados do Spanner para destinos como o BigQuery, reduzindo o número de etapas necessárias. O fluxo permite criar um stream diretamente na página de visão geral da instância ou do banco de dados do Spanner. O Datastream automatiza a proteção da conexão entre o stream e o banco de dados de origem, criando configurações de banco de dados e recursos de conexão de stream.

Nível sem custo financeiro

O Datastream permite fazer streaming do Spanner para o BigQuery usando o nível sem custo financeiro, oferecendo até 100 GiB de dados de captura de dados alterados por mês. Para mais informações, consulte Preços do Datastream.

Antes de começar

Antes de configurar um stream do Datastream para o Spanner, verifique se o ambiente atende aos pré-requisitos a seguir:

  1. Ative as APIs necessárias no seu Google Cloud projeto:
    • API Datastream (datastream.googleapis.com)
    • API Cloud Spanner (spanner.googleapis.com)
    • API BigQuery (bigquery.googleapis.com).
  2. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM) para criar e gerenciar recursos do Datastream. Para mais informações, consulte Permissões necessárias.

  3. Analise as limitações da origem do Spanner:

    • Colunas de tipo de dados PROTO e ENUM não são aceitas.
    • Matrizes de tipos de dados DATE ou TIMESTAMP não são aceitas.
    • Verifique se você configurou a janela de retenção do stream de mudanças corretamente. Se o Datastream ficar atrás da janela de retenção, você poderá perder dados, e o stream poderá falhar.

Permissões necessárias

Para usar o fluxo de criação de stream automatizado, verifique se o usuário ou a conta de serviço que está configurando o stream tem os papéis ou permissões do IAM a seguir:

  • Administrador do Datastream (roles/datastream.admin) ou Editor do Datastream (roles/datastream.editor) para criar e gerenciar o stream e os perfis de conexão.
  • Leitor de banco de dados do Spanner (roles/spanner.databaseReader) ou Administrador do Spanner (roles/spanner.admin) no banco de dados de origem para acessar dados e acompanhar mudanças.
  • Editor de dados do BigQuery no conjunto de dados de destino.

Criar e iniciar o stream

Para criar e iniciar um stream usando o fluxo automatizado, siga estas etapas:

Console

  1. No Google Cloud console, acesse a página **Instâncias do Spanner**.

Acessar instâncias do Spanner

  1. Selecione a instância e o banco de dados do Spanner de que você quer fazer streaming de dados.

  2. Crie e inicie o stream automaticamente de uma das seguintes maneiras:

    • Na página de visão geral das instâncias, clique em Iniciar stream em Replicação de dados no BigQuery.
    • Na página de visão geral do banco de dados, na guia Integrações, clique em Criar stream em Replicar dados no BigQuery.

  3. O painel Iniciar stream para replicar dados será aberto.

  4. Em Configurações do stream, revise as configurações padrão do stream que você criar.

  5. Se você criar o stream na página de visão geral das instâncias, poderá mudar o banco de dados de origem expandindo o menu suspenso correspondente e selecionando um valor diferente.

  6. Para mudar um stream, expanda o menu suspenso Mudar stream e selecione um valor diferente.

  7. Quando estiver tudo pronto para criar e iniciar o stream, clique em Iniciar stream.

Monitorar o stream

Para monitorar os detalhes básicos do fluxo de alterações na página de visão geral do banco de dados de origem do Spanner no Google Cloud console, clique na guia Fluxos de alterações, e, em seguida, no fluxo de alterações que você quer visualizar.

Excluir o stream

Quando você exclui um stream criado usando o fluxo automatizado, o Datastream exclui o objeto de stream e os perfis de conexão associados criados para o stream.

No entanto, é necessário excluir manualmente os fluxo de alterações do Spanner ou os recursos de destino que foram criados de forma independente, se eles não forem mais necessários.

A seguir