Transmitir alterações para o Pub/Sub usando o acionador opcional da função do Cloud Run

Neste tutorial, mostramos como usar o modelo de fluxos de fluxo de alterações para o Pub/Sub , incluindo como definir um tópico e configurar o modelo. Você tem a opção de criar uma função do Cloud Run na linguagem de programação da sua escolha, que é acionada pelo fluxo de eventos.

Este tutorial é destinado a usuários técnicos familiarizados com o Bigtable, a escrita de códigos e os serviços de fluxo de eventos.

Objetivos

Este tutorial mostra como fazer o seguinte:

• Criar uma tabela do Bigtable com um fluxo de alterações ativado
• Criar um tópico do Pub/Sub com o esquema de fluxo de alterações do Bigtable.
• Implantar um fluxo de alterações do Bigtable em um pipeline do Pub/Sub no Dataflow usando o modelo.
• Ver o fluxo de eventos no Pub/Sub diretamente ou nos registros de uma função do Cloud Run.

Custos

Neste documento, você usa os seguintes componentes faturáveis do Google Cloud:

• Bigtable
• Compute Engine
• Dataflow
• Cloud Run functions
• Pub/Sub
• Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso, use a calculadora de preços.

Novos Google Cloud usuários podem estar qualificados para um teste sem custo financeiro.

Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Para mais informações, consulte Limpeza.

Antes de começar

Faça login na sua Google Cloud conta do. Se você não conhece o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em cenários reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

No Google Cloud console, ative o Cloud Shell.

Ativar o Cloud Shell

Na parte de baixo do Google Cloud console, uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a Google Cloud CLI já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

1. Atualize e instale a cbt CLI .

   gcloud components update
   gcloud components install cbt

Criar um tópico do Pub/Sub

1. No Google Cloud console, acesse a página Tópicos do Pub/Sub.

   Acesse Tópicos

2. Selecione Criar tópico.

3. Defina o ID como bigtable-change-stream-topic.

4. Selecione Usar um esquema.

5. No menu suspenso Selecionar um esquema do Pub/Sub, clique em Criar novo esquema. Isso abre uma nova guia para definir o esquema.

   1. Defina o ID do esquema como bigtable-change-stream-schema.
   2. Defina o tipo de esquema como Avro.
   3. Cole o código abaixo como a definição do esquema. Mais informações sobre o esquema podem ser encontradas na página de documentação do modelo.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. Clique em Criar para criar o esquema.

6. Feche a guia Criar esquema , atualize a lista de esquemas e selecione o esquema recém-definido.

7. Clique em Criar para criar o tópico.

Opcional: criar uma função do Cloud Run

É recomendável processar o fluxo do Pub/Sub com uma função do Cloud Run.

1. Na página Detalhes do tópico bigtable-change-stream-topic, clique em Acionar função do Cloud .
2. No campo Nome da função, digite o nome bt-ps-tutorial-function.
3. Na seção Código-fonte, clique no menu suspenso Ambiente de execução e selecione o ambiente de execução e a linguagem de programação que preferir. É gerado um hello world que mostra o fluxo de alterações à medida que ele chega. Consulte a documentação para saber mais sobre como escrever funções do Cloud Run.
4. Use os valores padrão para todos os outros campos.
5. Clique em Implantar função.

Criar uma tabela com um fluxo de alterações ativado

1. No Google Cloud console, acesse a página Instâncias do Bigtable.

   Acesse "Instâncias"

2. Clique no ID da instância que você está usando neste tutorial.

   Se você não tiver uma instância disponível, crie uma com as configurações padrão em uma região perto de você.

3. No painel de navegação à esquerda, clique em Tabelas.

4. Clique em Criar uma tabela.

5. Nomeie a tabela como change-streams-pubsub-tutorial.

6. Adicione um grupo de colunas chamado cf.

7. Selecione Ativar fluxo de alterações.

8. Clique em Criar.

Inicializar um pipeline de dados para capturar o fluxo de alterações

1. Na página Tabelas do Bigtable, encontre sua tabela change-streams-pubsub-tutorial.
2. Na coluna Fluxo de alterações, clique em Conectar.
3. Na caixa de diálogo, selecione Pub/Sub.
4. Clique em Criar job do Dataflow.
5. Na página Criar job do Dataflow, defina o nome do tópico de saída do Pub/Sub como: bigtable-change-stream-topic.
6. Defina o ID do perfil de aplicativo do Bigtable como default.
7. Cliquem em Executar job.
8. Aguarde o status do job ser Iniciando ou Em execução antes de continuar. Leva cerca de cinco minutos assim que job é colocado na fila.

Gravar alguns dados no Bigtable

1. No Cloud Shell, escreva algumas linhas no Bigtable para que o registro de alterações possa gravar alguns dados no fluxo do Pub/Sub. Se você gravar os dados após a criação do job, as alterações aparecerão. Não é necessário esperar que o status do job seja running.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Ver os registros de alterações no Pub/Sub

1. No Google Cloud console, acesse a página Assinaturas do Pub/Sub.

   Acessar "Assinaturas"

2. Clique na assinatura criada automaticamente para seu tópico bigtable-change-stream-topic. O nome dele precisa ser bigtable-change-stream-topic-sub.

3. Acesse a guia Mensagens.

4. Clique em Pull.

5. Explore a lista de mensagens e veja os dados que você escreveu.

   

Opcional: ver as alterações nos registros das funções do Cloud Run

Se você criou uma função do Cloud Run functions, é possível ver as alterações nos registros.

1. No Google Cloud console, acesse Cloud Run functions.

   Acessar as funções do Cloud Run

2. Clique na sua função bt-ps-tutorial-function.

3. Acesse a guia Registros.

4. Verifique se a Gravidade está definida como pelo menos Informações para ser possível ver os registros.

5. Analise os registros e veja os dados que você gravou.

A saída será assim:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Excluir a tabela do Bigtable

1. No Google Cloud console, acesse a página Instâncias do Bigtable.

   Acesse "Instâncias"

2. Clique no ID da instância que você está usando neste tutorial.

3. No painel de navegação à esquerda, clique em Tabelas.

4. Localize a tabela change-streams-pubsub-tutorial.

5. Clique em Editar.

6. Desmarque Ativar fluxo de alterações.

7. Clique em Salvar.

8. Abra o menu flutuante da tabela.

9. Clique em Excluir e insira o nome da tabela para confirmar.

Interromper o pipeline de fluxo de alterações

1. No Google Cloud console, acesse a página Jobs do Dataflow.

   Acessar jobs

2. Selecione o job de streaming na lista de jobs.

3. Na navegação, clique em Parar.

4. Na caixa de diálogo Interromper job, cancele o pipeline e clique em Interromper job.

Excluir o tópico e a assinatura do Pub/Sub

1. No Google Cloud console, acesse a página Tópicos do Pub/Sub.

   Acesse Tópicos

2. Selecione o tópico bigtable-change-stream-topic.

3. Clique em Excluir e confirme.

4. Clique em Assinaturas na barra lateral.

5. Selecione a assinatura bigtable-change-stream-topic-sub.

6. Clique em Excluir e confirme.

Excluir a função do Cloud Run

1. No Google Cloud console, acesse Cloud Run functions.

   Acessar as funções do Cloud Run

2. Selecione a função bt-ps-tutorial-function.

3. Clique em Excluir e confirme.

A seguir

• Leia toda a documentação de fluxo de alterações de alterações.
• Saiba mais sobre como escrever funções orientadas por eventos com o Cloud Run functions.