Criar um sistema Pub/Sub um para muitos

Neste tutorial, mostramos como configurar um conjunto de aplicativos que se comunicam enviando mensagens pelo Pub/Sub em vez de RPCs síncronos. Ao desacoplar aplicativos, as mensagens:

• tornam os aplicativos mais robustos;
• podem simplificar o desenvolvimento.

Por exemplo, o autor da chamada (editor) não precisa que o receptor (assinante) esteja ativo e disponível. O editor envia uma mensagem para o Pub/Sub. O editor não precisa saber quais e quantos aplicativos de assinante precisam receber a mensagem. Por isso, o serviço entrega a mensagem a um ou mais aplicativos de assinante sempre que eles estiverem disponíveis.

Visão geral do sistema

Neste tutorial, você inicia um aplicativo de editor que envia uma "Hello, World!" mensagem para dois assinantes usando a comunicação um para muitos, conforme ilustrado no diagrama a seguir:

Os dois aplicativos de assinante usam o mesmo código, mas são iniciados em momentos diferentes. Esse processo demonstra como o Pub/Sub permite a comunicação assíncrona. Para criar esse sistema, siga estas etapas:

1. Crie uma conta de serviço do IAM que os aplicativos usam para autenticação.
2. Configure as permissões do IAM.
3. Crie um tópico e uma assinatura do Pub/Sub.
4. Inicie três aplicativos independentes: um editor e dois assinantes.

Antes de começar

Faça login na sua Google Cloud conta do. Se você é novo no Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em cenários reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.
Instale a Google Cloud CLI.
Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.
Para inicializar a CLI gcloud, execute o seguinte comando:
gcloud init
Crie ou selecione um Google Cloud projeto.
Funções necessárias para selecionar ou criar um projeto
• Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. Você pode selecionar qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, é necessário ter o papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.
Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.
• Crie um Google Cloud projeto do:

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o Google Cloud projeto do que você está criando.

• Selecione o Google Cloud projeto do que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do Google Cloud projeto do.
Verifique se o faturamento está ativado para o Google Cloud projeto.
Habilitar a API Pub/Sub:
Funções necessárias para ativar APIs
Para ativar as APIs, é necessário ter o papel do IAM de administrador de Service Usage role (roles/serviceusage.serviceUsageAdmin), que contém a serviceusage.services.enable permissão. Saiba como conceder papéis.
gcloud services enable pubsub.googleapis.com
Crie credenciais de autenticação local para sua conta de usuário:
gcloud auth application-default login
Se um erro de autenticação for retornado e você estiver usando um provedor de identidade (IdP) externo, confirme se você fez login na CLI gcloud com sua identidade federada.
Conceda papéis à sua conta de usuário. Execute o comando a seguir uma vez para cada um dos seguintes papéis do IAM: roles/pubsub.publisher, roles/pubsub.subscriber
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Substitua:
• PROJECT_ID: o ID do projeto.
• USER_IDENTIFIER: o identificador da sua conta de usuário. Por exemplo, [e-mail].
• ROLE: o papel do IAM que você concede à sua conta de usuário.

Instale a Google Cloud CLI.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie ou selecione um Google Cloud projeto.

Funções necessárias para selecionar ou criar um projeto

• Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. Você pode selecionar qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, é necessário ter o papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.

Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

• Crie um Google Cloud projeto do:

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o Google Cloud projeto do que você está criando.

• Selecione o Google Cloud projeto do que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do Google Cloud projeto do.

Verifique se o faturamento está ativado para o Google Cloud projeto.

Habilitar a API Pub/Sub:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter o papel do IAM de administrador de Service Usage role (roles/serviceusage.serviceUsageAdmin), que contém a serviceusage.services.enable permissão. Saiba como conceder papéis.

gcloud services enable pubsub.googleapis.com

Crie credenciais de autenticação local para sua conta de usuário:

gcloud auth application-default login

Se um erro de autenticação for retornado e você estiver usando um provedor de identidade (IdP) externo, confirme se você fez login na CLI gcloud com sua identidade federada.

Conceda papéis à sua conta de usuário. Execute o comando a seguir uma vez para cada um dos seguintes papéis do IAM: roles/pubsub.publisher, roles/pubsub.subscriber

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

Substitua:

• PROJECT_ID: o ID do projeto.
• USER_IDENTIFIER: o identificador da sua conta de usuário. Por exemplo, [e-mail].
• ROLE: o papel do IAM que você concede à sua conta de usuário.

Instalar o Python

Este tutorial usa as bibliotecas de cliente do Pub/Sub, que exigem o Python 3.7 ou mais recente. Siga as instruções para instalar o Python.

Configurar o projeto do Pub/Sub

Para gerenciar o fluxo de mensagens entre aplicativos de publicação e assinatura, crie um tópico e duas assinaturas diferentes.

Criar um tópico do Pub/Sub

Crie um tópico com o ID hello_topic:

gcloud pubsub topics create hello_topic

Criar assinaturas do Pub/Sub

Crie duas assinaturas e anexe-as ao tópico.

Essas assinaturas são do tipo StreamingPull, que é um tipo de pull assinatura.

Assinatura 1

Crie uma assinatura com o ID sub_one e anexe-a ao hello_topic.

gcloud pubsub subscriptions create sub_one --topic=hello_topic

Assinatura 2

Crie uma assinatura com o ID sub_two e anexe-a ao hello_topic.

gcloud pubsub subscriptions create sub_two --topic=hello_topic

Criar o sistema um para muitos

Fazer o download do código do editor e do assinante

1. Faça o download dos arquivos Python do Pub/Sub necessários para este tutorial.

    git clone https://github.com/googleapis/python-pubsub.git

2. Feche todos os terminais abertos antes de continuar.

Configurar três terminais

1. Inicie um terminal para cada aplicativo do tutorial (um editor e dois assinantes). Por conveniência, este tutorial chama esses terminais de:

   • terminal de editor: publisher;
   • terminal de assinante 1: sub_one;
   • sub_twosub_two
   Observação: verifique se todos os três terminais estão no mesmo diretório em relação ao local em que você fez o download dos arquivos Python do Pub/Sub na etapa anterior.

2. No terminal publisher, crie e ative um ambiente virtual Python chamado pyenv-qs.

   Bash

   python -m venv pyenv-qs
   source pyenv-qs/bin/activate

   PowerShell

   py -m venv pyenv-qs
   .\pyenv-qs\Scripts\activate

   Nos terminais sub_one e sub_two, execute o seguinte comando:

   Bash

   source pyenv-qs/bin/activate

   PowerShell

   .\pyenv-qs\Scripts\activate

   Depois de executar o comando activate, o prompt de comando inclui o seguinte valor (pyenv-qs) $.

3. No terminal publisher, instale a biblioteca de cliente Python do Pub/Sub usando pip:

   python -m pip install --upgrade google-cloud-pubsub

4. Em todos os três terminais, configure uma variável de ambiente com o ID do projeto atual. Este comando da gcloud determina o ID do projeto selecionado e o define como uma variável:

   Bash

   export PROJECT=`gcloud config get-value project`

   PowerShell

   $env:PROJECT=$(gcloud config get-value project)

5. Em todos os três terminais, mude para o caminho do projeto que contém o exemplo de código.

   cd python-pubsub/samples/snippets/quickstart/

Iniciar os aplicativos e observar o fluxo de mensagens

Iniciar o aplicativo de assinante 1

No terminal sub_one, inicie o assinante 1:

Bash

python sub.py $PROJECT sub_one

PowerShell

py sub.py $env:PROJECT sub_one

Depois de iniciado, o aplicativo abre uma conexão de streaming bidirecional com o servidor. O Pub/Sub entrega mensagens no stream.

Iniciar o aplicativo de editor

No terminal publisher, inicie o aplicativo de editor:

Bash

python pub.py $PROJECT hello_topic

PowerShell

py pub.py $env:PROJECT hello_topic

Depois que o aplicativo do editor é iniciado, o sistema Pub/Sub faz o seguinte:

• O aplicativo de editor envia uma mensagem "Hello, World!" para o Pub/Sub sem saber se há assinaturas existentes. O servidor também atribui um ID da mensagem.

• O aplicativo de assinante 1 recebe a mensagem "Hello World", imprime-o e envia uma confirmação para o Pub/Sub.

• O aplicativo de editor imprime a confirmação. A confirmação informa ao Pub/Sub que a mensagem foi processada com sucesso e não precisa ser reenviada para este ou qualquer outro sub_one.

O Pub/Sub remove a mensagem do sub_one.

Iniciar o aplicativo de assinante 2

No terminal sub_two, inicie o assinante 2:

Bash

python sub.py $PROJECT sub_two

PowerShell

py sub.py $env:PROJECT sub_two

Este assinante recebe as mensagens entregues para a assinatura sub_ two. O assinante 2 reutiliza o script sub.py. A diferença é que o assinante 2 não é iniciado antes de o editor enviar a mensagem para o tópico e as assinaturas. Se o editor estivesse chamando o assinante 2 diretamente, o aplicativo de editor teria que aguardar até que o assinante 2 aparecesse. Caso contrário, ele expiraria. O Pub/Sub gerencia esse processo efetivamente salvando a mensagem para o assinante 2.

Agora você já consegue desenvolver com o Pub/Sub!

Como foi?

Funcionou!

Ótimo! Do que você gostou no guia de início rápido? O que poderia ser melhor? Conte para nós.

Deu errado.

Lamentamos que você esteja enfrentando esse problema. O que deu errado? Vamos tentar aprimorar.

Outros recursos e links estão disponíveis na página de suporte do Pub/Sub.

Limpeza

1. Interrompa todos os aplicativos em execução.
2. Exclua o diretório de exemplo de código do ambiente local.

3. Exclua o tópico.

   gcloud pubsub topics delete hello_topic

4. Exclua as assinaturas.

   gcloud pubsub subscriptions delete sub_one

   gcloud pubsub subscriptions delete sub_two

5. Desligue o projeto do tutorial na seção IAM e administrador do Google Cloud console.

6. Opcional: revogue as credenciais de autenticação que você criou e exclua o arquivo de credenciais local

   gcloud auth application-default revoke

7. Opcional: revogar credenciais da CLI gcloud.

   gcloud auth revoke

A seguir

Aqui estão algumas coisas para tentar:

• Examine os códigos pub.py e sub.py do tutorial e procure outros exemplos do Pub/Sub no GitHub. Como exercício, crie uma versão de pub.py que publique o horário local a cada segundo.

• Aprenda a enviar mensagens em lote.

• Use as assinaturas de Push para receber mensagens que acionam endpoints do App Engine ou Cloud Functions.

• Recupere mensagens confirmadas anteriormente usando o recurso de reprodução. Por padrão, o Pub/Sub remove das assinaturas as mensagens confirmadas. Neste tutorial, por exemplo, não é possível executar sub.py novamente para receber a mensagem "Hello, World!" de novo. O recurso de reprodução permite configurar assinaturas para que você possa receber mensagens depois que elas forem confirmadas.

• Comece a usar as bibliotecas de cliente em outros idiomas.