Compartilhamento de stream com o Pub/Sub

É possível compartilhar tópicos do Pub/Sub usando o BigQuery Sharing (antigo Analytics Hub) para selecionar e distribuir uma biblioteca de dados de streaming em vários limites organizacionais internos e externos. Os dados de streaming em tempo real são compartilhados usando as trocas e listagens do BigQuery Sharing, que permitem categorizar e agrupar logicamente grandes conjuntos de tópicos do Pub/Sub e provisionar o acesso em grande escala.

É possível compartilhar dados de streaming para:

  • Serviços financeiros:
    • Compartilhe preços de instrumentos, cotações e pedidos que mudam rapidamente em tempo real.
    • Detectar lavagem de dinheiro e fraude de pagamento.
    • Oferecer suporte a cálculos de risco comercial.
  • Bens de consumo não duráveis e de varejo (CPG):
    • Gerencie o inventário da loja em tempo real.
    • Personalizar o marketing e o suporte ao cliente.
    • Ajuste os preços de forma dinâmica.
    • Monitore os canais de mídias sociais.
    • Otimizar os layouts das lojas físicas.
  • Saúde:
    • Capacite algoritmos preditivos para monitorar pacientes e analisar riscos em tempo real.
    • Monitorar sinais vitais com dispositivos médicos wearable.
    • Adquira, estruture, armazene e processe automaticamente dados de pacientes, profissionais de saúde e administração de instalações.
  • Telecomunicações:
    • Monitorar a integridade da rede e prever falhas.
    • Descubra padrões de comportamento do usuário para localizar melhor dispositivos e antenas.

Funções exigidas

Os papéis para compartilhar tópicos do Pub/Sub são semelhantes aos de compartilhamento de conjuntos de dados do BigQuery:

Arquitetura

O diagrama a seguir descreve como os editores e assinantes de recursos do Pub/Sub interagem com o compartilhamento do BigQuery:

Fluxo de trabalho que ilustra a interação entre os editores de tópicos compartilhados e o BigQuery Sharing.
Figura 1. Fluxo de trabalho de editor e assinante de tópicos compartilhados com tópicos do Pub/Sub.

Temas compartilhados

Um tópico compartilhado é a unidade para compartilhar um tópico do Pub/Sub no BigQuery Sharing. Como editor de tópicos compartilhados, você cria ou usa um tópico do Pub/Sub para distribuir dados de mensagens aos assinantes. O BigQuery Sharing não replica o tópico de origem do Pub/Sub.

Listagens

Uma listagem é criada quando um editor adiciona um tópico compartilhado a uma troca. Ele faz referência ao tópico compartilhado.

Trocas

Uma troca é um agrupamento lógico de listagens que fazem referência a tópicos compartilhados.

Assinaturas do Pub/Sub vinculadas

Ao se inscrever em uma listagem com um tópico compartilhado, uma assinatura do Pub/Sub vinculada é criada no projeto do assinante do tópico compartilhado. O projeto do editor do tópico compartilhado também representa uma assinatura do Pub/Sub como uma assinatura do Pub/Sub e uma assinatura de listagem do Sharing.

Limitações

O compartilhamento de stream com o Pub/Sub tem as seguintes limitações:

  • Um tópico compartilhado aceita no máximo 10.000 assinaturas do Pub/Sub. Esse limite inclui assinaturas vinculadas do Pub/Sub e assinaturas do Pub/Sub criadas fora do Compartilhamento, por exemplo, aquelas criadas diretamente do Pub/Sub.

  • Os tópicos compartilhados são indexados no Knowledge Catalog, mas não é possível filtrar especificamente pelo tipo de recurso.

  • As métricas de uso são capturadas e exibidas no painel de métricas para tópicos e assinaturas compartilhados do Pub/Sub, mas não estão disponíveis em INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

    Para monitorar métricas, consulte Monitorar o Pub/Sub no Cloud Monitoring.

    Essas métricas podem incluir:

    • Publicar contagem de mensagens
    • Publicar solicitações
    • Capacidade de publicação em bytes
    • As 5 principais assinaturas
    • Bytes ingeridos
    • Outros

Ativar a API Analytics Hub

Para ativar a API Analytics Hub, faça o seguinte:

Console

Acesse a biblioteca de APIs e ative a API Analytics Hub para seu projeto doGoogle Cloud .

Ativar a API Analytics Hub

gcloud

Execute o comando gcloud services enable:

gcloud services enable analyticshub.googleapis.com

Habilitar a API Pub/Sub

Acesse a biblioteca de APIs e ative a API Pub/Sub para seu projeto do Google Cloud .

Habilitar a API Pub/Sub

Fluxos de trabalho do editor de tópicos compartilhados

Como editor de um tópico compartilhado, você pode fazer o seguinte:

  • Adicione tópicos compartilhados a uma troca criando uma listagem.
  • Atualizar uma listagem.
  • Excluir uma listagem.
  • Compartilhar uma listagem.
  • Gerenciar assinaturas na sua listagem.
  • Remover assinantes da sua listagem.

Outras permissões de editor

Para realizar tarefas de editor de tópicos compartilhados, você precisa ter o papel de editor do Analytics Hub (roles/analyticshub.publisher) em uma troca ou listagem. Para ver todas as trocas de dados nos projetos em uma organização a que você tem acesso, é preciso ter a permissão resourcemanager.organizations.get.

Além disso, você precisa da permissão pubsub.topics.setIamPolicy no tópico do Pub/Sub que quer listar. Para compartilhar tópicos com um esquema anexado, é preciso conceder aos assinantes do BigQuery Sharing a permissão pubsub.schemas.get no esquema anexado ao tópico. Essa permissão permite que os assinantes do compartilhamento do BigQuery analisem corretamente as mensagens da assinatura do Pub/Sub.

Criar uma listagem (para adicionar um tópico compartilhado)

Para adicionar um tópico compartilhado a uma listagem, selecione uma das seguintes opções:

Console

  1. Acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

    A página lista todas as trocas de dados que você pode acessar.

  2. Clique no nome da troca de dados em que você quer criar a listagem.

  3. Clique em Criar listagem.

  4. Na página Criar listagem, selecione Tópico do Pub/Sub na lista Tipo de recurso.

  5. Selecione um tópico do Pub/Sub na lista Tópico compartilhado ou clique em Criar um tópico.

  6. Na página Detalhes da listagem, no campo Nome de exibição, insira o nome da listagem.

  7. Insira os seguintes detalhes opcionais:

    • Categoria: selecione até duas categorias que melhor representam sua listagem. Os assinantes de tópicos compartilhados podem filtrar as listagens com base nessas categorias.

    • Afinidade de dados: a região ou as regiões que o editor do tópico compartilhado usa para publicar dados. Essas informações ajudam os assinantes de tópicos compartilhados a minimizar ou evitar custos de saída de rede do Pub/Sub lendo dados da mesma região. Para mais informações sobre custos de saída, consulte Custos de transferência de dados.

    • Ícone: um ícone para a listagem. Os formatos de arquivo PNG e JPEG são compatíveis. Os ícones precisam ser menores que 512 KiB e ter dimensões de no máximo 512 x 512 pixels.

    • Descrição: uma breve descrição da sua listagem. Os assinantes de tópicos compartilhados podem pesquisar listagens com base na descrição.

    • Descoberta pública: ative a descoberta pública para sua listagem no catálogo de compartilhamento do BigQuery. Você também precisa definir permissões para a listagem. Clique em Ações para a troca e, em seguida, clique em Definir permissões. Conceda a allUsers ou allAuthenticatedusers o papel de Leitor do Analytics Hub (roles/analyticshub.viewer). Clique em Permitir acesso público.

    • Documentação > Markdown: informações adicionais, como links para documentação relevante e outros detalhes que ajudam os assinantes do tópico compartilhado a usá-lo.

  8. Na página Informações de contato da listagem, insira os seguintes detalhes opcionais:

    • Contato principal: insira um endereço de e-mail ou URL do contato principal da listagem.

    • Contato para solicitar acesso: insira um endereço de e-mail ou URL do formulário de entrada que os assinantes do tópico compartilhado podem usar para entrar em contato com você.

    • Provedor: expanda a seção Provedor e especifique os detalhes nos seguintes campos:

      • Nome do provedor: nome do provedor do tema.
      • Contato principal do provedor: um endereço de e-mail ou URL do contato principal do provedor do tópico.

      Os assinantes de tópicos compartilhados podem filtrar listagens com base nos provedores de dados.

    • Editor: expanda a seção Editor e especifique os detalhes nos campos a seguir:

      • Nome do editor: o nome do editor do tópico compartilhado que cria a listagem.
      • Contato principal do editor: um endereço de e-mail ou URL do contato principal do editor do tópico compartilhado.

  9. Revise a página Visualização da página de detalhes.

  10. Clique em Publicar.

API

Use o método projects.locations.dataExchanges.listings.create.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings?listingId=LISTING_ID

Substitua:

  • PROJECT_ID: o ID do projeto que contém a troca de dados em que você quer criar a ficha da empresa.
  • LOCATION: o local da troca de dados. Para mais informações sobre locais que aceitam o Compartilhamento, consulte Regiões com disponibilidade.
  • DATAEXCHANGE_ID: o ID da troca de dados.
  • LISTING_ID: o ID da ficha da empresa.

No corpo da solicitação, forneça os detalhes da listagem. Se a solicitação for bem-sucedida, o corpo da resposta vai conter os detalhes da listagem.

Para mais informações sobre as tarefas que podem ser executadas em fichas de empresa usando APIs, consulte Métodos projects.locations.dataExchanges.listings.

Atualizar uma listagem

Para atualizar uma listagem, selecione uma das seguintes opções:

Console

  1. Acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique no nome da troca de dados que contém a ficha da empresa.

  3. Clique na listagem que você quer atualizar.

  4. Clique em Editar listagem.

  5. Modifique os valores dos campos. É possível modificar todos os valores, exceto o tópico compartilhado da listagem.

  6. Para salvar as alterações, clique em Publicar.

API

Use o método projects.locations.dataExchanges.listings.patch.

PATCH https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID?updateMask=UPDATEMASK

Substitua:

  • PROJECT_ID: o ID do projeto que contém a troca de dados em que você quer criar a ficha da empresa.
  • LOCATION: o local da troca de dados. Para mais informações sobre locais que aceitam o compartilhamento, consulte Regiões compatíveis.
  • DATAEXCHANGE_ID: o ID da troca de dados.
  • LISTING_ID: o ID da ficha da empresa.
  • UPDATEMASK: a lista de campos que você quer atualizar. Para atualizar vários valores, use uma lista separada por vírgulas.

No corpo da solicitação, especifique os valores atualizados.

Para mais informações sobre as tarefas que podem ser executadas em fichas de empresa usando APIs, consulte Métodos projects.locations.dataExchanges.listings.

Excluir uma listagem

Não é possível excluir listagens com tópicos compartilhados do Pub/Sub que tenham assinaturas ativas. Revogue todas as assinaturas ativas antes de tentar excluir uma listagem de tópicos compartilhados. Não é possível desfazer a exclusão de uma listagem.

Para excluir uma listagem, selecione uma das seguintes opções:

Console

  1. Acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique no nome da troca de dados que contém a ficha da empresa.

  3. Clique na listagem que você quer excluir.

  4. Clique em Excluir.

  5. Na caixa de diálogo Excluir listagem?, confirme a exclusão digitando delete.

  6. Clique em Excluir.

API

Use o método projects.locations.dataExchanges.listings.delete.

DELETE https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID

Substitua:

  • PROJECT_ID: o ID do projeto que contém a troca de dados em que você quer criar a ficha da empresa.
  • LOCATION: o local da troca de dados. Para mais informações sobre locais que aceitam o compartilhamento, consulte Regiões compatíveis.
  • DATAEXCHANGE_ID: o ID da troca de dados.
  • LISTING_ID: o ID da ficha da empresa.

Para mais informações sobre as tarefas que podem ser executadas em fichas de empresa usando APIs, consulte Métodos projects.locations.dataExchanges.listings.

Compartilhar uma ficha

Para permitir que os usuários acessem uma listagem particular, defina uma política do IAM para um indivíduo ou um grupo para essa listagem. No caso de uma listagem comercial, sua troca de dados precisa ser pública. As listagens em uma troca de dados pública aparecem em Compartilhamento para todos os usuários doGoogle Cloud (allAuthenticatedUsers). Para permitir que os usuários solicitem acesso a listagens comerciais, conceda a eles o papel de Leitor do Analytics Hub (roles/analyticshub.viewer).

Para conceder aos usuários acesso para ver ou se inscrever na sua listagem, faça o seguinte:

  1. Acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique no nome da troca de dados que contém a ficha da empresa.

  3. Clique na listagem em que você quer adicionar assinantes de tópicos compartilhados.

  4. Clique em Definir permissões.

  5. Para adicionar principais, clique em Adicionar principal.

  6. No campo Novos participantes, adicione detalhes com base no tipo de listagem:

    • Para uma listagem particular, insira os endereços de e-mail das identidades a quem você quer conceder acesso.
    • Para uma ficha pública, adicione allAuthenticatedUsers.

  7. No menu Selecionar um papel, selecione Analytics Hub e, em seguida, selecione um dos seguintes papéis com base no tipo de listagem:

    • Para uma listagem comercial, selecione a função Leitor do Analytics Hub. Com esse papel, os usuários podem ver a listagem e solicitar acesso.
    • Para uma listagem particular ou pública não comercial, selecione o papel de Assinante do Analytics Hub. Com esse papel, os usuários podem fazer inscrição na listagem.

  8. Clique em Salvar.

Para mais informações, consulte os papéis de Assinante e Leitor do Analytics Hub.

Gerenciar assinaturas

Para permitir que um usuário se inscreva em uma listagem com um tópico compartilhado, conceda a ele os papéis de Assinante do Analytics Hub (roles/analyticshub.subscriber) e Proprietário de assinatura do Analytics Hub (roles/analyticshub.subscriptionOwner) em uma listagem específica:

  1. Acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique no nome da troca de dados que contém a listagem para que você quer gerenciar as assinaturas.

  3. Clique na listagem para que você quer listar os assinantes de tópicos compartilhados.

  4. Clique em Definir permissões.

  5. Para adicionar principais, clique em Adicionar principal.

  6. No campo Novos participantes, insira os nomes de usuário ou os endereços de e-mail dos assinantes que você quer adicionar.

  7. Em Selecionar um papel, escolha Analytics Hub > Assinante do Analytics Hub.

  8. Clique em Adicionar outro papel.

  9. Em Selecionar uma função, selecione Analytics Hub > Proprietário de assinatura do Analytics Hub.

  10. Clique em Salvar.

Exclua e atualize os assinantes a qualquer momento clicando em Definir permissões.

Revogar uma assinatura

Para remover uma assinatura de uma listagem de tópicos compartilhados do compartilhamento do BigQuery, selecione uma das seguintes opções:

Console

  1. Para listar os assinantes de um tópico compartilhado em uma listagem, siga as Google Cloud instruções do console em Ver todas as assinaturas.

  2. Clique na guia Assinaturas para conferir todas as assinaturas na troca de dados.

  3. Marque a caixa de seleção ao lado das assinaturas que você quer remover ou selecione todas.

  4. Na caixa de diálogo Revogar assinatura?, insira revoke para confirmar.

  5. Clique em Revogar.

API

Para remover uma assinatura, use o método projects.locations.subscriptions.revoke.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/subscriptions/SUBSCRIPTION_ID:revoke

Substitua:

  • PROJECT_ID: o ID do projeto da assinatura que você quer remover.
  • LOCATION: o local da assinatura.
  • SUBSCRIPTION_ID: o ID da assinatura que você quer remover.

Quando você revoga uma assinatura do BigQuery Sharing, um assinante de tópico compartilhado deixa de receber dados de mensagens do tópico compartilhado. A assinatura do Pub/Sub é removida do tópico compartilhado. Se você excluir uma assinatura diretamente do Pub/Sub, a assinatura de compartilhamento do BigQuery vai persistir e exigir limpeza.

Fluxos de trabalho de inscritos

Como assinante do BigQuery Sharing, você pode visualizar e assinar uma listagem. A inscrição em uma listagem de um tópico compartilhado cria uma assinatura do Pub/Sub vinculada no projeto do assinante. A assinatura do Pub/Sub fica visível no projeto do editor do tópico compartilhado.

Permissões adicionais de assinante

Você precisa ter o papel de assinante do Analytics Hub (roles/analyticshub.subscriber) concedido no nível do projeto, da troca ou da listagem para realizar tarefas de assinante.

Assinar uma listagem de tópicos compartilhados

Para assinar uma listagem com um tópico compartilhado, selecione uma das seguintes opções:

Console

  1. Para ver uma lista de listagens às quais você tem acesso, siga as etapas em Ver listagens.

  2. Navegue pelas listagens e clique naquela que você quer assinar. Uma caixa de diálogo com os detalhes da listagem será exibida.

  3. Clique em Inscrever-se para abrir a caixa de diálogo Criar assinatura.

  4. Se a API Analytics Hub não estiver ativada no projeto, uma mensagem de erro será exibida com um link para ativar a API. Clique em Ativar API Analytics Hub.

  5. Na caixa de diálogo Criar assinatura, especifique os seguintes detalhes:

    • ID da assinatura: especifique o nome da assinatura que você está criando.
    • Tipo de entrega: selecione como os dados da mensagem são entregues.
    • Duração da retenção de mensagens: defina a duração da retenção de mensagens.
    • Período de validade: defina quando a assinatura expira após inatividade, se houver.
    • Prazo de confirmação: defina o prazo de confirmação.
    • Filtro de assinatura: defina a sintaxe do filtro para as mensagens.
    • Entrega exatamente uma vez: ative a entrega exatamente uma vez.
    • Ordenação de mensagens: ative a ordenação de mensagens com uma chave de ordem.
    • Mensagens inativas: ative as mensagens inativas.
    • Política de repetição: defina uma política de repetição.

    Para mais informações sobre as propriedades de assinatura do Pub/Sub, consulte propriedades de assinatura.

  6. Para salvar as mudanças, clique em Criar. A assinatura do Pub/Sub vinculada é criada no seu projeto.

API

Use o método projects.locations.dataExchanges.listings.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Substitua:

  • PROJECT_ID: o ID do projeto da ficha da empresa em que você quer se inscrever.
  • LOCATION: o local da ficha em que você quer se inscrever.
  • DATAEXCHANGE_ID: o ID da troca de dados da ficha da empresa em que você quer se inscrever.
  • LISTING_ID: o ID da ficha da empresa em que você quer se inscrever.

No corpo da solicitação, especifique a assinatura do Pub/Sub em que você quer criar a assinatura vinculada do Pub/Sub. Se a solicitação for concluída, o corpo da resposta estará vazio.

Para mais informações sobre assinaturas do Pub/Sub, consulte Visão geral de assinaturas.

Preços

Os editores de tópicos do Pub/Sub não pagam nenhuma cobrança adicional para listar e compartilhar tópicos usando o BigQuery Sharing. Os editores de tópicos compartilhados são cobrados pelo total de bytes gravados (capacidade de publicação) no tópico compartilhado e pela saída de rede (se aplicável). Os assinantes de tópicos compartilhados são cobrados pelo total de bytes lidos (capacidade de assinatura) da assinatura vinculada e pela saída de rede (se aplicável). Para mais detalhes, consulte os preços do Pub/sub.

VPC Service Controls

Para tópicos compartilhados de projetos com perímetros do VPC Service Controls, defina as regras de entrada e saída apropriadas para conceder acesso a editores e assinantes de tópicos compartilhados.

A seguir