As origens do Pub/Sub no Cloud Data Fusion permitem ingerir streams de mensagens em tempo real nos pipelines de dados de streaming. Em seguida, é possível transformar, enriquecer e gravar dados de eventos em destinos de armazenamento e análise downstream com latência mínima.
Antes de começar
Funções exigidas
Para receber as permissões necessárias para ler de uma origem de streaming do Pub/Sub, peça ao administrador para conceder a você o papel do IAM de editor do Pub/Sub (roles/pubsub.editor) na conta de serviço usada para acessar a assinatura do Pub/Sub.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém as permissões necessárias para ler de uma origem de streaming do Pub/Sub. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para ler de uma origem de streaming do Pub/Sub:
-
pubsub.snapshots.create -
pubsub.snapshots.delete -
pubsub.snapshots.seek -
pubsub.subscriptions.consume -
pubsub.topics.attachSubscription
Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.
Conceda o papel na conta de serviço especificada nas propriedades do plug-in para acessar o Pub/Sub. Se nenhuma for especificada, conceda o papel na conta de serviço do Serviço Gerenciado para Apache Spark.
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Adicionar uma origem do Pub/Sub ao pipeline de dados de streaming
Acesse sua instância:
No console Google Cloud , acesse a página do Cloud Data Fusion.
Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.
Na interface da Web do Cloud Data Fusion, clique em Studio.
Selecione Pipeline de dados - tempo real.
No menu Origem, selecione Pub/Sub. Um nó de origem de streaming do Pub/Sub aparece no pipeline.
No nó do Pub/Sub, clique em Propriedades para configurar a origem. Para mais informações, consulte Origem de streaming do Pub/Sub.
Suporte para uma única origem do Pub/Sub sem plug-ins do Windower
O Cloud Data Fusion versão 6.9.1 oferece suporte a pipelines em tempo real com uma única origem de streaming do Pub/Sub e sem plug-ins do Windower.
- A origem de streaming do Pub/Sub tem suporte integrado e os dados são processados pelo menos uma vez. Não é necessário ativar o checkpoint do Spark.
- A origem de streaming do Pub/Sub cria um snapshot do Pub/Sub no início de cada lote e o remove no final de cada lote.
- A criação de snapshots do Pub/Sub tem um custo associado. Para mais informações, consulte os Preços do Pub/Sub.
- É possível monitorar a criação de snapshots nos registros de auditoria do Cloud.
Fazer upgrade de um pipeline com uma origem de streaming do Pub/Sub
O Cloud Data Fusion oferece suporte a upgrades diretos de aplicativos para pipelines de streaming com uma origem de streaming do Pub/Sub criada na versão 6.9.1 ou mais recente.
O Cloud Data Fusion não oferece suporte a upgrades para pipelines de dados com uma origem de streaming do Pub/Sub na versão 6.9.0 ou anterior. Em vez disso, faça upgrade desses pipelines para a versão 6.9.1:
- Pare de publicar os dados no tópico quando o upgrade da instância for planejado.
- Aguarde a conclusão do pipeline para processar os dados publicados.
- Depois que os dados forem processados completamente, pare o pipeline.
- Faça upgrade da instância.
- Duplique o pipeline atual e atualize para os plug-ins mais recentes.
- Implante o pipeline.
Execute o novo pipeline para ler dados.
A nova versão usa automaticamente o snapshot em vez do checkpoint do Spark.
Exclua o pipeline antigo.