Este documento inclui as práticas recomendadas e as diretrizes para o Pub/Sub quando executar cargas de trabalho de IA generativa no Google Cloud. Use o Pub/Sub com o Vertex AI para permitir uma comunicação e uma automatização eficientes nos seus fluxos de trabalho de aprendizagem automática.
Considere os seguintes exemplos de utilização do Pub/Sub com o Vertex AI:
- Arquitetura assíncrona orientada por eventos: o Pub/Sub permite a comunicação orientada por eventos para que possa acionar pipelines do Vertex AI com base em eventos publicados em tópicos do Pub/Sub. Estes eventos podem incluir novos dados e atualizações de modelos.
- Escalabilidade e fiabilidade: o Pub/Sub é altamente escalável, o que lhe permite processar vários eventos sem afetar o desempenho. A escalabilidade é fundamental para processar grandes conjuntos de dados ou executar várias tarefas de ML em simultâneo. O Pub/Sub também oferece uma entrega de mensagens fiável e ordenação num tópico, o que garante a consistência do processamento mesmo em cargas de trabalho elevadas.
- Flexibilidade: pode integrar o Vertex AI com outros serviços, como as funções do Cloud Run ou o Dataflow, através do Pub/Sub, criando pipelines de ML flexíveis e dinâmicos.
- Monitorização e alertas em tempo real: o Pub/Sub permite-lhe subscrever tópicos específicos para receber notificações em tempo real sobre eventos nos seus pipelines do Vertex AI. A monitorização em tempo real ajuda a monitorizar o progresso da preparação de modelos, os resultados do pré-processamento de dados e o resultado da previsão. Pode configurar alertas com base em eventos específicos, como tarefas com falhas ou anomalias detetadas durante a previsão. Os alertas permitem uma intervenção proativa e a resolução de problemas atempada.
Por exemplo, pode usar o Pub/Sub para as seguintes atividades:
- Acionar a preparação do modelo quando chegarem novos dados a um contentor do Cloud Storage.
- Envie previsões em tempo real de um modelo implementado para sistemas a jusante para processamento adicional.
- Monitorize e reaja às alterações nas métricas de desempenho do modelo.
- Acionar alertas para eventos críticos, como previsões falhadas ou problemas de qualidade de dados.
Controlos do Pub/Sub recomendados
Consoante os seus exemplos de utilização relacionados com a IA generativa, recomendamos controlos adicionais. Estes controlos incluem controlos de retenção de dados e outros controlos orientados por políticas que se baseiam nas políticas da sua empresa.
Use as CMEK para mensagens Pub/Sub
| ID de controlo da Google | PS-CO-6.1 |
|---|---|
| Categoria | Recomendado |
| Descrição | Quando ativa as chaves de encriptação geridas pelo cliente (CMEK) para o Pub/Sub, obtém um maior controlo das chaves de encriptação que o Pub/Sub usa para proteger as suas mensagens. Na camada de aplicação, o Pub/Sub encripta individualmente as mensagens recebidas quando as recebe. Antes de o Pub/Sub publicar mensagens numa subscrição, encripta as mensagens através da chave de encriptação de dados (DEK) mais recente gerada para o tópico. O Pub/Sub desencripta as mensagens pouco antes de serem entregues aos subscritores.
O Pub/Sub usa uma Google Cloud conta de serviço para aceder ao Cloud Key Management Service. A conta de serviço é mantida internamente pelo Pub/Sub para cada projeto e não é visível na sua lista de contas de serviço. |
| Produtos aplicáveis |
|
| Controlos NIST-800-53 relacionados |
|
| Controlos do perfil de CRI relacionados |
|
| Informações relacionadas |
Controlos do Pub/Sub opcionais
Estes controlos são opcionais. Considere aplicá-las quando se aplicarem aos seus exemplos de utilização específicos.
Configure as políticas de armazenamento de mensagens
| ID de controlo da Google | PS-CO-4.1 |
|---|---|
| Categoria | Opcional |
| Descrição | Se publicar mensagens no ponto final global do Pub/Sub, o Pub/Sub armazena automaticamente as mensagens na Google Cloud região mais próxima. Para controlar em que regiões as suas mensagens são armazenadas, configure uma política de armazenamento de mensagens no seu tópico.
Use uma das seguintes formas para configurar políticas de armazenamento de mensagens para tópicos:
|
| Produtos aplicáveis |
|
| Controlos NIST-800-53 relacionados |
|
| Controlos do perfil de CRI relacionados |
|
| Informações relacionadas |
O que se segue?
Reveja os controlos do Resource Manager.