Este documento inclui as práticas recomendadas e as diretrizes do Pub/Sub ao executar cargas de trabalho de IA generativa no Google Cloud. Use o Pub/Sub com a Vertex AI para permitir uma comunicação e automação eficientes nos seus fluxos de trabalho de machine learning.
Considere os seguintes casos de uso do Pub/Sub com a Vertex AI:
- Arquitetura assíncrona orientada a eventos: o Pub/Sub permite a comunicação orientada a eventos para que você possa acionar pipelines da Vertex AI com base em eventos publicados em tópicos do Pub/Sub. Esses eventos podem incluir novos dados e atualizações de modelos.
- Escalonabilidade e confiabilidade: o Pub/Sub é altamente escalonável, permitindo que você processe vários eventos sem afetar a performance. A escalonabilidade é essencial para processar grandes conjuntos de dados ou executar vários jobs de ML simultâneos. O Pub/Sub também oferece entrega e ordem de mensagens confiáveis em um tópico, garantindo a consistência do processamento mesmo em cargas de trabalho pesadas.
- Flexibilidade: é possível integrar a Vertex AI a outros serviços, como funções do Cloud Run ou Dataflow, usando o Pub/Sub, criando pipelines de ML flexíveis e dinâmicos.
- Alertas e monitoramento em tempo real: o Pub/Sub permite que você se inscreva em tópicos específicos para receber notificações em tempo real sobre eventos nos seus pipelines da Vertex AI. O monitoramento em tempo real ajuda a acompanhar o progresso do treinamento de modelo, os resultados do pré-processamento de dados e a saída de previsão. É possível configurar alertas com base em eventos específicos, como jobs com falha ou anomalias detectadas durante a previsão. Os alertas permitem intervenções proativas e solução de problemas oportuna.
Por exemplo, é possível usar o Pub/Sub para as seguintes atividades:
- Acionar treinamento de modelo quando novos dados chegarem a um bucket do Cloud Storage.
- Envie previsões em tempo real de um modelo implantado para sistemas downstream para processamento adicional.
- Monitore e reaja a mudanças nas métricas de desempenho do modelo.
- Acione alertas para eventos críticos, como previsões com falha ou problemas de qualidade de dados.
Controles recomendados do Pub/Sub
Dependendo dos seus casos de uso de IA generativa, recomendamos controles adicionais. Esses controles incluem retenção de dados e outros controles orientados por políticas com base nas políticas da sua empresa.
Usar o CMEK para mensagens do Pub/Sub
| ID de controle do Google | PS-CO-6.1 |
|---|---|
| Categoria | Recomendado |
| Descrição | Ao ativar as chaves de criptografia gerenciadas pelo cliente (CMEK) para o Pub/Sub, você tem mais controle sobre as chaves de criptografia que o Pub/Sub usa para proteger suas mensagens. Na camada do aplicativo, o Pub/Sub criptografa individualmente as mensagens recebidas quando as recebe. Antes de o Pub/Sub publicar mensagens em uma assinatura, ele as criptografa usando a chave de criptografia de dados (DEK) mais recente gerada para o tópico. O Pub/Sub descriptografa as mensagens pouco antes de elas serem entregues aos assinantes.
O Pub/Sub usa uma conta de serviço Google Cloud para acessar o Cloud Key Management Service. A conta de serviço é mantida internamente pelo Pub/Sub para cada projeto e não fica visível na sua lista de contas de serviço. |
| Produtos aplicáveis |
|
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
Controles opcionais do Pub/Sub
Esses controles são opcionais. Considere aplicá-las quando forem relevantes para seus casos de uso específicos.
Configurar políticas de armazenamento de mensagens
| ID de controle do Google | PS-CO-4.1 |
|---|---|
| Categoria | Opcional |
| Descrição | Se você publicar mensagens no endpoint global do Pub/Sub, o Pub/Sub vai armazenar de modo automático as mensagens na região Google Cloud mais próxima. Para controlar em que regiões as mensagens são armazenadas, configure uma política de armazenamento de mensagens no seu tópico.
Use uma das seguintes maneiras para configurar políticas de armazenamento de mensagens para tópicos:
|
| Produtos aplicáveis |
|
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
A seguir
Revise os controles do Resource Manager.
Confira mais Google Cloud práticas recomendadas e diretrizes de segurança para cargas de trabalho de IA generativa.