Questo documento include le best practice e le linee guida per Pub/Sub quando esegui carichi di lavoro di AI generativa su Google Cloud. Utilizza Pub/Sub con Vertex AI per consentire una comunicazione e un'automazione efficienti all'interno dei flussi di lavoro di machine learning.
Considera i seguenti casi d'uso di Pub/Sub con Vertex AI:
- Architettura asincrona basata su eventi: Pub/Sub consente la comunicazione basata su eventi, in modo da poter attivare pipeline Vertex AI in base agli eventi pubblicati negli argomenti Pub/Sub. Questi eventi possono includere nuovi dati e aggiornamenti del modello.
- Scalabilità e affidabilità: Pub/Sub è altamente scalabile e ti consente di gestire numerosi eventi senza influire sulle prestazioni. La scalabilità è fondamentale per l'elaborazione di set di dati di grandi dimensioni o l'esecuzione di più job ML simultanei. Pub/Sub fornisce anche l'ordinamento e la distribuzione affidabili dei messaggi all'interno di un argomento, garantendo la coerenza dell'elaborazione anche in presenza di carichi di lavoro elevati.
- Flessibilità: puoi integrare Vertex AI con altri servizi come Cloud Run Functions o Dataflow utilizzando Pub/Sub, creando pipeline ML flessibili e dinamiche.
- Monitoraggio e avvisi in tempo reale: Pub/Sub ti consente di abbonarti a argomenti specifici per ricevere notifiche in tempo reale sugli eventi nelle pipeline Vertex AI. Il monitoraggio in tempo reale ti aiuta a monitorare l'avanzamento dell'addestramento del modello, i risultati della pre-elaborazione dei dati e l'output di previsione. Puoi configurare gli avvisi in base a eventi specifici, come job non riusciti o anomalie rilevate durante la previsione. Gli avvisi consentono un intervento proattivo e la risoluzione tempestiva dei problemi.
Ad esempio, puoi utilizzare Pub/Sub per le seguenti attività:
- Attiva l'addestramento del modello quando arrivano nuovi dati in un bucket Cloud Storage.
- Invia previsioni in tempo reale da un modello di cui è stato eseguito il deployment ai sistemi downstream per un'ulteriore elaborazione.
- Monitora e reagisci alle variazioni delle metriche sulle prestazioni del modello.
- Attiva avvisi per eventi critici come previsioni non riuscite o problemi di qualità dei dati.
Controlli Pub/Sub consigliati
A seconda dei tuoi casi d'uso dell'AI generativa, ti consigliamo controlli aggiuntivi. Questi controlli includono i controlli di conservazione dei dati e altri controlli basati su criteri che si basano sui criteri aziendali.
Utilizzare CMEK per i messaggi Pub/Sub
| ID controllo Google | PS-CO-6.1 |
|---|---|
| Categoria | Consigliato |
| Descrizione | Quando abiliti le chiavi di crittografia gestite dal cliente (CMEK) per Pub/Sub, ottieni un maggiore controllo delle chiavi di crittografia utilizzate da Pub/Sub per proteggere i tuoi messaggi. A livello di applicazione, Pub/Sub cripta singolarmente i messaggi in entrata quando li riceve. Prima di pubblicare i messaggi in una sottoscrizione, Pub/Sub li cripta utilizzando la chiave di crittografia dei dati (DEK) più recente generata per l'argomento. Pub/Sub decripta i messaggi poco prima che vengano recapitati ai sottoscrittori.
Pub/Sub utilizza un service account Google Cloud per accedere a Cloud Key Management Service. L'account di servizio viene gestito internamente da Pub/Sub per ogni progetto e non è visibile nell'elenco degli account di servizio. |
| Prodotti applicabili |
|
| Controlli NIST-800-53 correlati |
|
| Controlli del profilo CRI correlati |
|
| Informazioni correlate |
Controlli Pub/Sub facoltativi
Questi controlli sono facoltativi. Valuta la possibilità di applicarli quando si riferiscono ai tuoi casi d'uso specifici.
Configurare i criteri di archiviazione dei messaggi
| ID controllo Google | PS-CO-4.1 |
|---|---|
| Categoria | Facoltativo |
| Descrizione | Se pubblichi messaggi nell'endpoint Pub/Sub globale, Pub/Sub li archivia automaticamente nella regione Google Cloud più vicina. Per controllare le regioni in cui vengono archiviati i messaggi, configura una policy di archiviazione dei messaggi nell'argomento.
Utilizza uno dei seguenti modi per configurare i criteri di archiviazione dei messaggi per gli argomenti:
|
| Prodotti applicabili |
|
| Controlli NIST-800-53 correlati |
|
| Controlli del profilo CRI correlati |
|
| Informazioni correlate |
Passaggi successivi
Esamina i controlli di Resource Manager.
Scopri di più sulle best practice e sulle linee guida per la sicurezza diGoogle Cloud per i carichi di lavoro di AI generativa.