Best practice per la sicurezza dell'AI generativa

Questo documento descrive un'architettura tipica di AI generativa in Google Cloud. Elenca inoltre le best practice sulla sicurezza applicabili ai workload di AI generativa e descrive quando utilizzare serviziGoogle Cloud specifici.

Architettura

Il seguente diagramma mostra i servizi in una tipica architettura di AI generativa che utilizza Gemini Enterprise Agent Platform. Google Cloud

Architettura di esempio per i carichi di lavoro di AI generativa che utilizzano Agent Platform.

Questo diagramma include quanto segue:

  • Agent Platform ti consente di creare e utilizzare l'AI generativa, incluse soluzioni AI, ricerca e conversazione, su un'unica piattaforma.

  • Artifact Registry semplifica il processo di sviluppo e deployment del machine learning (ML), migliora la collaborazione e garantisce la sicurezza e l'affidabilità dei tuoi modelli ML.

  • BigQuery semplifica l'accesso ai dati, consente un'analisi scalabile e ti permette di utilizzare le sue funzionalità di ML nei tuoi flussi di lavoro di ML.

  • Cloud Audit Logs monitora le azioni intraprese dagli utenti nel tuo ambiente, migliorando le tue capacità di risoluzione dei problemi, controllo e risposta agli incidenti.

  • Le dashboard e gli avvisi di fatturazione Cloud ti consentono di esaminare l'utilizzo e la fatturazione dei workload di Agent Platform.

  • Cloud Build ti consente di creare, testare ed eseguire il deployment di una piattaforma CI/CD serverless su Google Cloud.

  • Cloud Identity unifica identità, accesso, applicazione e gestione per Google Cloud.

  • Cloud Run Functions automatizza le attività, fornisce previsioni, attiva job di addestramento, si integra con altri servizi e crea pipeline ML basate su eventi.

  • Cloud Storage archivia i dati di addestramento, gli artefatti del modello e i dati di produzione.

  • Dataflow ti consente di creare pipeline complesse che acquisiscono dati da varie origini e li aggregano in modo appropriato.

  • Cloud DNS registra, gestisce e gestisce il tuo dominio.

  • Identity and Access Management (IAM) controlla chi può eseguire azioni specifiche sulle risorse del tuo workload generativo, ad esempio crearle, modificarle o eliminarle.

  • Il servizio Policy dell'organizzazione gestisce e applica centralmente le policy nel tuo ambiente Google Cloud. Policy dell'organizzazione contribuisce a garantire una configurazione coerente e la conformità alla sicurezza in tutti i progetti e le risorse della tua organizzazione.

  • Pub/Sub consente una comunicazione efficiente e l'automazione all'interno dei flussi di lavoro di machine learning.

  • Resource Manager ti aiuta a raggruppare e gestire i componenti logici dei tuoi carichi di lavoro di Agent Platform.

  • Secret Manager ti aiuta a proteggere i dati sensibili e le credenziali utilizzate nei progetti di Agent Platform.

  • Sensitive Data Protection automatizza il rilevamento dei dati sensibili nei tuoi set di dati. Sensitive Data Protection può scansionare i prompt e oscurare i dati sensibili prima che raggiungano il modello. Sensitive Data Protection può anche analizzare l'output del modello per evitare la divulgazione di dati di addestramento sensibili nelle risposte.

  • Security Command Center ti aiuta a proteggere la tua organizzazione cloud, i tuoi workload di AI e i dati di AI che memorizzi su Google Cloud. Security Command Center fornisce quanto segue:

    • Gestione centralizzata della sicurezza
    • Rilevamento delle minacce e risposta agli incidenti
    • Valutazioni di sicurezza automatizzate
    • Conformità e rapporti per la conformità normativa
    • Consigli e best practice per la sicurezza

  • Virtual Private Cloud (VPC) isola le risorse AI da internet in un ambiente sicuro. Questa configurazione di rete contribuisce a proteggere dati e modelli sensibili da accessi non autorizzati e potenziali attacchi informatici.

  • Cloud VPN o Cloud Interconnect consente di stabilire una connessione di rete sicura tra la tua infrastruttura on-premise e il tuo ambiente Agent Platform. Cloud VPN o Cloud Interconnect contribuiscono a consentire il trasferimento e la comunicazione senza interruzioni dei dati tra la tua rete privata e le risorse Google Cloud. Prendi in considerazione questa integrazione per scenari come l'accesso ai dati on-premise per l'addestramento del modello o il deployment di modelli su risorse on-premise per l'inferenza.

Best practice per i workload di AI generativa

Questa sezione fornisce link alle best practice per i carichi di lavoro di AI generativa che utilizzano Agent Platform.

Casi d'uso di Artifact Registry

Prendi in considerazione i seguenti casi d'uso per Artifact Registry con Agent Platform:

  • Gestisci gli artefatti di ML:Artifact Registry ti consente di archiviare e gestire tutti gli artefatti di ML in un unico posto, inclusi il codice di addestramento del modello, i set di dati, i modelli addestrati e i contenitori di servizio di previsione. Puoi utilizzare questo repository centralizzato per monitorare, condividere e riutilizzare gli artefatti ML in diversi team e progetti.
  • Controllo delle versioni e riproducibilità:Artifact Registry fornisce il controllo delle versioni per gli artefatti ML, aiutandoti a monitorare le modifiche e a eseguire il rollback alle versioni precedenti, se necessario. Questa funzionalità è fondamentale per garantire la riproducibilità dei tuoi esperimenti e deployment ML.
  • Archiviazione sicura e affidabile:Artifact Registry offre spazio di archiviazione sicuro e affidabile per gli artefatti ML. Questi artefatti sono criptati at-rest e in transito. Configura controllo dell'accesso per limitare chi può accedere agli artefatti per proteggere i tuoi preziosi dati e la tua proprietà intellettuale.
  • Integrazione con le pipeline di Gemini Enterprise Agent Platform:integra Artifact Registry con le pipeline di Agent Platform per creare e automatizzare i tuoi workflow di ML. Utilizza Artifact Registry per archiviare gli artefatti della pipeline (ad esempio le definizioni, il codice e i dati della pipeline) e per attivare automaticamente le esecuzioni della pipeline quando vengono caricati nuovi artefatti.
  • Semplifica CI/CD per ML:integra Artifact Registry con i tuoi strumenti CI/CD per semplificare lo sviluppo e il deployment dei tuoi modelli ML. Ad esempio, utilizza Artifact Registry per creare ed eseguire il deployment automatico del container di servizio del modello ogni volta che esegui il push di una nuova versione del modello in Artifact Registry.
  • Supporto multiregionale:Artifact Registry ti consente di archiviare gli artefatti in più regioni, il che può contribuire a migliorare le prestazioni e la disponibilità dei tuoi modelli di ML, soprattutto se hai utenti che si trovano in diverse parti del mondo.

Casi d'uso di BigQuery

Considera i seguenti casi d'uso di BigQuery con Agent Platform:

  • Integrazione perfetta: BigQuery e Agent Platform sono strettamente integrati, consentendoti di accedere ai tuoi dati e analizzarli direttamente all'interno della piattaforma Agent Platform. Questa integrazione elimina la necessità di spostare i dati, semplifica il workflow di ML e riduce gli attriti.
  • Analisi scalabile dei dati: BigQuery offre un data warehouse dell'ordine dei petabyte, che ti consente di analizzare enormi set di dati senza preoccuparti delle limitazioni dell'infrastruttura. Questa scalabilità è fondamentale per l'addestramento e il deployment di modelli ML che richiedono un uso intensivo dei dati.
  • ML basato su SQL:BigQuery ML ti consente di utilizzare comandi SQL che conosci per addestrare e implementare modelli direttamente in BigQuery. Questa funzionalità consente agli analisti di dati e agli esperti di SQL di utilizzare le funzionalità di ML senza richiedere competenze di programmazione avanzate.
  • Previsioni online e batch:BigQuery ML supporta le previsioni online e batch. Puoi eseguire previsioni in tempo reale su singole righe o generare previsioni per set di dati di grandi dimensioni in modalità batch. Questa flessibilità supporta diversi casi d'uso con requisiti di latenza variabili.
  • Spostamento ridotto dei dati: con BigQuery ML, non devi spostare i dati in risorse di archiviazione o di calcolo separate per l'addestramento e il deployment del modello. Questo movimento ridotto semplifica il flusso di lavoro, riduce la latenza e riduce al minimo i costi associati al trasferimento dei dati.
  • Monitoraggio dei modelli:Agent Platform fornisce funzionalità complete di monitoraggio dei modelli, che ti consentono di monitorare le prestazioni, l'equità e la spiegabilità dei tuoi modelli BigQuery ML. Il monitoraggio dei modelli ti aiuta a garantire che i tuoi modelli funzionino come previsto e a risolvere potenziali problemi.
  • Modelli preaddestrati:Agent Platform offre l'accesso a modelli preaddestrati, inclusi quelli per l'elaborazione del linguaggio naturale e la visione artificiale. Puoi utilizzare questi modelli in BigQuery per migliorare l'analisi ed estrarre insight più approfonditi dai tuoi dati.
  • Soluzione conveniente: BigQuery ML offre un modo conveniente e flessibile per addestrare ed eseguire il deployment di modelli di ML. Paghi solo per le risorse che utilizzi, il che lo rende un'opzione conveniente per le organizzazioni di tutte le dimensioni.
  • Funzionalità di analisi avanzata:BigQuery fornisce strumenti per l'analisi avanzata, tra cui l'analisi geospaziale e la previsione. Questi strumenti ti consentono di combinare il ML con altre tecniche analitiche per un'esplorazione più approfondita dei dati e informazioni più dettagliate.
  • Collaborazione avanzata: utilizzando BigQuery con Agent Platform, data scientist, ingegneri ML e analisti possono collaborare senza problemi ai progetti di ML. Questa collaborazione contribuisce a creare un approccio più integrato ed efficiente per affrontare problemi di dati complessi.

Casi d'uso di Cloud Build

Considera i seguenti casi d'uso per Cloud Build con Agent Platform:

  • Automatizzare le build della pipeline ML: Cloud Build consente di automatizzare la creazione e il test delle pipeline ML definite in Agent Platform Pipelines. Questa automazione ti aiuta a creare ed eseguire il deployment dei tuoi modelli in modo più rapido e con maggiore coerenza.
  • Crea immagini container personalizzate per il deployment:Cloud Build può creare immagini container personalizzate per gli ambienti di pubblicazione dei modelli. Cloud Build ti consente di raggruppare il codice del modello, le dipendenze e l'ambiente di runtime in un'unica immagine che puoi eseguire il deployment in Gemini Enterprise Agent Platform Inference per la pubblicazione delle previsioni.
  • Integrazione con i flussi di lavoro CI/CD: Cloud Build ti consente di automatizzare la creazione e il deployment dei tuoi modelli ML nei tuoi flussi di lavoro CI/CD. Questa automazione garantisce che i tuoi modelli siano aggiornati e implementati in produzione.
  • Attiva build in base alle modifiche al codice: Cloud Build può attivare automaticamente le build quando vengono apportate modifiche al codice del modello o alla definizione della pipeline. Questa automazione contribuisce a garantire che i tuoi modelli vengano creati con il codice più recente e che le modifiche vengano implementate automaticamente in produzione.
  • Ottieni un'infrastruttura scalabile e sicura: Cloud Build utilizza Google Cloud un'infrastruttura scalabile e sicura per creare e implementare i tuoi modelli. Questa scalabilità significa che non devi preoccuparti di gestire la tua infrastruttura e puoi concentrarti sullo sviluppo dei modelli.
  • Supporto di vari linguaggi di programmazione:Cloud Build supporta vari linguaggi di programmazione, tra cui Python, Java, Go e Node.js. Questo supporto ti consente di creare i tuoi modelli utilizzando la lingua che preferisci.
  • Utilizza passaggi di build predefiniti:per semplificare il processo di compilazione, Cloud Build offre passaggi di build predefiniti per attività di ML comuni, come l'installazione di dipendenze, l'esecuzione di test e l'esecuzione del push di immagini nei registri container.
  • Crea passaggi di build personalizzati:puoi definire passaggi di build personalizzati in Cloud Build per eseguire qualsiasi codice arbitrario durante il processo di compilazione.
  • Crea artefatti per altri servizi di Agent Platform: Cloud Build può creare artefatti per altri servizi di Agent Platform come Feature Store su Agent Platform e Agent Platform Data Labeling. Questa flessibilità ti aiuta a creare un workflow ML completo su Google Cloud.
  • Realizza una soluzione conveniente: Cloud Build offre un modello di prezzi con pagamento a consumo, quindi paghi solo per le risorse che utilizzi.

Casi d'uso di Cloud Storage

Considera i seguenti casi d'uso di Cloud Storage con Agent Platform:

  • Archivia i dati di addestramento:Agent Platform ti consente di archiviare i set di dati di addestramento nei bucket Cloud Storage. L'utilizzo di Cloud Storage offre diversi vantaggi:
    • Cloud Storage può gestire set di dati di qualsiasi dimensione, consentendoti di addestrare modelli su enormi quantità di dati senza limitazioni di archiviazione.
    • Puoi impostare controlli dell'accesso e crittografia granulari sui tuoi bucket Cloud Storage per assicurarti che i dati di addestramento sensibili siano protetti.
    • Cloud Storage ti consente di monitorare le modifiche e ripristinare le versioni precedenti dei tuoi dati, fornendo audit trail preziosi e facilitando esperimenti di addestramento riproducibili.
    • Agent Platform si integra perfettamente con Cloud Storage, consentendoti di accedere ai dati di addestramento all'interno della piattaforma.
  • Archivia gli artefatti del modello:puoi archiviare gli artefatti del modello addestrato, come file del modello, configurazioni degli iperparametri e log di addestramento, nei bucket Cloud Storage. L'utilizzo di Cloud Storage ti consente di:
    • Conserva tutti gli artefatti del modello in Cloud Storage come repository centralizzato per accedervi e gestirli comodamente.
    • Monitora e gestisci diverse versioni dei tuoi modelli, facilitando i confronti e i rollback, se necessario.
    • Concedi ai colleghi e ai collaboratori l'accesso a bucket Cloud Storage specifici per condividere i modelli in modo efficiente.
  • Archivia i dati di produzione:per i modelli utilizzati in produzione, Cloud Storage può archiviare i dati inseriti nel modello per la previsione. Ad esempio, puoi utilizzare Cloud Storage per:
    • Archivia i dati e le interazioni degli utenti per suggerimenti personalizzati in tempo reale.
    • Conserva le immagini per l'elaborazione e la classificazione on demand utilizzando i tuoi modelli.
    • Mantieni i dati delle transazioni per l'identificazione delle frodi in tempo reale utilizzando i tuoi modelli.
  • Integrazione con altri servizi:Cloud Storage si integra perfettamente con altri servizi Google Cloud utilizzati nei workflow di Agent Platform, ad esempio i seguenti:
    • Dataflow per pipeline di pre-elaborazione e trasformazione dei dati semplificate.
    • BigQuery per l'accesso a grandi set di dati archiviati in BigQuery per l'addestramento e l'inferenza dei modelli.
    • Funzioni Cloud Run per azioni basate su previsioni del modello o modifiche ai dati nei bucket Cloud Storage.
  • Gestisci i costi:Cloud Storage offre un modello di prezzi con pagamento a consumo, il che significa che paghi solo per lo spazio di archiviazione che utilizzi. Ciò garantisce l'efficienza dei costi, soprattutto per i set di dati di grandi dimensioni.
  • Abilita alta disponibilità e durabilità:Cloud Storage garantisce che i tuoi dati siano ad alta affidabilità e protetti da guasti o interruzioni, garantendo affidabilità e accesso solido ai tuoi asset ML.
  • Abilita il supporto multiregionale:archivia i dati in più regioni Cloud Storage geograficamente più vicine ai tuoi utenti o alle tue applicazioni, migliorando le prestazioni e riducendo la latenza per l'accesso ai dati e le previsioni dei modelli.

Casi d'uso per Cloud Run Functions

Considera i seguenti casi d'uso per Cloud Run Functions con Agent Platform:

  • Preelabora e post-elabora i dati:le funzioni Cloud Run possono preelaborare i dati prima di inviarli al modello Agent Platform per l'addestramento o la previsione. Ad esempio, una funzione può pulire e normalizzare i dati o estrarne le caratteristiche. Allo stesso modo, le funzioni Cloud Run possono post-elaborare l'output del modello della piattaforma Agent. Ad esempio, una funzione può formattare i dati di output o inviarli a un altro servizio per ulteriori analisi.
  • Attiva automaticamente i job di addestramento di Agent Platform: per automatizzare l'addestramento dei modelli di Agent Platform, puoi attivare le funzioni Cloud Run utilizzando gli eventi di vari serviziGoogle Cloud , come Cloud Storage, Pub/Sub e Cloud Scheduler. Ad esempio, puoi creare una funzione che viene attivata quando un nuovo file viene caricato in Cloud Storage. Questa funzione può avviare un job di addestramento di Agent Platform per addestrare il modello sui nuovi dati.
  • Fornisci previsioni:le funzioni Cloud Run possono fornire previsioni dai tuoi modelli Agent Platform, consentendoti di creare un endpoint API per il tuo modello senza dover gestire alcuna infrastruttura. Ad esempio, puoi scrivere una funzione che accetta un'immagine come input e restituisce una previsione dal tuo modello di classificazione delle immagini di Agent Platform. Puoi quindi eseguire il deployment di questa funzione come endpoint API HTTP.
  • Crea flussi di lavoro di ML basati su eventi: puoi utilizzare Cloud Run Functions per creare flussi di lavoro di ML basati su eventi. Ad esempio, una funzione può attivare un job di previsione di Agent Platform quando viene aggiunto un nuovo record a un argomento Pub/Sub. Questa funzione ti consente di elaborare i dati in tempo reale e intraprendere azioni in base alle previsioni del modello.
  • Integrazione con altri servizi:puoi integrare le funzioni Cloud Run con altri servizi Google Cloud , come Cloud Storage, BigQuery e Cloud Firestore. L'integrazione ti consente di creare pipeline ML complesse che collegano diversi servizi.
  • Semplifica i costi:le funzioni Cloud Run ti consentono di pagare solo le risorse utilizzate dalla funzione durante l'esecuzione. Inoltre, le funzioni Cloud Run vengono scalate automaticamente per soddisfare la domanda, in modo da mantenere le risorse appropriate durante i picchi di traffico.

Casi d'uso di Pub/Sub

Considera i seguenti casi d'uso per Pub/Sub con Agent Platform:

  • Architettura asincrona basata su eventi:Pub/Sub consente la comunicazione basata su eventi, in modo da poter attivare le pipeline di Agent Platform in base agli eventi pubblicati negli argomenti Pub/Sub. Questi eventi possono includere nuovi dati e aggiornamenti del modello.
  • Scalabilità e affidabilità: Pub/Sub è altamente scalabile e ti consente di gestire numerosi eventi senza influire sulle prestazioni. La scalabilità è fondamentale per l'elaborazione di set di dati di grandi dimensioni o l'esecuzione di più job ML simultanei. Pub/Sub fornisce anche l'ordinamento e la consegna affidabile dei messaggi all'interno di un argomento, garantendo la coerenza dell'elaborazione anche in presenza di carichi di lavoro elevati.
  • Flessibilità:puoi integrare Agent Platform con altri servizi come le funzioni Cloud Run o Dataflow utilizzando Pub/Sub, creando pipeline di ML flessibili e dinamiche.
  • Monitoraggio e avvisi in tempo reale: Pub/Sub ti consente di abbonarti a argomenti specifici per ricevere notifiche in tempo reale sugli eventi nelle pipeline della piattaforma dell'agente. Il monitoraggio in tempo reale ti aiuta a monitorare l'avanzamento dell'addestramento del modello, i risultati della pre-elaborazione dei dati e l'output della previsione. Puoi configurare gli avvisi in base a eventi specifici, come job non riusciti o anomalie rilevate durante la previsione. Gli avvisi consentono un intervento proattivo e la risoluzione tempestiva dei problemi.

Ad esempio, puoi utilizzare Pub/Sub per:

  • Attiva l'addestramento del modello quando arrivano nuovi dati in un bucket Cloud Storage.
  • Invia previsioni in tempo reale da un modello di cui è stato eseguito il deployment ai sistemi downstream per un'ulteriore elaborazione.
  • Monitorare e reagire alle variazioni delle metriche sulle prestazioni del modello.
  • Attiva avvisi per eventi critici come previsioni non riuscite o problemi di qualità dei dati.

Casi d'uso di Resource Manager

Considera i seguenti casi d'uso per Resource Manager con Agent Platform:

  • Crea progetti separati per team o reparti diversi per garantire l'isolamento di risorse e dati e controlli dell'accesso granulari.
  • Applica policy di sicurezza protettive ai workload AI.
  • Definisci le quote per l'utilizzo della GPU nei job di addestramento per evitare sforamenti dei costi.
  • Automatizza la creazione dei bucket Cloud Storage e delle istanze Compute Engine richiesti per i nuovi progetti.
  • Monitora e analizza i modelli di utilizzo delle risorse per progetti specifici per ottimizzare l'allocazione delle risorse.
  • Genera report di controllo per dimostrare la conformità alle norme di governance dei dati e di sicurezza.

Casi d'uso di Secret Manager

Prendi in considerazione i seguenti casi d'uso di Secret Manager con Agent Platform:

  • Archivia le chiavi API per accedere alle origini dati esterne utilizzate nell'addestramento del modello.
  • Cripta le credenziali del database all'interno delle pipeline di previsione per un accesso sicuro.
  • Esegui il provisioning di token di accesso temporanei per una comunicazione sicura tra i servizi.
  • Proteggi le chiavi private e i certificati che utilizzi per criptare i canali di comunicazione.
  • Gestisci le password e le credenziali per i servizi di terze parti che utilizzi nei tuoi flussi di lavoro ML.

Casi d'uso di VPC

Considera i seguenti casi d'uso per VPC con Agent Platform:

  • Definisci regole firewall e controlli dell'accesso granulari all'interno della tua rete VPC per limitare il traffico e consentire solo le connessioni autorizzate a risorse specifiche.

  • Organizza le risorse di Agent Platform in reti VPC separate in base ai requisiti di funzionalità o sicurezza.

    Questo tipo di organizzazione consente di isolare le risorse e impedisce l'accesso non autorizzato tra progetti o team diversi. Puoi creare reti VPC dedicate per carichi di lavoro sensibili, ad esempio modelli di addestramento con dati riservati, assicurandoti che solo utenti e servizi autorizzati abbiano accesso alla rete.

Passaggi successivi