Prospettiva di IA e ML: sicurezza

Questo documento nella Well-Architected Framework: prospettiva AI e ML fornisce una panoramica dei principi e dei consigli per garantire che le implementazioni di AI e ML soddisfino i requisiti di sicurezza e conformità della tua organizzazione. I suggerimenti contenuti in questo documento sono in linea con il pilastro della sicurezza del Google Cloud Well-Architected Framework.

Il deployment sicuro dei workload AI e ML è un requisito fondamentale, in particolare negli ambienti aziendali. Per soddisfare questo requisito, devi adottare un approccio olistico alla sicurezza che inizia dalla concettualizzazione iniziale delle tue soluzioni di AI e ML e si estende a sviluppo, deployment e operazioni continue. Google Cloud offre strumenti e servizi robusti progettati per proteggere i tuoi carichi di lavoro di AI e ML.

I consigli contenuti in questo documento sono mappati ai seguenti principi fondamentali:

Per ulteriori informazioni sulla sicurezza dell'AI, puoi anche consultare le seguenti risorse:

  • Il Secure AI Framework (SAIF) diGoogle Cloud fornisce una guida completa per la creazione di sistemi di AI sicuri e responsabili. Descrive i principi chiave e le best practice per affrontare le considerazioni su sicurezza e conformità durante l'intero ciclo di vita dell'AI.
  • Per scoprire di più sull'approccio di Google Cloudalla fiducia nell'AI, consulta il nostro Centro risorse per la conformità.

Definisci obiettivi e requisiti chiari

Una sicurezza efficace di AI e ML è un componente fondamentale della tua strategia aziendale generale. È più facile integrare i controlli di sicurezza e conformità richiesti all'inizio del processo di progettazione e sviluppo, anziché aggiungerli dopo lo sviluppo.

Fin dall'inizio del processo di progettazione e sviluppo, prendi decisioni appropriate per il tuo ambiente di rischio specifico e per le priorità della tua attività. Ad esempio, misure di sicurezza eccessivamente restrittive potrebbero proteggere i dati, ma anche ostacolare l'innovazione e rallentare i cicli di sviluppo. Tuttavia, una mancanza di sicurezza può portare a violazioni dei dati, danni alla reputazione e perdite finanziarie, che sono dannosi per gli obiettivi aziendali.

Per definire obiettivi e requisiti chiari, prendi in considerazione i seguenti suggerimenti.

Allineare la sicurezza dell'AI e del ML agli obiettivi aziendali

Per allineare i tuoi sforzi di sicurezza di AI e ML agli obiettivi aziendali, utilizza un approccio strategico che integri la sicurezza in ogni fase del ciclo di vita dell'AI. Per seguire questo approccio:

  1. Definisci obiettivi commerciali e requisiti di sicurezza chiari:

    • Identifica gli obiettivi commerciali chiave: definisci obiettivi commerciali chiari che le tue iniziative di AI e ML sono progettate per raggiungere. Ad esempio, i tuoi obiettivi potrebbero essere migliorare la customer experience, ottimizzare le operazioni o sviluppare nuovi prodotti.
    • Tradurre gli obiettivi in requisiti di sicurezza: quando chiarisci i tuoi obiettivi aziendali, definisci requisiti di sicurezza specifici per supportarli. Ad esempio, il tuo obiettivo potrebbe essere quello di utilizzare l'AI per personalizzare i consigli per i clienti. Per supportare questo obiettivo, i tuoi requisiti di sicurezza potrebbero essere proteggere la privacy dei dati dei clienti e impedire l'accesso non autorizzato agli algoritmi di raccomandazione.

  2. Bilanciare la sicurezza con le esigenze aziendali:

    • Eseguire valutazioni del rischio: identifica potenziali minacce alla sicurezza e vulnerabilità nei tuoi sistemi di AI.
    • Dai la priorità alle misure di sicurezza: basa la priorità di queste misure di sicurezza sul loro potenziale impatto sui tuoi obiettivi aziendali.
    • Analizza i costi e i vantaggi: assicurati di investire nelle soluzioni più efficaci. Valuta i costi e i vantaggi delle diverse misure di sicurezza.
    • Sposta la sicurezza a sinistra: implementa le best practice per la sicurezza all'inizio della fase di progettazione e adatta le misure di sicurezza in base alle esigenze aziendali e alle minacce emergenti.

Identifica potenziali vettori di attacco e rischi

Considera i potenziali vettori di attacco che potrebbero interessare i tuoi sistemi di AI, come l'avvelenamento dei dati, l'inversione del modello o gli attacchi avversariali. Monitora e valuta costantemente la superficie di attacco in evoluzione man mano che il tuo sistema di AI si sviluppa e tieni traccia di nuove minacce e vulnerabilità. Ricorda che le modifiche ai tuoi sistemi di AI possono anche introdurre modifiche alla loro superficie di attacco.

Per mitigare i potenziali rischi legali e reputazionali, devi anche soddisfare i requisiti di conformità relativi alla privacy dei dati, ai pregiudizi algoritmici e ad altre normative pertinenti.

Per prevedere in anticipo potenziali minacce e vulnerabilità e fare scelte di progettazione che mitighino i rischi, adotta un approccio sicuro per progettazione.

Google Cloud offre una suite completa di strumenti e servizi per aiutarti a implementare un approccio sicuro by design:

  • Gestione della postura di sicurezza nel cloud: utilizza Security Command Center per identificare potenziali vulnerabilità ed errori di configurazione nella tua infrastruttura AI.
  • Punteggi di esposizione agli attacchi e percorsi di attacco: Perfeziona e utilizza i punteggi di esposizione agli attacchi e i percorsi di attacco generati da Security Command Center.
  • Google Threat Intelligence: Rimani al corrente delle nuove minacce e tecniche di attacco che emergono per prendere di mira i sistemi di AI.
  • Registrazione e monitoraggio: monitora le prestazioni e la sicurezza dei tuoi sistemi di AI e rileva eventuali anomalie o attività sospette. Esegui audit di sicurezza regolari per identificare e risolvere le potenziali vulnerabilità nella tua infrastruttura e nei tuoi modelli di AI.
  • Gestione delle vulnerabilità: Implementa un processo di gestione delle vulnerabilità per monitorare e correggere le vulnerabilità di sicurezza nei tuoi sistemi di AI.

Per saperne di più, consulta Secure by Design in Google e Implementare la sicurezza by design.

Mantenere i dati al sicuro e prevenire perdite o errori di gestione

I dati sono un asset prezioso e sensibile che deve essere protetto. La sicurezza dei dati ti aiuta a mantenere la fiducia degli utenti, supportare i tuoi obiettivi aziendali e soddisfare i requisiti di conformità.

Per proteggere i tuoi dati, prendi in considerazione i seguenti consigli.

Rispetta i principi di minimizzazione dei dati

Per garantire la privacy dei dati, rispetta il principio della minimizzazione dei dati. Per ridurre al minimo i dati, non raccogliere, conservare o utilizzare dati non strettamente necessari per i tuoi obiettivi aziendali. Se possibile, utilizza dati sintetici o completamente anonimizzati.

La raccolta dei dati può contribuire a generare approfondimenti e analisi aziendali, ma è fondamentale esercitare discrezione nel processo di raccolta dei dati. Se raccogli informazioni che consentono l'identificazione personale (PII) sui tuoi clienti, riveli informazioni sensibili o crei pregiudizi o controversie, potresti creare modelli di ML distorti.

Puoi utilizzare le funzionalità Google Cloud per migliorare la minimizzazione dei dati e la privacy dei dati per vari casi d'uso:

  • Per anonimizzare i dati e preservarne l'utilità, applica metodi di trasformazione come l'assegnazione di pseudonimi, l'anonimizzazione e la generalizzazione, ad esempio il bucket. Per implementare questi metodi, puoi utilizzare Sensitive Data Protection.
  • Per arricchire i dati e mitigare potenziali distorsioni, puoi utilizzare un job di etichettatura dei dati Vertex AI. Il processo di etichettatura dei dati aggiunge tag informativi e significativi ai dati non elaborati, trasformandoli in dati di addestramento strutturati per i modelli ML. L'etichettatura dei dati aggiunge specificità ai dati e riduce l'ambiguità.
  • Per proteggere le risorse da accessi o manipolazioni prolungati, utilizza le funzionalità di Cloud Storage per controllare i cicli di vita dei dati.

Per le best practice su come implementare la crittografia dei dati, consulta Crittografia crittografia at-rest e in transito nel Well-Architected Framework.

Monitorare la raccolta, l'archiviazione e la trasformazione dei dati

I dati di addestramento della tua applicazione AI rappresentano i rischi maggiori per l'introduzione di bias e la perdita di dati. Per rimanere in conformità e gestire i dati in team diversi, crea un livello di governance dei dati per monitorare i flussi, le trasformazioni e l'accesso ai dati. Mantieni i log per le attività di accesso e manipolazione dei dati. I log ti aiutano a controllare l'accesso ai dati, rilevare tentativi di accesso non autorizzato e impedire accessi indesiderati.

Puoi utilizzare le funzionalità di Google Cloud per implementare strategie di governance dei dati:

  • Per creare una piattaforma di governance dei dati a livello di organizzazione o reparto, utilizza Dataplex Universal Catalog. Una piattaforma di governance dei dati può aiutarti a scoprire, gestire, monitorare e governare centralmente dati e artefatti AI nelle tue piattaforme dati. La piattaforma di governance dei dati fornisce anche l'accesso agli utenti attendibili. Con Dataplex Universal Catalog puoi svolgere le seguenti attività:
    • Gestisci la derivazione dei dati. BigQuery può anche fornire la derivazione a livello di colonna.
    • Gestisci i controlli della qualità dei dati e i profili dei dati.
    • Gestisci l'individuazione, l'esplorazione e l'elaborazione dei dati in diversi data mart.
    • Gestisci i metadati delle funzionalità e gli artefatti del modello.
    • Crea un glossario aziendale per gestire i metadati e stabilire un vocabolario standardizzato.
    • Arricchisci i metadati con il contesto tramite aspetti e tipi di aspetto.
    • Unifica la governance dei dati nelle tabelle BigLake e in formato aperto come Iceberg e Delta.
    • Crea un data mesh per decentralizzare la proprietà dei dati tra i proprietari dei dati di team o domini diversi. Questa pratica rispetta i principi di sicurezza dei dati e può contribuire a migliorare l'accessibilità dei dati e l'efficienza operativa.
    • Ispeziona e invia i risultati dei dati sensibili da BigQuery a Dataplex Universal Catalog.
  • Per creare un lakehouse aperto e unificato ben governato, integra i tuoi data lake e data warehouse con servizi metastore gestiti come Dataproc Metastore e BigLake Metastore. Una lakehouse aperta utilizza formati di tabelle aperti compatibili con diversi motori di elaborazione dei dati.
  • Per pianificare il monitoraggio delle caratteristiche e dei gruppi di caratteristiche, utilizza Vertex AI Feature Store.
  • Per analizzare i tuoi set di dati Vertex AI a livello di organizzazione, cartella o progetto, utilizza Rilevamento dei dati sensibili per Vertex AI. Puoi anche analizzare i profili dati archiviati in BigQuery.
  • Per acquisire i log in tempo reale e raccogliere le metriche relative alle pipeline di dati, utilizza Cloud Logging e Cloud Monitoring. Per raccogliere le tracce di controllo delle chiamate API, utilizza Cloud Audit Logs. Non registrare PII o dati riservati negli esperimenti o in server di log diversi.

Implementare controlli di accesso basati sui ruoli con principi di privilegio minimo

Implementa il controllo degli accessi basato sui ruoli (RBAC) per assegnare diversi livelli di accesso in base ai ruoli utente. Gli utenti devono disporre solo delle autorizzazioni minime necessarie per svolgere le attività del proprio ruolo. Assegna le autorizzazioni in base al principio del privilegio minimo in modo che gli utenti abbiano solo l'accesso di cui hanno bisogno, ad esempio nessun accesso, sola lettura o scrittura.

Il controllo dell'accesso basato sui ruoli con privilegio minimo è importante per la sicurezza quando la tua organizzazione utilizza dati sensibili che risiedono in data lake, negli feature store o negli iperparametri per l'addestramento del modello. Questa pratica ti aiuta a prevenire il furto di dati, a preservare l'integrità del modello e a limitare la superficie di attacco per incidenti o attacchi.

Per aiutarti a implementare queste strategie di accesso, puoi utilizzare le seguenti funzionalità diGoogle Cloud :

  • Per implementare la granularità dell'accesso, valuta le seguenti opzioni:

    • Mappa i ruoli IAM di diversi prodotti a un utente, gruppo o account di servizio per consentire l'accesso granulare. Mappa questi ruoli in base alle esigenze del progetto, ai pattern di accesso o ai tag.
    • Imposta criteri IAM con condizioni per gestire l'accesso granulare a dati, modelli e configurazioni dei modelli, come codice, impostazioni delle risorse e iperparametri.

    • Esplora l'accesso granulare a livello di applicazione che ti aiuta a proteggere i dati sensibili che controlli e condividi al di fuori del tuo team.

  • Per limitare l'accesso a determinate risorse, puoi utilizzare le policy di Principal Access Boundary (PAB). Puoi anche utilizzare Privileged Access Manager per controllare l'aumento temporaneo dei privilegi just-in-time per le entità selezionate. In un secondo momento, puoi visualizzare gli audit log per questa attività di Privileged Access Manager.

  • Per limitare l'accesso alle risorse in base all'indirizzo IP e agli attributi del dispositivo dell'utente finale, puoi estendere i criteri di accesso di Identity-Aware Proxy (IAP).

  • Per creare pattern di accesso per diversi gruppi di utenti, puoi utilizzare il controllo dell'accesso AI con IAM per combinare i ruoli predefiniti o personalizzati.

  • Per proteggere le istanze Vertex AI Workbench utilizzando controlli di accesso sensibili al contesto, utilizza Gestore contesto accesso e Chrome Enterprise Premium. Con questo approccio, l'accesso viene valutato ogni volta che un utente si autentica all'istanza.

Implementa misure di sicurezza per il trasferimento dei dati

Implementa perimetri sicuri e altre misure come la crittografia e le limitazioni allo spostamento dei dati. Queste misure ti aiutano a prevenire l'esfiltrazione di dati e la perdita di dati, che possono causare perdite finanziarie, danni alla reputazione, responsabilità legali e un'interruzione delle attività aziendali.

Per contribuire a prevenire l'esfiltrazione e la perdita di dati su Google Cloud, puoi utilizzare una combinazione di strumenti e servizi di sicurezza.

Per implementare la crittografia, considera quanto segue:

  • Per avere un maggiore controllo sulle chiavi di crittografia, utilizza le chiavi di crittografia gestite dal cliente (CMEK) in Cloud KMS. Quando utilizzi le CMEK, i seguenti servizi integrati con CMEK criptano i dati at-rest per te:
  • Per proteggere i tuoi dati in Cloud Storage, utilizza la crittografia lato server per archiviare le tue CMEK. Se gestisci le chiavi CMEK sui tuoi server, la crittografia lato server può aiutarti a proteggere le chiavi CMEK e i dati associati, anche se il tuo sistema di archiviazione CMEK è compromesso.
  • Per criptare i dati in transito, utilizza HTTPS per tutte le chiamate API ai servizi AI e ML. Per applicare HTTPS per le tue applicazioni e API, utilizza i bilanciatori del carico HTTPS.

Per ulteriori best practice su come criptare i dati, consulta Crittografare i dati at-rest e in transito nel pilastro della sicurezza del Well-Architected Framework.

Per implementare i perimetri, tieni presente quanto segue:

  • Per creare un confine di sicurezza attorno alle risorse AI e ML e impedire l'esfiltrazione di dati dal tuo Virtual Private Cloud (VPC), utilizza i controlli di servizio VPC per definire un perimetro di servizio. Includi le risorse di AI e ML e i dati sensibili nel perimetro. Per controllare il flusso di dati, configura le regole in entrata e in uscita per il tuo perimetro.
  • Per limitare il traffico in entrata e in uscita verso le risorse AI e ML, configura le regole firewall. Implementa policy che negano tutto il traffico per impostazione predefinita e consentono esplicitamente solo il traffico che soddisfa i tuoi criteri. Per un esempio di policy, vedi Esempio: nega tutte le connessioni esterne tranne quelle a porte specifiche.

Per implementare limitazioni allo spostamento dei dati, considera quanto segue:

  • Per condividere i dati e scalare oltre i confini della privacy in un ambiente sicuro, utilizza la condivisione di BigQuery e le data clean room di BigQuery, che forniscono un solido framework di sicurezza e privacy.
  • Per condividere i dati direttamente nelle destinazioni integrate dalle dashboard di business intelligence, utilizza Looker Action Hub, che fornisce un ambiente cloud sicuro.

Proteggersi dal poisoning dei dati

Il data poisoning è un tipo di attacco informatico in cui gli autori dell'attacco inseriscono dati dannosi nei set di dati di addestramento per manipolare il comportamento del modello o per peggiorarne le prestazioni. Questo attacco informatico può rappresentare una grave minaccia per i sistemi di addestramento ML. Per proteggere la validità e la qualità dei dati, adotta pratiche che li tutelino. Questo approccio è fondamentale per garantire coerenza, affidabilità e integrità del modello.

Per monitorare comportamenti, trasformazioni o accessi imprevisti ai tuoi dati, configura un monitoraggio e avvisi completi per le pipeline di dati e ML.

Le funzionalità diGoogle Cloud possono aiutarti a implementare ulteriori protezioni contro l'avvelenamento dei dati:

  • Per convalidare l'integrità dei dati, considera quanto segue:

    • Implementa controlli di convalida dei dati robusti prima di utilizzare i dati per l'addestramento. Verifica i formati, gli intervalli e le distribuzioni dei dati. Puoi utilizzare le funzionalità automatiche di qualità dei dati in Dataplex Universal Catalog.
    • Utilizza Sensitive Data Protection con Model Armor per usufruire di funzionalità complete di prevenzione della perdita di dati. Per saperne di più, consulta Concetti chiave di Model Armor. La protezione dei dati sensibili con Model Armor ti consente di scoprire, classificare e proteggere i dati sensibili come la proprietà intellettuale. Queste funzionalità possono aiutarti a prevenire l'esposizione non autorizzata di dati sensibili nelle interazioni con gli LLM.
    • Per rilevare anomalie nei dati di addestramento che potrebbero indicare un avvelenamento dei dati, utilizza il rilevamento di anomalie in BigQuery con metodi statistici o modelli ML.

  • Per prepararti a un addestramento efficace:

    • Utilizza metodi di ensemble per ridurre l'impatto dei punti dati compromessi. Addestra più modelli su diversi sottoinsiemi dei dati con l'ottimizzazione degli iperparametri.
    • Utilizza tecniche di aumento dei dati per bilanciare la distribuzione dei dati nei set di dati. Questo approccio può ridurre l'impatto del data poisoning e ti consente di aggiungere esempi avversari.

  • Per incorporare la revisione umana per i dati di addestramento o gli output del modello, procedi nel seguente modo:

    • Analizza le metriche di valutazione del modello per rilevare potenziali distorsioni, anomalie o comportamenti imprevisti che potrebbero indicare un avvelenamento dei dati. Per i dettagli, consulta Valutazione dei modelli in Vertex AI.
    • Sfrutta le competenze nel dominio per valutare il modello o l'applicazione e identificare pattern o punti dati sospetti che i metodi automatizzati potrebbero non rilevare. Per i dettagli, consulta la panoramica del servizio di valutazione dell'AI generativa.

Per le best practice su come creare piattaforme di dati incentrate su infrastruttura e sicurezza dei dati, consulta il principio Implementare la sicurezza by design nel framework Well-Architected.

Mantieni le pipeline AI sicure e robuste contro le manomissioni

Il codice AI e ML e le pipeline definite dal codice sono asset fondamentali. Il codice non protetto può essere manomesso, il che può portare a perdite di dati, mancato rispetto della conformità e interruzione delle attività aziendali critiche. Mantenere sicuro il codice AI e ML contribuisce a garantire l'integrità e il valore dei tuoi modelli e dei loro output.

Per proteggere il codice e le pipeline di AI, tieni presente i seguenti suggerimenti.

Utilizzare pratiche di codifica sicure

Per evitare vulnerabilità, utilizza pratiche di codifica sicure quando sviluppi i tuoi modelli. Ti consigliamo di implementare la convalida di input e output specifici per l'AI, gestire tutte le dipendenze del software e incorporare in modo coerente i principi di programmazione sicura nello sviluppo. Incorpora la sicurezza in ogni fase del ciclo di vita dell'AI, dal pre-elaborazione dei dati al codice dell'applicazione finale.

Per implementare una convalida rigorosa, considera quanto segue:

  • Per evitare la manipolazione del modello o gli exploit del sistema, convalida e pulisci gli input e gli output nel codice.

    • Utilizza Model Armor o LLM ottimizzati per controllare automaticamente prompt e risposte in base a rischi comuni.
    • Implementa la convalida dei dati negli script di importazione e preelaborazione dei dati per tipi, formati e intervalli di dati. Per Vertex AI Pipelines o BigQuery, puoi utilizzare Python per implementare questa convalida dei dati.
    • Utilizza agenti LLM di assistenza alla programmazione, come CodeMender, per migliorare la sicurezza del codice. Mantieni un human-in-the-loop per convalidare le modifiche proposte.

  • Per gestire e proteggere gli endpoint API del modello di AI, utilizza Apigee, che include funzionalità configurabili come la convalida delle richieste, il controllo del traffico e l'autenticazione.

  • Per contribuire a mitigare i rischi durante l'intero ciclo di vita dell'AI, puoi utilizzare AI Protection per eseguire le seguenti operazioni:

    • Scopri l'inventario AI nel tuo ambiente.
    • Valuta l'inventario per rilevare potenziali vulnerabilità.
    • Proteggi gli asset AI con controlli, policy e protezioni.
    • Gestisci i sistemi di AI con funzionalità di rilevamento, indagine e risposta.

Per proteggere le dipendenze di codice e artefatti nella pipeline CI/CD, valuta quanto segue:

  • Per affrontare i rischi che le dipendenze delle librerie open source possono introdurre nel tuo progetto, utilizza Artifact Analysis con Artifact Registry per rilevare le vulnerabilità note. Utilizzare e gestire le versioni approvate delle librerie. Archivia i pacchetti ML personalizzati e le dipendenze verificate in un repository Artifact Registry privato.
  • Per incorporare la scansione delle dipendenze nelle pipeline MLOps di Cloud Build, utilizza Binary Authorization. Applica criteri che consentono i deployment solo se le immagini container del codice superano i controlli di sicurezza.
  • Per ottenere informazioni sulla sicurezza della catena di fornitura del software, utilizza le dashboard nella console Google Cloud che forniscono dettagli su origini, build, artefatti, deployment e runtime. Queste informazioni includono vulnerabilità negli artefatti di build, provenienza della build ed elenchi di dipendenze della distinta materiali del software (SBOM).
  • Per valutare il livello di maturità della sicurezza della catena di fornitura del software, utilizza il framework Supply chain Levels for Software Artifacts (SLSA).

Per integrare in modo coerente i principi di programmazione sicura in ogni fase dello sviluppo, valuta quanto segue:

  • Per evitare l'esposizione di dati sensibili dalle interazioni con il modello, utilizza la registrazione con la protezione dei dati sensibili. Quando utilizzi questi prodotti insieme, puoi controllare quali dati vengono registrati dalle tue applicazioni di AI e dai componenti della pipeline e nascondere i dati sensibili.
  • Per implementare il principio del privilegio minimo, assicurati che gli account di servizio che utilizzi per i job personalizzati, le pipeline e i modelli di cui è stato eseguito il deployment di Vertex AI dispongano solo delle autorizzazioni IAM minime richieste. Per saperne di più, consulta Implementare controlli dell'accesso basati sui ruoli con privilegio minimo minimi.
  • Per proteggere le pipeline e gli artefatti di build, comprendi le configurazioni di sicurezza (VPC e Controlli di servizio VPC) nell'ambiente in cui viene eseguito il codice.

Proteggere le pipeline e gli artefatti del modello da accessi non autorizzati

Gli artefatti e le pipeline del modello sono proprietà intellettuale e i relativi dati di addestramento contengono anche informazioni proprietarie. Per proteggere i pesi del modello, i file e le configurazioni di deployment da manomissioni e vulnerabilità, archivia e accedi a questi artefatti con una sicurezza migliorata. Implementa diversi livelli di accesso per ogni artefatto in base ai ruoli e alle esigenze degli utenti.

Per proteggere gli artefatti del modello, tieni presente quanto segue:

  • Per proteggere gli artefatti del modello e altri file sensibili, criptali con Cloud KMS. Questa crittografia contribuisce a proteggere i dati inattivi e in transito, anche se l'archiviazione sottostante viene compromessa.
  • Per proteggere l'accesso ai tuoi file, archiviali in Cloud Storage e configura i controlli dell'accesso.
  • Per monitorare eventuali configurazioni errate o inadeguate e qualsiasi deviazione dagli standard definiti, utilizza Security Command Center per configurare le posture di sicurezza.
  • Per attivare controllo dell'accesso granulare e crittografia at-rest, archivia gli artefatti del modello in Vertex AI Model Registry. Per una maggiore sicurezza, crea una firma digitale per i pacchetti e i container prodotti durante i processi di build approvati.
  • Per usufruire della sicurezza di livello enterprise di Google Cloud, utilizza i modelli disponibili in Model Garden. Model Garden fornisce i modelli proprietari di Google e offre modelli di terze parti di partner in evidenza.

  • Per applicare la gestione centralizzata per tutti i cicli di vita di utenti e gruppi e per applicare il principio del privilegio minimo, utilizza IAM.

    • Crea e utilizza service account dedicati con privilegi minimi per le pipeline MLOps. Ad esempio, il service account di una pipeline di addestramento ha le autorizzazioni per leggere i dati solo da un bucket Cloud Storage specifico e per scrivere gli artefatti del modello nel registro dei modelli.
    • Utilizza le condizioni IAM per applicare il controllo dell'accesso condizionale basato su attributi. Ad esempio, una condizione consente a unaccount di serviziot di attivare una pipeline Vertex AI solo se la richiesta proviene da un trigger Cloud Build attendibile.

Per proteggere le pipeline di deployment, valuta quanto segue:

  • Per gestire le fasi di MLOps su servizi e risorse Google Cloud , utilizza Vertex AI Pipelines, che può integrarsi con altri servizi e fornire un controllo dell'accesso di basso livello. Quando esegui nuovamente le pipeline, assicurati di eseguire i controlli di Vertex Explainable AI e di IA responsabile prima di eseguire il deployment degli artefatti del modello. Questi controlli possono aiutarti a rilevare o prevenire i seguenti problemi di sicurezza:

    • Modifiche non autorizzate, che possono indicare la manomissione del modello.
    • Cross-site scripting (XSS), che può indicare immagini container o dipendenze compromesse.
    • Endpoint non sicuri, che possono indicare un'infrastruttura di pubblicazione configurata in modo errato.

  • Per proteggere le interazioni del modello durante l'inferenza, utilizza endpoint privati basati su Private Service Connect con container predefiniti o container personalizzati. Crea firme del modello con uno schema di input e output predefinito.

  • Per automatizzare il monitoraggio delle modifiche al codice, utilizza Git per la gestione del codice sorgente e integra il controllo della versione con pipeline CI/CD robuste.

Per ulteriori informazioni, consulta Protezione della pipeline di AI.

Applica la derivazione e il monitoraggio

Per aiutarti a soddisfare i requisiti di conformità normativa che potresti avere, applica la derivazione e il monitoraggio dei tuoi asset di AI e ML. La derivazione e il monitoraggio dei dati forniscono record di modifica estesi per dati, modelli e codice. La provenienza del modello fornisce trasparenza e responsabilità durante tutto il ciclo di vita dell'AI e del ML.

Per applicare in modo efficace la derivazione e il monitoraggio in Google Cloud, prendi in considerazione i seguenti strumenti e servizi:

  • Per monitorare la derivazione di modelli, set di dati e artefatti crittografati automaticamente a riposo, utilizza Vertex ML Metadata. Registra i metadati relativi a origini dati, trasformazioni, parametri del modello e risultati dell'esperimento.
  • Per monitorare la provenienza degli artefatti della pipeline da Vertex AI Pipelines e per cercare risorse di modelli e set di dati, puoi utilizzare il Catalogo universale Dataplex. Monitora i singoli artefatti della pipeline quando vuoi eseguire il debug, la risoluzione dei problemi o un'analisi delle cause principali. Per monitorare l'intera pipeline MLOps, inclusa la derivazione degli artefatti della pipeline, utilizza Vertex ML Metadata. Vertex ML Metadata consente anche di analizzare le risorse e le esecuzioni. Model Registry applica e gestisce le versioni di ogni modello che memorizzi.
  • Per monitorare le chiamate API e le azioni amministrative, abilita gli audit log per Vertex AI. Analizza gli audit log con Log Analytics per capire chi ha eseguito l'accesso ai dati e ai modelli o li ha modificati e quando. Puoi anche indirizzare i log a destinazioni di terze parti.

Esegui il deployment su sistemi sicuri con strumenti e artefatti sicuri

Assicurati che il codice e i modelli vengano eseguiti in un ambiente sicuro. Questo ambiente deve disporre di un sistema di controllo dell'accesso solido e fornire garanzie di sicurezza per gli strumenti e gli artefatti che implementi.

Per eseguire il deployment del codice su sistemi sicuri, prendi in considerazione i seguenti suggerimenti.

Addestra ed esegui il deployment dei modelli in un ambiente sicuro

Per mantenere l'integrità, la riservatezza e la disponibilità del sistema per i tuoi sistemi di AI e ML, implementa controlli dell'accesso rigorosi che impediscano la manipolazione non autorizzata delle risorse. Questa difesa ti aiuta a:

  • Mitigare la manomissione del modello che potrebbe produrre risultati inaspettati o in conflitto.
  • Proteggere i dati di addestramento dalle violazioni della privacy.
  • Mantenere l'uptime del servizio.
  • Assicurare la conformità alle normative.
  • Creare fiducia negli utenti.

Per addestrare i tuoi modelli di ML in un ambiente con maggiore sicurezza, utilizza i servizi gestiti in Google Cloud come Cloud Run, GKE e Dataproc. Puoi anche utilizzare l'addestramento serverless di Vertex AI.

Questa sezione fornisce consigli per proteggere ulteriormente l'ambiente di training e deployment.

Per proteggere meglio il tuo ambiente e i tuoi perimetri, tieni presente quanto segue:

Per proteggere il tuo deployment, considera quanto segue:

  • Quando esegui il deployment dei modelli, utilizza il registro dei modelli. Se esegui il deployment dei modelli nei container, utilizza GKE Sandbox e Container-Optimized OS per migliorare la sicurezza e isolare i carichi di lavoro. Limitare l'accesso ai modelli di Model Garden in base ai ruoli e alle responsabilità degli utenti.
  • Per proteggere le API del modello, utilizza Apigee o API Gateway. Per prevenire abusi, implementa chiavi API, autenticazione, autorizzazione e limitazione di frequenza. Per controllare l'accesso alle API del modello, utilizza chiavi API e meccanismi di autenticazione.
  • Per proteggere l'accesso ai modelli durante la previsione, utilizza Vertex AI Inference. Per impedire l'esfiltrazione di dati, utilizza i perimetri dei Controlli di servizio VPC per proteggere gli endpoint privati e controllare l'accesso ai modelli sottostanti. Utilizzi endpoint privati per attivare l'accesso ai modelli all'interno di una rete VPC. IAM non viene applicato direttamente all'endpoint privato, ma il servizio di destinazione utilizza IAM per gestire l'accesso ai modelli. Per la previsione online, ti consigliamo di utilizzare Private Service Connect.
  • Per monitorare le chiamate API correlate al deployment del modello, abilita Audit Logs di Cloud per Vertex AI. Le chiamate API pertinenti includono attività come la creazione di endpoint, il deployment di modelli e gli aggiornamenti della configurazione.
  • Per estendere l'infrastruttura alle edge location, valuta le soluzioni Google Distributed Cloud. Google Cloud Per una soluzione completamente disconnessa, puoi utilizzare Distributed Cloud con air gap, che non richiede la connettività a Google Cloud.
  • Per contribuire a standardizzare le implementazioni e garantire la conformità ai requisiti normativi e di sicurezza, utilizza Assured Workloads.

Segui le linee guida SLSA per gli artefatti AI

Segui le linee guida standard Supply-chain Levels for Software Artifacts (SLSA) per gli artefatti specifici per l'AI, come modelli e pacchetti software.

SLSA è un framework di sicurezza progettato per aiutarti a migliorare l'integrità degli artefatti software e a prevenire la manomissione. Se rispetti le linee guida SLSA, puoi migliorare la sicurezza della pipeline di AI e ML e degli artefatti che produce. L'adesione a SLSA può fornire i seguenti vantaggi:

  • Maggiore fiducia negli artefatti di AI e ML: SLSA contribuisce a garantire che i tuoi modelli e pacchetti software non vengano manomessi. Gli utenti possono anche risalire all'origine di modelli e pacchetti software, il che aumenta la loro fiducia nell'integrità e nell'affidabilità degli artefatti.
  • Rischio ridotto di attacchi alla supply chain: SLSA contribuisce a ridurre il rischio di attacchi che sfruttano le vulnerabilità nella supply chain del software, come gli attacchi che inseriscono codice dannoso o che compromettono i processi di build.
  • Postura di sicurezza avanzata: SLSA ti aiuta a rafforzare la postura di sicurezza complessiva dei tuoi sistemi di AI e ML. Questa implementazione può contribuire a ridurre il rischio di attacchi e proteggere i tuoi asset di valore.

Per implementare SLSA per gli artefatti AI e ML su Google Cloud, segui questi passaggi:

  1. Informazioni sui livelli SLSA: acquisisci familiarità con i diversi livelli SLSA e i relativi requisiti. Man mano che i livelli aumentano, aumenta anche l'integrità che forniscono.
  2. Valuta il tuo livello attuale: valuta le tue pratiche attuali rispetto al framework SLSA per determinare il tuo livello attuale e identificare le aree di miglioramento.
  3. Imposta il livello target: determina il livello SLSA appropriato da targetizzare in base alla tolleranza al rischio, ai requisiti di sicurezza e alla criticità dei tuoi sistemi di AI e ML.

  4. Implementa i requisiti SLSA: per raggiungere il livello SLSA target, implementa i controlli e le pratiche necessari, che potrebbero includere quanto segue:

    • Controllo del codice sorgente: utilizza un sistema di controllo della versione come Git per monitorare le modifiche al codice e alle configurazioni.
    • Processo di compilazione: utilizza un servizio che contribuisce a proteggere le tue build, come Cloud Build, e assicurati che il processo di compilazione sia basato su script o automatizzato.
    • Generazione della provenienza: genera metadati di provenienza che acquisiscono dettagli su come sono stati creati gli artefatti, inclusi processo di compilazione, codice sorgente e dipendenze. Per i dettagli, vedi Monitorare Vertex ML Metadata e Monitorare le esecuzioni e gli artefatti.
    • Firma degli artefatti: firma gli artefatti per verificarne l'autenticità e l'integrità.
    • Gestione delle vulnerabilità: analizza regolarmente gli artefatti e le dipendenze per rilevare eventuali vulnerabilità. Utilizza strumenti come Artifact Analysis.
    • Sicurezza del deployment: implementa pratiche di deployment che contribuiscono a proteggere i tuoi sistemi, ad esempio quelle descritte in questo documento.

  5. Miglioramento continuo: monitora e migliora l'implementazione di SLSA per affrontare nuove minacce e vulnerabilità e punta a livelli SLSA più elevati.

Utilizzare immagini di container predefinite convalidati

Per evitare un singolo punto di errore per le fasi MLOps, isola le attività che richiedono una gestione delle dipendenze diversa in contenitori diversi. Ad esempio, utilizza container separati per le attività di feature engineering, addestramento o perfezionamento e inferenza. Questo approccio offre inoltre agli ML engineer la flessibilità di controllare e personalizzare il proprio ambiente.

Per promuovere la coerenza di MLOps in tutta l'organizzazione, utilizza i container predefiniti. Gestisci un repository centrale di immagini della piattaforma di base verificate e attendibili con le seguenti best practice:

  • Mantieni un team di piattaforma centralizzato nella tua organizzazione che crei e gestisca i contenitori di base standardizzati.
  • Estendi le immagini container predefinite fornite da Vertex AI appositamente per l'AI e il ML. Gestisci le immagini container in un repository centrale all'interno della tua organizzazione.

Vertex AI fornisce una serie di container di deep learning predefiniti per l'addestramento e l'inferenza e consente anche di utilizzare container personalizzati. Per i modelli più piccoli, puoi ridurre la latenza per l'inferenza se carichi i modelli nei container.

Per migliorare la sicurezza della gestione dei container, valuta i seguenti consigli:

  • Utilizza Artifact Registry per creare, archiviare e gestire repository di immagini container con formati diversi. Artifact Registry gestisce il controllo dell'accesso con IAM e dispone di funzionalità integrate di osservabilità e valutazione delle vulnerabilità. Artifact Registry ti consente di attivare le funzionalità di sicurezza dei container, analizzare le immagini container e analizzare le vulnerabilità.
  • Esegui i passaggi di integrazione continua e crea immagini container con Cloud Build. In questa fase possono essere evidenziati i problemi di dipendenza. Se vuoi eseguire il deployment solo delle immagini create da Cloud Build, puoi utilizzare Autorizzazione binaria. Per contribuire a prevenire attacchi alla supply chain, esegui il deployment delle immagini create da Cloud Build in Artifact Registry. Integra strumenti di test automatizzati come SonarQube, PyLint o OWASP ZAP.
  • Utilizza una piattaforma container come GKE o Cloud Run, ottimizzate per GPU o TPU per carichi di lavoro di AI e ML. Valuta le opzioni di analisi delle vulnerabilità per i container nei cluster GKE.

Valuta Confidential Computing per le GPU

Per proteggere i dati in uso, puoi utilizzare Confidential Computing. Le misure di sicurezza convenzionali proteggono i dati at-rest e in transito, ma Confidential Computing cripta i dati durante l'elaborazione. Quando utilizzi Confidential Computing per le GPU, contribuisci a proteggere i dati di addestramento sensibili e i parametri del modello da accessi non autorizzati. Puoi anche contribuire a impedire l'accesso non autorizzato da parte di utenti cloud con privilegi o potenziali malintenzionati che potrebbero ottenere l'accesso all'infrastruttura sottostante.

Per determinare se hai bisogno di Confidential Computing per le GPU, considera la sensibilità dei dati, i requisiti normativi e i potenziali rischi.

Se configuri Confidential Computing, valuta le seguenti opzioni:

  • Per i carichi di lavoro di AI e ML per uso generico, utilizza istanze Confidential VM con GPU NVIDIA T4. Queste istanze VM offrono la crittografia basata su hardware dei dati in uso.
  • Per i carichi di lavoro containerizzati, utilizza Confidential GKE Nodes. Questi nodi forniscono un ambiente sicuro e isolato per i tuoi pod.
  • Per assicurarti che il tuo workload venga eseguito in un enclave autentico e sicuro, verifica l'attestazione fornita da Confidential VM.
  • Per monitorare le prestazioni, l'utilizzo delle risorse e gli eventi di sicurezza, monitora le risorse di Confidential Computing e i nodi Confidential GKE utilizzando Monitoring e Logging.

Verificare e proteggere gli input

Considera tutti gli input dei tuoi sistemi di AI come non attendibili, indipendentemente dal fatto che provengano da utenti finali o da altri sistemi automatici. Per contribuire a mantenere sicuri i tuoi sistemi di AI e per assicurarti che funzionino come previsto, devi rilevare e sanificare in anticipo i potenziali vettori di attacco.

Per verificare e proteggere i tuoi input, prendi in considerazione i seguenti consigli.

Implementare pratiche che contribuiscono a proteggere i sistemi di AI generativa

Considera i prompt come un componente critico dell'applicazione che ha la stessa importanza per la sicurezza del codice. Implementa una strategia di difesa in profondità che combini progettazione proattiva, screening automatizzato e gestione disciplinata del ciclo di vita.

Per proteggere i prompt di AI generativa, devi progettarli in modo sicuro, esaminarli prima dell'uso e gestirli durante tutto il loro ciclo di vita.

Per migliorare la sicurezza della progettazione e dell'ingegneria dei prompt, valuta la possibilità di adottare le seguenti pratiche:

  • Struttura i prompt per chiarezza: progetta e testa tutti i prompt utilizzando le funzionalità di gestione dei prompt di Vertex AI Studio. I prompt devono avere una struttura chiara e non ambigua. Definisci un ruolo, includi esempi few-shot, e fornisci istruzioni specifiche e delimitate. Questi metodi riducono il rischio che il modello possa interpretare erroneamente l'input di un utente in modo da creare una falla di sicurezza.

  • Testa gli input per verificarne la robustezza e la fondatezza: testa in modo proattivo tutti i tuoi sistemi in relazione a input imprevisti, non validi e dannosi per evitare arresti anomali o output non sicuri. Utilizza i test del red team per simulare attacchi del mondo reale. Come passaggio standard nelle tue pipeline Vertex AI, automatizza i test di robustezza. Puoi utilizzare le seguenti tecniche di test:

    • Test fuzzing.
    • Esegui test direttamente su PII, input sensibili e SQL injection.
    • Esegui la scansione degli input multimodali che possono contenere malware o violare le norme relative ai prompt.

  • Implementa una difesa a più livelli: utilizza più difese e non fare mai affidamento su una singola misura difensiva. Ad esempio, per un'applicazione basata sulla Retrieval Augmented Generation (RAG), utilizza un LLM separato per classificare l'intent dell'utente in entrata e verificare la presenza di pattern dannosi. Quindi, l'LLM può passare la richiesta all'LLM principale più potente che genera la risposta finale.

  • Elimina e convalida gli input: prima di incorporare input esterni o forniti dall'utente in un prompt, filtra e convalida tutti gli input nel codice dell'applicazione. Questa convalida è importante per aiutarti a prevenire l'injection indiretta di prompt.

Per lo screening automatico di prompt e risposte, valuta le seguenti pratiche:

  • Utilizza servizi di sicurezza completi: implementa un servizio di sicurezza dedicato e indipendente dal modello come Model Armor come livello di protezione obbligatorio per i tuoi LLM. Model Armor ispeziona prompt e risposte alla ricerca di minacce come prompt injection, tentativi di jailbreak e contenuti dannosi. Per contribuire a garantire che i tuoi modelli non divulghino dati di addestramento sensibili o proprietà intellettuale nelle loro risposte, utilizza l'integrazione di Sensitive Data Protection con Model Armor. Per maggiori dettagli, vedi Filtri Model Armor.
  • Monitora e registra le interazioni: mantieni log dettagliati per tutti i prompt e le risposte per gli endpoint del modello. Utilizza Logging per controllare queste interazioni, identificare i pattern di utilizzo improprio e rilevare i vettori di attacco che potrebbero emergere contro i modelli di cui è stato eseguito il deployment.

Per garantire una gestione rapida del ciclo di vita dei prompt, prendi in considerazione le seguenti pratiche:

  • Implementa il controllo delle versioni per i prompt: tratta tutti i prompt di produzione come codice dell'applicazione. Utilizza un sistema di controllo della versione come Git per creare una cronologia completa delle modifiche, applicare standard di collaborazione e consentire i rollback alle versioni precedenti. Questa pratica MLOps di base può aiutarti a mantenere sistemi di AI stabili e sicuri.
  • Gestione centralizzata dei prompt: utilizza un repository centrale per archiviare, gestire e implementare tutti i prompt con controllo delle versioni. Questa strategia garantisce la coerenza tra gli ambienti e consente gli aggiornamenti in fase di runtime senza la necessità di un nuovo deployment completo dell'applicazione.
  • Esegui audit regolari e test del red team: testa continuamente le difese del tuo sistema contro le vulnerabilità note, come quelle elencate nell'OWASP Top 10 per le applicazioni LLM. In qualità di ingegnere dell'AI, devi essere proattivo e testare la tua applicazione con il red teaming per scoprire e correggere le debolezze prima che un malintenzionato possa sfruttarle.

Prevenire query dannose ai tuoi sistemi di AI

Oltre all'autenticazione e all'autorizzazione, di cui abbiamo parlato in precedenza, puoi adottare ulteriori misure per proteggere i tuoi sistemi di AI da input dannosi. Devi preparare i tuoi sistemi di AI per scenari post-autenticazione in cui gli autori degli attacchi aggirano i protocolli di autenticazione e autorizzazione e poi tentano di attaccare il sistema internamente.

Per implementare una strategia completa che possa contribuire a proteggere il sistema dagli attacchi post-autenticazione, applica i seguenti requisiti:

  • Livelli di rete e applicazione sicuri: crea una difesa a più livelli per tutte le tue risorse AI.

    • Per creare un perimetro di sicurezza che impedisca l'esfiltrazione di dati dei modelli da Model Registry o di dati sensibili da BigQuery, utilizza i controlli di servizio VPC. Utilizza sempre la modalità dry run per convalidare l'impatto di un perimetro prima di applicarlo.
    • Per proteggere gli strumenti basati sul web come i blocchi note, utilizza IAP.
    • Per proteggere tutti gli endpoint di inferenza, utilizza Apigee per sicurezza e governance di livello aziendale. Puoi anche utilizzare API Gateway per un'autenticazione semplice.

  • Monitora le anomalie nei pattern di query: ad esempio, un malintenzionato che esamina un sistema alla ricerca di vulnerabilità potrebbe inviare migliaia di query sequenziali leggermente diverse. Segnala modelli di query anomali che non riflettono il normale comportamento degli utenti.

  • Monitora il volume delle richieste: un picco improvviso nel volume delle query indica chiaramente un attacco Denial of Service (DoS) o un attacco di furto del modello, che è un tentativo di decodificare il modello. Utilizza la limitazione della frequenza e la limitazione per controllare il volume delle richieste da un singolo indirizzo IP o utente.

  • Monitora e imposta avvisi per anomalie geografiche e temporali: stabilisci una baseline per i normali pattern di accesso. Genera avvisi per attività improvvise da posizioni geografiche insolite o in orari strani. Ad esempio, un picco enorme di accessi da un nuovo paese alle 3:00.

Monitorare, valutare e prepararsi a rispondere agli output

I sistemi di AI offrono valore perché producono risultati che aumentano, ottimizzano o automatizzano il processo decisionale umano. Per mantenere l'integrità e l'affidabilità dei tuoi sistemi e delle tue applicazioni di AI, assicurati che gli output siano sicuri e rientrino nei parametri previsti. Devi anche avere un piano per rispondere agli incidenti.

Per mantenere i tuoi output, tieni presenti i seguenti consigli.

Valutare le prestazioni del modello con metriche e misure di sicurezza

Per garantire che i tuoi modelli di AI soddisfino i benchmark di rendimento, i requisiti di sicurezza e gli standard di equità e conformità, valuta attentamente i modelli. Esegui valutazioni prima del deployment e poi continua a valutare regolarmente i modelli in produzione. Per ridurre al minimo i rischi e creare sistemi di AI affidabili, implementa una strategia di valutazione completa che combini metriche di rendimento con valutazioni specifiche della sicurezza dell'AI.

Per valutare la robustezza e il livello di sicurezza del modello, prendi in considerazione i seguenti consigli:

  • Implementa la firma e la verifica del modello nella pipeline MLOps.

    • Per i modelli containerizzati, utilizza Autorizzazione binaria per verificare le firme.
    • Per i modelli di cui è stato eseguito il deployment direttamente negli endpoint Vertex AI, utilizza controlli personalizzati negli script di deployment per la verifica.
    • Per qualsiasi modello, utilizza Cloud Build per la firma del modello.

  • Valuta la resilienza del modello a input imprevisti o ostili.

    • Per tutti i tuoi modelli, esegui test per rilevare eventuali danneggiamenti comuni dei dati e modifiche potenzialmente dannose. Per orchestrare questi test, puoi utilizzare Vertex AI Training o Vertex AI Pipelines.
    • Per i modelli critici per la sicurezza, esegui simulazioni di attacchi avversari per comprendere le potenziali vulnerabilità.
    • Per i modelli di cui è stato eseguito il deployment nei container, utilizza Artifact Analysis in Artifact Registry per analizzare le immagini di base alla ricerca di vulnerabilità.

  • Utilizza Vertex AI Model Monitoring per rilevare la deviazione e il disallineamento per i modelli di cui è stato eseguito il deployment. Quindi, incorpora questi approfondimenti nei cicli di rivalutazione o riqualificazione.

  • Utilizza le valutazioni dei modelli di Vertex AI come componente della pipeline con Vertex AI Pipelines. Puoi eseguire il componente di valutazione del modello da solo o con altri componenti della pipeline. Confronta le versioni del modello in base alle metriche e ai set di dati definiti. Registra i risultati della valutazione in Vertex ML Metadata per la derivazione e il <x0A>monitoraggio.

  • Utilizza o sviluppa il Gen AI evaluation service per valutare i modelli che hai scelto o per implementare flussi di lavoro di valutazione umana personalizzati.

Per valutare l'equità, i pregiudizi, l'interpretabilità e la veridicità, tieni in considerazione i seguenti consigli:

  • Definisci misure di equità che corrispondano ai tuoi casi d'uso, quindi valuta i tuoi modelli per potenziali bias in diverse sezioni di dati.
  • Comprendere quali caratteristiche guidano le previsioni del modello per garantire che le caratteristiche e le previsioni risultanti siano in linea con le conoscenze del dominio e le linee guida etiche.
  • Utilizza Vertex Explainable AI per ottenere le attribuzioni delle caratteristiche per i tuoi modelli.
  • Utilizza Gen AI evaluation service per calcolare le metriche. Durante la fase di verifica della fonte del test, la metrica di grounding del servizio verifica la veridicità rispetto al testo della fonte fornita.
  • Attiva l'ancoraggio per l'output del modello per facilitare un secondo livello di verifica delle fonti a livello di utente.
  • Esamina i nostri principi dell'AI e adattali alle tue applicazioni di AI.

Monitorare gli output dei modelli di AI e ML in produzione

Monitora continuamente i tuoi modelli di AI e ML e la loro infrastruttura di supporto in produzione. È importante identificare e diagnosticare tempestivamente il peggioramento della qualità o del rendimento dell'output del modello, le vulnerabilità della sicurezza che emergono e le deviazioni dai mandati di conformità. Questo monitoraggio ti aiuta a mantenere la sicurezza, l'affidabilità e l'affidabilità del sistema.

Per monitorare gli output del sistema di AI per rilevare anomalie, minacce e cali di qualità, valuta i seguenti suggerimenti:

  • Utilizza il monitoraggio dei modelli per tenere traccia di variazioni impreviste nelle distribuzioni delle previsioni o di picchi nelle previsioni del modello a bassa confidenza. Monitora attivamente gli output del modello di AI generativa per contenuti generati non sicuri, distorti, fuori tema o dannosi. Puoi anche utilizzare Model Armor per esaminare tutti gli output del modello.
  • Identificare pattern di errore specifici, acquisire indicatori di qualità o rilevare output dannosi o non conformi a livello di applicazione. Per trovare questi problemi, utilizza il monitoraggio personalizzato nelle dashboard di Monitoring e le metriche basate su log di Logging.

Per monitorare gli output per indicatori specifici della sicurezza e modifiche non autorizzate, valuta i seguenti consigli:

  • Identifica i tentativi di accesso non autorizzati a modelli di AI, set di dati in Cloud Storage o BigQuery o componenti della pipeline MLOps. In particolare, identifica modifiche impreviste o non autorizzate alle autorizzazioni IAM per le risorse AI. Per monitorare queste attività ed esaminarle per individuare pattern sospetti, utilizza i log di controllo dell'attività di amministrazione e i log di controllo dell'accesso ai dati in Cloud Audit Logs. Integra i risultati di Security Command Center, che possono segnalare errori di configurazione della sicurezza e potenziali minacce pertinenti alle tue risorse AI.
  • Monitora gli output per volumi elevati di richieste o richieste provenienti da fonti sospette, che potrebbero indicare tentativi di decodifica dei modelli o esfiltrazione di dati. Puoi anche utilizzare Sensitive Data Protection per monitorare l'esfiltrazione di dati potenzialmente sensibili.
  • Integra i log nelle tue operazioni di sicurezza. Utilizza Google Security Operations per rilevare, orchestrare e rispondere a qualsiasi minaccia informatica proveniente dai tuoi sistemi AI.

Per monitorare l'integrità operativa e le prestazioni dell'infrastruttura che gestisce i tuoi modelli di AI, prendi in considerazione i seguenti consigli:

  • Identifica i problemi operativi che possono influire sulla fornitura del servizio o sul rendimento del modello.
  • Monitora gli endpoint Vertex AI per latenza, tassi di errore e pattern di traffico.
  • Monitora le pipeline MLOps per lo stato di esecuzione e gli errori.
  • Utilizza Monitoring, che fornisce metriche predefinite. Puoi anche creare dashboard personalizzate per aiutarti a identificare problemi come interruzioni dell'endpoint o errori della pipeline.

Implementare procedure di avviso e risposta agli incidenti

Quando identifichi potenziali problemi di prestazioni, sicurezza o conformità, una risposta efficace è fondamentale. Per garantire notifiche tempestive ai team appropriati, implementa meccanismi di avviso efficaci. Stabilisci e metti in pratica procedure di risposta agli incidenti complete e consapevoli dell'AI per gestire, contenere e risolvere questi problemi in modo efficiente.

Per stabilire meccanismi di avviso efficaci per i problemi di AI che identifichi, valuta i seguenti consigli:

  • Configura avvisi azionabili per inviare notifiche ai team pertinenti in base alle attività di monitoraggio della tua piattaforma. Ad esempio, configura gli avvisi da attivare quando il monitoraggio dei modelli rileva anomalie significative di deviazione, disallineamento o previsione. In alternativa, configura gli avvisi in modo che vengano attivati quando Model Armor o le regole di monitoraggio personalizzate segnalano input dannosi o output non sicuri.
  • Definisci canali di notifica chiari, che possono includere Slack, email o SMS tramite le integrazioni di Pub/Sub. Personalizza i canali di notifica per i livelli di gravità degli avvisi e i team responsabili.

Sviluppare e rendere operativo un piano di risposta agli incidenti basato sull'AI. Un piano di risposta agli incidenti strutturato è fondamentale per ridurre al minimo i potenziali impatti e garantire il ripristino. Personalizza questo piano per affrontare i rischi specifici dell'AI, come la manomissione dei modelli, le previsioni errate dovute alla deriva, il prompt injection o gli output non sicuri dei modelli generativi. Per creare un piano efficace, includi le seguenti fasi chiave:

  • Preparazione: identifica gli asset e le relative vulnerabilità, sviluppa playbook e assicurati che i tuoi team dispongano dei privilegi appropriati. Questa fase include le seguenti attività:

    • Identifica gli asset AI critici, come modelli, set di dati e risorse Vertex AI specifiche come endpoint o istanze di Vertex AI Feature Store.
    • Identifica i potenziali modi di guasto o vettori di attacco degli asset.

    • Sviluppa playbook specifici per l'AI per gli incidenti che corrispondono al modello di minaccia della tua organizzazione. Ad esempio, i playbook potrebbero includere quanto segue:

      • Un rollback del modello che utilizza il controllo delle versioni nel registro dei modelli.
      • Una pipeline di riqualificazione di emergenza su Vertex AI Training.
      • L'isolamento di un'origine dati compromessa in BigQuery o Cloud Storage.

    • Utilizza IAM per garantire che i team di risposta dispongano dell'accesso con privilegi minimi necessario agli strumenti richiesti durante un incidente.

  • Identificazione e triage: utilizza gli avvisi configurati per rilevare e convalidare i potenziali incidenti. Stabilisci criteri e soglie chiari per il modo in cui la tua organizzazione indaga o dichiara un incidente correlato all'AI. Per indagini dettagliate e raccolta di prove, utilizza Logging per i log delle applicazioni e di servizio e utilizza Cloud Audit Logs per le attività amministrative e i pattern di accesso ai dati. I team di sicurezza possono utilizzare Google SecOps per analisi più approfondite della telemetria sulla sicurezza.

  • Contenimento: isola i sistemi o i componenti di AI interessati per impedire ulteriori impatti o l'esfiltrazione di dati. Questa fase potrebbe includere le seguenti attività:

    • Disattiva un endpoint Vertex AI problematico.
    • Revoca autorizzazioni IAM specifiche.
    • Aggiorna le regole firewall o le policy Cloud Armor.
    • Metti in pausa una pipeline Vertex AI che non funziona correttamente.

  • Eradicazione: identifica e rimuovi la causa principale dell'incidente. Questa fase potrebbe includere le seguenti attività:

    • Applica una patch al codice vulnerabile in un container modello personalizzato.
    • Rimuovi le backdoor dannose identificate da un modello.
    • Sanitizza i dati compromessi prima di avviare un job di riaddestramento sicuro su Vertex AI Training.
    • Aggiorna le configurazioni non sicure.
    • Perfeziona la logica di convalida dell'input per bloccare tecniche specifiche di prompt injection.

  • Recupero e ripristino sicuro: ripristina i sistemi di AI interessati a uno stato operativo sicuro e funzionante. Questa fase potrebbe includere le seguenti attività:

    • Esegui il deployment di una versione del modello convalidata e attendibile in precedenza dal registro dei modelli.
    • Assicurati di trovare e applicare tutte le patch di sicurezza per le vulnerabilità che potrebbero essere presenti nel tuo codice o sistema.
    • Reimposta le autorizzazioni IAM sul principio del privilegio minimo.

  • Attività post-incidente e lezioni apprese: dopo aver risolto gli incidenti AI significativi, esegui una revisione post-incidente approfondita. Questa revisione coinvolge tutti i team pertinenti, come quelli di AI e ML, MLOps, sicurezza e data science. Comprendere l'intero ciclo di vita dell'incidente. Utilizza questi approfondimenti per perfezionare la progettazione del sistema di AI, aggiornare i controlli di sicurezza, migliorare le configurazioni di monitoraggio e ottimizzare il piano di risposta agli incidenti di AI e i playbook.

Integra la risposta agli incidenti di AI con i framework organizzativi più ampi, come la gestione degli incidenti IT e di sicurezza, per un impegno coordinato. Per allineare la risposta agli incidenti specifici per l'AI ai framework organizzativi, considera quanto segue:

  • Riassegnazione: definisci percorsi chiari per la riassegnazione di incidenti significativi relativi all'AI al SOC centrale, all'IT, al team legale o alle unità aziendali pertinenti.
  • Comunicazione: utilizza i canali organizzativi consolidati per tutti gli aggiornamenti e le segnalazioni di incidenti interni ed esterni.
  • Strumenti e processi: utilizza i sistemi di gestione degli incidenti e di ticketing aziendali esistenti per gli incidenti relativi all'AI per garantire un monitoraggio e una visibilità coerenti.
  • Collaborazione: definisci in anticipo i protocolli di collaborazione tra i team di AI e ML, MLOps, data science, sicurezza, legali e conformità per risposte efficaci agli incidenti di AI.

Collaboratori

Autori:

Altri collaboratori:

Indietro
Eccellenza operativa
Avanti
Affidabilità