AI Protection ti aiuta a gestire la security posture dei tuoi workload AI rilevando le minacce e aiutandoti a mitigare i rischi per il tuo inventario degli asset AI. Questo documento fornisce una panoramica generale di AI Protection, inclusi i vantaggi e diversi concetti chiave. AI Protection è disponibile con le attivazioni a livello di organizzazione di Security Command Center.
Per i livelli di servizio Premium ed Enterprise, quando Security Command Center viene attivato a livello di organizzazione, AI Protection contribuisce a fornire una visione completa della sicurezza dell'AI in tutto l'ambiente Google Cloud . La dashboard AI Protection nella console Google Cloud mostra un insieme coerente di widget e funzionalità, con dati aggregati da tutti i progetti e le risorse all'interno dell'organizzazione.
Funzionalità di AI Protection
AI Protection ti aiuta a gestire minacce e rischi per i tuoi sistemi di AI nei seguenti modi:
- Valuta l'inventario delle risorse AI: valuta e comprendi i tuoi sistemi di AI e le tue risorse AI utilizzando la dashboard AI Security e la scheda delle risorse AI, tra cui:
- Identifica le vulnerabilità: identifica le vulnerabilità del software (CVE) nei workload agentic di cui è stato eseguito il deployment con Agent Runtime.
- Identifica i rischi: identifica i rischi degli agenti e il loro impatto sull'ecosistema in base alla simulazione del percorso di attacco e alle regole del grafico di sicurezza predefinite, con agenti e server MCP come risorse di alto valore.
- Rileva agenti con privilegi eccessivi: rileva gli agenti Agent Runtime a cui sono state concesse autorizzazioni eccessive. (Anteprima)
- Gestisci rischi e conformità: gestisci in modo proattivo i rischi per le tue risorse AI e verifica che i tuoi deployment di AI rispettino gli standard di sicurezza pertinenti.
- Mitigare i rischi legali e finanziari: riduci i rischi finanziari, reputazionali e legali associati a violazioni della sicurezza e mancata conformità normativa.
- Rileva e gestisci le minacce: rileva e rispondi tempestivamente alle potenziali minacce ai tuoi sistemi e asset AI.
- Visualizza una dashboard: gestisci tutti i rischi e le minacce correlati all'AI da un'unica dashboard centralizzata.
Casi d'uso di AI Protection
AI Protection aiuta le organizzazioni a migliorare la propria sicurezza identificando e mitigando minacce e rischi correlati a sistemi di AI e dati sensibili. I seguenti casi d'uso sono esempi di come AI Protection può essere utilizzata in diverse organizzazioni:
Istituto di servizi finanziari: dati finanziari del cliente
Un grande istituto di servizi finanziari utilizza modelli di AI che elaborano dati finanziari sensibili.
- Sfida: l'elaborazione di dati finanziari altamente sensibili con modelli di AI comporta diversi rischi, tra cui il rischio di violazioni dei dati, l'esfiltrazione dei dati durante l'addestramento o l'inferenza e le vulnerabilità dell'infrastruttura di AI sottostante.
- Caso d'uso:AI Protection monitora continuamente i flussi di lavoro dell'AI per attività sospette, rileva l'accesso non autorizzato ai dati e il comportamento anomalo dei modelli, esegue la classificazione dei dati sensibili e contribuisce a migliorare la conformità a normative come PCI DSS e GDPR.
Fornitore di servizi sanitari: privacy e conformità dei pazienti
Un importante fornitore di servizi sanitari gestisce cartelle cliniche elettroniche e utilizza l'AI per la pianificazione di diagnosi e trattamenti, trattando dati sanitari protetti (PHI).
- Sfida: PHI protetti analizzati dai modelli AI sono soggetti a normative rigorose come l'HIPAA. I rischi includono l'esposizione accidentale di PHI tramite configurazioni errate o attacchi dannosi che prendono di mira i sistemi di AI per i dati dei pazienti.
- Caso d'uso:AI Protection identifica e segnala potenziali violazioni dell'HIPAA, rileva l'accesso non autorizzato PHI protetti da parte di modelli o utenti, segnala servizi AI vulnerabili e potenzialmente configurati in modo errato e monitora la perdita di dati.
Azienda di produzione e robotica: proprietà intellettuale proprietaria
Un'azienda manifatturiera specializzata in robotica avanzata e automazione si affida molto all'AI per ottimizzare le linee di produzione e il controllo robotico, con proprietà intellettuale (PI) vitale incorporata nei suoi algoritmi di AI e nei dati di produzione.
- Sfida: gli algoritmi di AI proprietari e i dati operativi sensibili sono vulnerabili al furto da parte di minacce interne o avversari esterni, con conseguente potenziale svantaggio competitivo o interruzione operativa.
- Caso d'uso: AI Protection monitora l'accesso non autorizzato a modelli di AI e repository di codice, rileva i tentativi di esfiltrazione di modelli addestrati e i pattern di accesso ai dati insoliti e segnala le vulnerabilità negli ambienti di sviluppo dell'AI per impedire il furto di proprietà intellettuale.
Regole di Event Threat Detection per gli asset di Gemini Enterprise Agent Platform
Event Threat Detection rileva diverse potenziali minacce che coinvolgono gli asset di Gemini Enterprise Agent Platform, come attività anomala dell'account di servizio, modifiche alle autorizzazioni sensibili e abuso dell'identità agente.
Le categorie che si applicano alle risorse di AI includono:
- Persistenza: nuovo metodo API AI
- Persistenza: nuova area geografica per il servizio AI
- Elevazione dei privilegi: simulazione anomala dell'identità del service account per l'attività di amministrazione AI
- Elevazione dei privilegi: simulatore anomalo dell'identità di un service account per l'accesso ai dati AI
- Elevazione dei privilegi: delega anomala del service account con più passaggi per l'attività di amministrazione AI
- Elevazione dei privilegi: delega anomala del service account con più passaggi per l'accesso ai dati AI
- Elevazione dei privilegi: simulatore anomalo dell'identità del service account per l'attività di amministrazione AI
- Accesso iniziale: Attività dell'account di servizio inattivo nel servizio AI
- Persistenza: concessione IAM anomala all'identità agente
- Accesso alle credenziali: credenziale di identità dell'agente utilizzata al di fuori di Google Cloud
- Persistenza: autorizzazione AI sensibile aggiunta al ruolo personalizzato
- Persistenza: ruolo sensibile concesso dall'agente AI
- Persistenza: ruolo sensibile concesso all'agente AI esterno
- Defense Evasion: ruolo TokenCreator a livello di progetto concesso all'agente AI
- Evasione della difesa: ruolo Creatore token a livello di cartella concesso all'agente AI
- Evasione della difesa: ruolo Creatore token a livello di organizzazione concesso all'agente AI
Per un elenco completo dei risultati di Event Threat Detection che si applicano agli asset AI, vedi Servizi di rilevamento.
Agent Platform Threat Detection per Agent Runtime
Agent Platform Threat Detection fornisce il rilevamento delle minacce in fase di runtime per gli agenti di cui è stato eseguito il deployment in Agent Runtime. Monitora gli agenti in esecuzione per rilevare potenziali attacchi e genera risultati in Security Command Center.
Agent Platform Threat Detection può generare risultati per Agent Runtime, incluse le seguenti categorie:
- Command and Control: Strumento di steganografia rilevato
- Accesso alle credenziali: trova Google Cloud Credenziali
- Accesso alle credenziali: ricognizione chiave GPG
- Accesso alle credenziali: Cerca chiavi private o password
- Evasione della difesa: riga di comando file ELF Base64
- Evasione della difesa: script Python con codifica Base64 eseguito
- Evasione della difesa: Script shell con codifica Base64 eseguito
- Evasione delle difese: avvia strumento di compilazione codice nel container
- Esecuzione: esecuzione di codice remoto Netcat nel container
- Esecuzione: possibile esecuzione di comandi arbitrari tramite CUPS (CVE-2024-47177)
- Esecuzione: possibile esecuzione di comando remoto rilevata
- Esecuzione: Esecuzione del programma con ambiente proxy HTTP non consentito
- Esecuzione: Rilevata reverse shell Socat
- Esecuzione: Oggetto condiviso OpenSSL sospetto caricato
- Esfiltrazione: avvia strumenti di copia file remoti nel container
- Impatto: Rileva cmdline dannose
- Impatto: Rimuovi dati collettivi dal disco
- Impatto: attività sospetta di cryptomining mediante il protocollo Stratum
- Escalation dei privilegi: abuso di sudo per l'escalation dei privilegi (CVE-2019-14287)
- Escalation dei privilegi: vulnerabilità di escalation dei privilegi locali di Polkit (CVE-2021-4034)
- Escalation privilegi: potenziale escalation privilegi sudo (CVE-2021-3156)
- Esecuzione: Python dannoso eseguito
- Esecuzione: container escape
- Esecuzione: esecuzione dello strumento di attacco Kubernetes
- Esecuzione: esecuzione dello strumento di ricognizione locale
- Impatto: script dannoso eseguito
- Impatto: rilevato URL dannoso
- Esecuzione: shell secondaria imprevista
Per un elenco completo dei risultati di Agent Platform Threat Detection, vedi Servizi di rilevamento.
Framework AI Protection
AI Protection utilizza un framework che include controlli cloud specifici che vengono implementati automaticamente in modalità di rilevamento. La modalità di rilevamento significa che il controllo cloud viene applicato alle risorse definite a scopo di monitoraggio. Vengono rilevate eventuali violazioni e generati avvisi. Utilizzi framework e controlli cloud per definire i requisiti di AI Protection e applicarli al tuo ambiente Google Cloud . AI Protection include il framework predefinito, che definisce i controlli di base consigliati per AI Protection. Quando attivi AI Protection, il framework predefinito viene applicato automaticamente all'organizzazione Google Cloud in modalità rilevamento.
Se necessario, puoi creare copie del framework per creare framework di AI Protection personalizzati. Puoi aggiungere i controlli cloud ai tuoi framework personalizzati e applicarli all'organizzazione, alle cartelle o ai progetti. Ad esempio, puoi creare framework personalizzati che applicano controlli giurisdizionali specifici a cartelle specifiche per garantire che i dati all'interno di queste cartelle rimangano in una particolare regione geografica.
Controlli cloud nel framework AI Protection predefinito
Per saperne di più sui controlli cloud utilizzati dal framework AI Protection, consulta Elementi essenziali dell'AI consigliati da Google - Vertex AI.
Aree funzionali supportate per AI Protection
Questa sezione definisce le aree funzionali che AI Protection può contribuire a proteggere.
- Carichi di lavoro AI: i carichi di lavoro delle applicazioni AI vanno dagli strumenti interni volti a migliorare la produttività dei dipendenti alle soluzioni rivolte ai consumatori progettate per migliorare l'esperienza utente e favorire l'attività. Alcuni esempi includono agenti AI, assistenti virtuali, chatbot di AI conversazionale e consigli personalizzati.
- Agenti AI: gli agenti AI sono sistemi di AI in grado di percepire il proprio ambiente, prendere decisioni e intraprendere azioni per raggiungere obiettivi specifici.
- Modelli di AI: i modelli di AI sono classificati in modelli di AI di base, modelli di AI ottimizzati, modelli di AI proprietari standard e modelli di AI personalizzati. Alcuni esempi sono Gemini, Llama, modelli di traduzione e modelli personalizzati per attività specifiche.
- Asset AI: gli asset AI contribuiscono alle pipeline di operazioni di machine learning
e vengono utilizzati dai carichi di lavoro di AI. I tipi di asset AI includono:
- Asset AI dichiarativi: gli strumenti di gestione del ciclo di vita dell'AI, come Gemini Enterprise Agent Platform, monitorano questi asset.
- Asset AI dedotti: asset per uso generico, come asset di calcolo e di archiviazione, utilizzati per elaborare dati o carichi di lavoro AI.
- Model-as-a-Service (solo API): asset con chiamate programmatiche a modelli di AI proprietari o di terze parti.
Utilizzare la dashboard AI Security
La dashboard Sicurezza AI ti consente di visualizzare l'inventario degli asset AI della tua organizzazione e di esaminare le mitigazioni proposte per rischi e minacce.
Accedere alla dashboard AI Security
Per accedere alla dashboard di sicurezza dell'AI, nella console Google Cloud , vai alla pagina Panoramica dei rischi > Sicurezza dell'AI:
Per saperne di più, consulta la dashboard AI Security.
Comprendere la gestione dei rischi per i sistemi di AI
Questa sezione fornisce informazioni sui potenziali rischi associati ai sistemi di AI. Puoi visualizzare i principali rischi nel tuo inventario AI.
Puoi fare clic su qualsiasi problema per aprire un riquadro dei dettagli che fornisce una visualizzazione del problema.
Visualizzare le minacce AI
Questa sezione fornisce informazioni sulle minacce associate ai sistemi di AI. Puoi visualizzare le 5 minacce recenti più importanti associate alle tue risorse AI.
In questa pagina puoi:
- Fai clic su Visualizza tutto per visualizzare le minacce associate alle tue risorse AI.
- Fai clic su una minaccia per visualizzare ulteriori dettagli.
Visualizzare l'inventario AI
Puoi visualizzare una visualizzazione del tuo inventario di AI nella dashboard, che fornisce un riepilogo dei progetti che coinvolgono l'AI generativa, dei modelli proprietari e di terze parti in uso attivo e dei set di dati utilizzati per l'addestramento dei modelli di terze parti.
In questa pagina puoi:
- Per visualizzare la pagina dei dettagli dell'inventario, fai clic su uno dei nodi nella visualizzazione.
- Per visualizzare un elenco dettagliato delle singole risorse (come i modelli di base e quelli creati su misura), fai clic sulla descrizione comando.
- Per aprire una visualizzazione dettagliata del modello, fai clic sul modello. Questa visualizzazione mostra dettagli come gli endpoint in cui è ospitato il modello e il set di dati utilizzato per addestrare il modello. Se Sensitive Data Protection è abilitato, la visualizzazione dei set di dati mostra anche se il set di dati contiene dati sensibili.
Esaminare il riepilogo dei risultati del framework AI
Questa sezione ti aiuta a valutare e gestire i risultati del framework AI e delle policy di sicurezza dei dati e include quanto segue:
- Risultati: questa sezione mostra un riepilogo dei risultati generati dalle policy di sicurezza dell'AI e dalle policy di sicurezza dei dati. Fai clic su Visualizza tutti i risultati o sul conteggio di ogni categoria di risultati per visualizzare i dettagli del risultato. Fai clic su un risultato per visualizzare ulteriori informazioni al riguardo.
- Dati sensibili nei set di dati Vertex AI: questa sezione mostra un riepilogo dei risultati basati sui dati sensibili nei set di dati, come segnalato da Sensitive Data Protection. Per saperne di più, consulta Introduzione a Gemini Enterprise Agent Platform.
Esaminare i risultati di Model Armor
Un grafico mostra il numero totale di prompt o risposte che Model Armor ha analizzato e il numero di problemi che Model Armor ha rilevato. Inoltre, il grafico mostra statistiche di riepilogo per vari tipi di problemi rilevati, come l'injection di prompt e il jailbreak e il rilevamento di dati sensibili. Per i carichi di lavoro agentici, Model Armor può essere configurato su Agent Gateway (anteprima) per filtrare prompt e risposte da e verso gli agenti.
Queste informazioni vengono compilate in base alle metriche che Model Armor pubblica su Cloud Monitoring. Per saperne di più, consulta la panoramica di Model Armor.
Esaminare le risorse AI nella pagina Asset
Oltre alla dashboard AI Security, puoi esaminare ed eseguire query sull'inventario degli asset AI della tua organizzazione direttamente nella pagina Asset della console Google Cloud utilizzando la scheda Risorse AI.
La scheda Risorse AI fornisce una visualizzazione dettagliata e filtrabile dei sistemi e degli asset AI rilevati, inclusi modelli, endpoint, origini dati, pipeline, agenti (anteprima), server Model Context Protocol (MCP) (anteprima) e notebook.
Puoi utilizzare la scheda Risorse AI per:
- Comprendere l'inventario dell'AI: visualizza elenchi completi di asset AI attivi in tutta l'organizzazione, filtrati per progetto, posizione o tipo di risorsa.
- Esegui indagini sulla sicurezza: esamina i metadati completi, la cronologia delle modifiche e le policy IAM associate di asset AI specifici.
- Esamina i risultati correlati: visualizza rapidamente tutti i risultati di sicurezza associati a una risorsa AI specifica per valutare la sua esposizione al rischio e determinare i passaggi di correzione necessari.
Per saperne di più sulla visualizzazione e il filtraggio degli asset AI nella console, vedi Esaminare gli asset monitorati da Security Command Center.
Passaggi successivi
- Scopri come configurare la protezione AI.
- Per valutare il rischio, accedi ai dati della dashboard.