AI Protection ti aiuta a gestire la security posture dei tuoi workload AI rilevando le minacce e aiutandoti a mitigare i rischi per l'inventario degli asset AI. Questo documento fornisce una panoramica generale di AI Protection, inclusi i suoi vantaggi e diversi concetti chiave. AI Protection è disponibile con le attivazioni di Security Command Center a livello di organizzazione.
Per i livelli di servizio Premium ed Enterprise, quando Security Command Center è attivato a livello di organizzazione, AI Protection aiuta a fornire una visione completa della sicurezza dell'AI in tutto l'ambiente. Google Cloud La dashboard di AI Protection all'interno della Google Cloud console mostra un insieme coerente di widget e funzionalità, con dati aggregati da tutti i progetti e le risorse all'organizzazione.
Funzionalità di AI Protection
AI Protection ti aiuta a gestire le minacce e i rischi per i tuoi sistemi di AI nei seguenti modi:
- Valuta l'inventario degli asset AI: valuta e comprendi i tuoi sistemi e asset AI, asset, tra cui:
- Identifica le vulnerabilità: identifica le vulnerabilità del software (CVE) nei workload agentici di cui è stato eseguito il deployment con Agent Runtime.
- Identifica i rischi: identifica i rischi agentici e il loro impatto sull'ecosistema in base alla simulazione del percorso di attacco e alle regole del grafico di sicurezza predefinite, con agenti e server MCP come risorse di alto valore.
- Rileva gli agenti con privilegi eccessivi: rileva gli agenti di Agent Runtime a cui sono state concesse autorizzazioni eccessive. (Anteprima)
- Gestisci rischi e conformità: gestisci in modo proattivo i rischi per i tuoi asset AI e verifica che i deployment di AI rispettino gli standard di sicurezza pertinenti.
- Mitiga i rischi legali e finanziari: riduci i rischi finanziari, di reputazione, e legali associati a violazioni della sicurezza e mancata conformità normativa.
- Rileva e gestisci le minacce: rileva e rispondi tempestivamente alle potenziali minacce ai tuoi sistemi e asset AI.
- Visualizza una dashboard: gestisci tutti i rischi e le minacce correlati all'AI da un'unica dashboard centralizzata.
Casi d'uso di AI Protection
AI Protection aiuta le organizzazioni a migliorare la sicurezza identificando e mitigando le minacce e i rischi relativi ai sistemi di AI e ai dati sensibili. I seguenti casi d'uso sono esempi di come AI Protection può essere utilizzato in diverse organizzazioni:
Istituto di servizi finanziari: dati finanziari dei clienti
Un grande istituto di servizi finanziari utilizza modelli di AI che elaborano dati finanziari sensibili.
- Sfida: l'elaborazione di dati finanziari altamente sensibili con modelli di AI comporta diversi rischi, tra cui il rischio di violazioni dei dati, l'esfiltrazione dei dati durante l'addestramento o l'inferenza e le vulnerabilità nell'infrastruttura di AI sottostante.
- Caso d'uso: AI Protection monitora continuamente i workflow AI per rilevare attività sospette, rileva l'accesso non autorizzato ai dati e il comportamento anomalo dei modelli, esegue la classificazione dei dati sensibili e aiuta a migliorare la conformità alle normative come PCI DSS e GDPR.
Fornitore di servizi sanitari: privacy e conformità dei pazienti
Un importante fornitore di servizi sanitari gestisce le cartelle cliniche elettroniche e utilizza l'AI per la diagnostica e la pianificazione del trattamento, gestendo i dati sanitari protetti (PHI).
- Sfida: i dati PHI analizzati dai modelli di AI sono soggetti a normative rigorose come la HIPAA. I rischi includono l'esposizione accidentale dei dati PHI tramite configurazioni errate o attacchi dannosi che prendono di mira i sistemi di AI per i dati dei pazienti.
- Caso d'uso: AI Protection identifica e invia avvisi in caso di potenziali violazioni della HIPAA, rileva l'accesso non autorizzato ai dati PHI da parte di modelli o utenti, segnala i servizi di AI vulnerabili e potenzialmente configurati in modo errato e monitora la perdita di dati.
Azienda di produzione e robotica: proprietà intellettuale proprietaria
Un'azienda di produzione specializzata in robotica e automazione avanzate si affida fortemente all'AI per ottimizzare le linee di produzione e il controllo robotico, con una proprietà intellettuale (PI) vitale incorporata nei suoi algoritmi di AI e nei dati di produzione.
- Sfida: gli algoritmi di AI proprietari e i dati operativi sensibili sono vulnerabili al furto da parte di minacce interne o avversari esterni, con il rischio di svantaggi competitivi o interruzioni operative.
- Caso d'uso: AI Protection monitora l'accesso non autorizzato ai modelli di AI e ai repository di codice, rileva i tentativi di esfiltrazione dei modelli addestrati e i pattern di accesso ai dati insoliti e segnala le vulnerabilità negli ambienti di sviluppo AI per impedire il furto di proprietà intellettuale.
Regole di Event Threat Detection per gli asset di Gemini Enterprise Agent Platform
Event Threat Detection rileva diverse potenziali minacce che coinvolgono gli asset di Gemini Enterprise Agent Platform, come attività anomale del account di servizio, modifiche delle autorizzazioni sensibili e abuso dell'identità agentica.
Le categorie di risultati che si applicano agli asset AI includono le seguenti:
- Persistenza: Nuovo metodo API AI
- Persistenza: Nuova area geografica per il servizio AI
- Escalation dei privilegi: Simulazione anomala dell'identità del service account per l'attività di amministrazione AI
- Escalation dei privilegi: Simulatore anomalo dell'identità di un service account per l'accesso ai dati AI
- Escalation dei privilegi: Delega anomala del service account con più passaggi per l'attività di amministrazione AI
- Escalation dei privilegi: Delega anomala del service account con più passaggi per l'accesso ai dati AI
- Escalation dei privilegi: Simulatore anomalo dell'identità del service account per l'attività di amministrazione AI
- Accesso iniziale: Attività dell'account di servizio inattivo nel servizio AI
- Persistenza: Concessione IAM anomala all'identità agentica
- Accesso alle credenziali: Credenziale dell'identità agentica utilizzata all'esterno di Google Cloud
- Persistenza: Autorizzazione AI sensibile aggiunta al ruolo personalizzato
- Persistenza: Ruolo sensibile concesso dall'agente AI
- Persistenza: Ruolo sensibile concesso all'agente AI esterno
- Evasione della difesa: Ruolo TokenCreator a livello di progetto concesso all'agente AI
- Evasione della difesa: Ruolo TokenCreator a livello di cartella concesso all'agente AI
- Evasione della difesa: Ruolo TokenCreator a livello di organizzazione concesso all'agente AI
Per un elenco completo dei risultati di Event Threat Detection che si applicano agli asset AI, consulta Servizi di rilevamento.
Rilevamento delle minacce di Agent Platform per Agent Runtime
Il rilevamento delle minacce di Agent Platform fornisce il rilevamento delle minacce a runtime per gli agenti di cui è stato eseguito il deployment in Agent Runtime. Monitora gli agenti in esecuzione per rilevare potenziali attacchi e genera risultati in Security Command Center.
Il rilevamento delle minacce di Agent Platform può generare risultati per Agent Runtime, incluse le seguenti categorie:
- Comando e controllo: Strumento di steganografia rilevato
- Accesso alle credenziali: Find Google Cloud Credentials
- Accesso alle credenziali: Ricognizione chiave GPG
- Accesso alle credenziali: Cerca chiavi private o password
- Evasione della difesa: Riga di comando file ELF Base64
- Evasione della difesa: Script Python con codifica Base64 eseguito
- Evasione della difesa: Script shell con codifica Base64 eseguito
- Evasione della difesa: Avvia strumento di compilazione codice nel container
- Esecuzione: Esecuzione di codice remoto Netcat in container
- Esecuzione: Possibile esecuzione di comandi arbitrari tramite CUPS (CVE-2024-47177)
- Esecuzione: Possibile esecuzione di comando remoto rilevata
- Esecuzione: Esecuzione del programma con ambiente proxy HTTP non consentito
- Esecuzione: Rilevata reverse shell Socat
- Esecuzione: Oggetto condiviso OpenSSL sospetto caricato
- Esfiltrazione: Avvia strumenti di copia file remoti nel container
- Impatto: Rileva cmdline dannose
- Impatto: Rimuovi dati collettivi dal disco
- Impatto: Attività sospetta di cryptomining mediante il protocollo Stratum
- Escalation dei privilegi: Abuso di sudo per l'escalation dei privilegi (CVE-2019-14287)
- Escalation dei privilegi: Vulnerabilità di escalation dei privilegi locali di Polkit (CVE-2021-4034)
- Escalation dei privilegi: Potenziale escalation dei privilegi sudo (CVE-2021-3156)
- Esecuzione: Python dannoso eseguito
- Esecuzione: Container escape
- Esecuzione: Esecuzione dello strumento di attacco Kubernetes
- Esecuzione: Esecuzione degli strumenti di ricognizione locale
- Impatto: Script dannoso eseguito
- Impatto: Rilevato URL dannoso
- Esecuzione: Shell secondaria imprevista
Per un elenco completo dei risultati del rilevamento delle minacce di Agent Platform, consulta Servizi di rilevamento.
Framework di AI Protection
AI Protection utilizza un framework che include controlli cloud specifici di cui viene eseguito il deployment automaticamente in modalità di rilevamento. La modalità di rilevamento significa che il controllo cloud viene applicato alle risorse definite a scopo di monitoraggio. Vengono rilevate eventuali violazioni e vengono generati avvisi. Utilizza framework e controlli cloud per definire i requisiti di AI Protection e applicare tali requisiti al tuo Google Cloud ambiente. AI Protection include il framework predefinito, che definisce i controlli di base consigliati per AI Protection. Quando abiliti AI Protection, il framework predefinito viene applicato automaticamente all' Google Cloud organizzazione in modalità di rilevamento.
Se necessario, puoi creare copie del framework per creare framework di AI Protection personalizzati. Puoi aggiungere i controlli cloud ai framework personalizzati e applicarli all'organizzazione, alle cartelle o ai progetti. Ad esempio, puoi creare framework personalizzati che applicano controlli giurisdizionali specifici a cartelle specifiche per garantire che i dati all'interno di queste cartelle rimangano all'interno di una determinata regione geografica.
Controlli cloud nel framework di AI Protection predefinito
Per ulteriori informazioni sui controlli cloud utilizzati dal framework di AI Protection, consulta Google Recommended elementi essenziali dell'AI - Vertex AI.
Aree funzionali supportate per AI Protection
Questa sezione definisce le aree funzionali che AI Protection può contribuire a proteggere.
- Workload AI: i workload delle applicazioni AI vanno da strumenti interni volti a migliorare la produttività dei dipendenti a soluzioni rivolte ai consumatori progettate per migliorare l'esperienza utente e promuovere l'attività. Alcuni esempi sono gli agenti AI, gli assistenti virtuali, i chatbot di AI conversazionale e i suggerimenti personalizzati.
- Agenti AI: gli agenti AI sono sistemi di AI in grado di percepire il proprio ambiente, prendere decisioni e intraprendere azioni per raggiungere obiettivi specifici.
- Modelli AI: i modelli AI sono classificati in modelli AI di base, modelli AI ottimizzati, modelli AI proprietari standard e modelli AI personalizzati. Alcuni esempi sono Gemini, Llama, modelli di traduzione, e modelli personalizzati per attività specifiche.
- Asset AI: gli asset AI contribuiscono alle pipeline di operazioni di machine learning
e vengono utilizzati dai workload AI. I tipi di asset AI includono:
- Asset AI dichiarativi: questi asset vengono monitorati dagli strumenti di gestione del ciclo di vita dell'AI, come Gemini Enterprise Agent Platform.
- Asset AI inferiti: asset per uso generico, come asset di calcolo e di archiviazione, utilizzati per elaborare dati o workload AI.
- Modello come servizio (solo API): asset che hanno chiamate programmatiche a modelli AI proprietari o di terze parti.
Utilizzare la dashboard di AI Security
La dashboard di AI Security ti consente di visualizzare l'inventario degli asset AI della tua organizzazione e di esaminare le mitigazioni proposte per rischi e minacce.
Accedere alla dashboard di AI Security
Per accedere alla dashboard di AI Security, nella Google Cloud console, vai alla pagina Panoramica dei rischi > AI Security:
Per ulteriori informazioni, consulta Dashboard di AI Security.
Comprendere la gestione dei rischi per i sistemi di AI
Questa sezione fornisce informazioni sui potenziali rischi associati ai sistemi di AI. Puoi visualizzare i principali rischi nel tuo inventario AI.
Puoi fare clic su qualsiasi problema per aprire un riquadro dei dettagli che fornisce una visualizzazione del problema.
Visualizzare le minacce AI
Questa sezione fornisce informazioni sulle minacce associate ai sistemi di AI. Puoi visualizzare le 5 principali minacce recenti associate alle tue risorse AI.
In questa pagina puoi:
- Fai clic su Visualizza tutto per visualizzare le minacce associate alle tue risorse AI.
- Fai clic su una minaccia per visualizzare ulteriori dettagli.
Visualizzare l'inventario AI
Puoi visualizzare una visualizzazione dell'inventario AI nella dashboard che fornisce un riepilogo dei progetti che coinvolgono l'AI generativa, i modelli proprietari e di terze parti in uso attivo e i set di dati utilizzati per addestrare i modelli di terze parti.
In questa pagina puoi:
- Per visualizzare la pagina dei dettagli dell'inventario, fai clic su uno dei nodi nella visualizzazione.
- Per visualizzare un elenco dettagliato dei singoli asset (come i modelli di base e i modelli personalizzati), fai clic sulla descrizione comando.
- Per aprire una visualizzazione dettagliata del modello, fai clic sul modello. Questa visualizzazione mostra dettagli come gli endpoint in cui è ospitato il modello e il set di dati utilizzato per addestrare il modello. Se Sensitive Data Protection è abilitato, la visualizzazione dei set di dati mostra anche se il set di dati contiene dati sensibili.
Esaminare il riepilogo dei risultati del framework AI
Questa sezione ti aiuta a valutare e gestire i risultati delle policy di sicurezza dei dati e del framework AI e include quanto segue:
- Risultati: questa sezione mostra un riepilogo dei risultati generati dalle policy di sicurezza dei dati e del framework AI. Fai clic su Visualizza tutti i risultati o sul conteggio accanto a ogni categoria di risultati per visualizzare i dettagli del risultato. Fai clic su un risultato per visualizzare ulteriori informazioni.
- Dati sensibili nei set di dati Vertex AI: questa sezione mostra un riepilogo dei risultati basati sui dati sensibili nei set di dati, come riportato da Sensitive Data Protection. Per ulteriori informazioni, consulta Introduzione a Gemini Enterprise Agent Platform.
Esaminare i risultati di Model Armor
Un grafico mostra il numero totale di prompt o risposte scansionati da Model Armor e il numero di problemi rilevati da Model Armor. Inoltre, il grafico mostra statistiche di riepilogo per vari tipi di problemi rilevati, come il rilevamento di prompt injection e jailbreak e il rilevamento di dati sensibili. Per i workload agentici, Model Armor può essere configurato in Agent Gateway (anteprima) per filtrare i prompt e le risposte da e verso gli agenti.
Queste informazioni vengono compilate in base alle metriche pubblicate da Model Armor in Cloud Monitoring. Per ulteriori informazioni, consulta Panoramica di Model Armor.
Passaggi successivi
- Scopri come configurare AI Protection.
- Per valutare il rischio, accedi ai dati della dashboard.