I modelli di AI generativa come Gemini richiedono solide misure di sicurezza per mitigare rischi come la generazione di contenuti dannosi, la fuga di informazioni sensibili o l'uso improprio. Gemini Enterprise Agent Platform fornisce una suite di strumenti e pratiche per implementare una sicurezza olistica per i tuoi modelli Gemini.
Potenziali rischi per la sicurezza e strategie di mitigazione
Quando si esegue il deployment dei modelli Gemini, è fondamentale identificare e mitigare vari potenziali rischi. Un approccio proattivo alla comprensione di questi rischi consente un'implementazione più efficace delle misure di sicurezza. Un approccio multilivello alla sicurezza è fondamentale, in quanto può mitigare o prevenire:
- Rischi legati ai contenuti: possono includere contenuti dannosi, linguaggio volgare e sessualizzazione, nonché contenuti violenti e cruenti.
- Rischi per la sicurezza del brand: i contenuti generati potrebbero non essere in linea con il tono o i valori del tuo brand, potrebbero promuovere concorrenti o prodotti inappropriati o generare contenuti che possono causare danni alla reputazione.
- Rischi di allineamento: i contenuti generati potrebbero essere irrilevanti o imprecisi.
- Rischi per la sicurezza e la privacy: i contenuti generati potrebbero divulgare dati di addestramento o prompt sensibili oppure utenti malintenzionati potrebbero tentare di forzare il modello a ignorare i protocolli di sicurezza o a comportarsi in modi non previsti.
I nostri modelli implementati offrono varie funzionalità per risolvere questi potenziali problemi:
- Il modello predefinito e i filtri non configurabili forniscono una rete di sicurezza generale.
- Le istruzioni di sistema forniscono indicazioni dirette al modello sul comportamento preferito e sugli argomenti da evitare.
- I filtri dei contenuti ti consentono di impostare soglie specifiche per i tipi di danni più comuni.
- Gemini come filtro offre un checkpoint avanzato e personalizzabile per problemi di sicurezza complessi o sfumati che potrebbero essere ignorati dai livelli precedenti o richiedere una valutazione più attenta al contesto.
- Sensitive Data Protection affronta in modo specifico il rischio critico di fuga di dati sensibili, nel caso in cui il modello abbia accesso a dati sensibili. Inoltre, consente di creare elenchi di blocchi personalizzati.
- Model Armor offre una protezione di livello enterprise contro prompt injection e jailbreak, danni ai contenuti, esposizione di dati sensibili e rilevamento di malware.
- Content Credentials aggiunge metadati C2PA con firma crittografica alle immagini generate utilizzando il modello Gemini 3 Pro Image, indicando che sono generate con l'AI e fornendo una cronologia verificabile della loro origine.
Strumenti di sicurezza disponibili in Agent Platform per Gemini
Agent Platform offre diversi strumenti per gestire la sicurezza dei tuoi modelli Gemini. Comprendere il funzionamento di ciascuna, le relative considerazioni e i casi d'uso ideali ti aiuterà a creare una soluzione di sicurezza su misura.
| Approccio | Come funziona | Protezione fornita | Rischi | Quando utilizzarlo |
|---|---|---|---|---|
| Impostazioni predefinite: Gemini + filtri non configurabili | I modelli Gemini sono progettati intrinsecamente per garantire sicurezza ed equità, anche quando si trovano di fronte a prompt malevoli. Google ha investito in valutazioni complete della sicurezza, anche per quanto riguarda i bias e la tossicità. Le impostazioni predefinite includono un livello di protezione indipendente progettato per impedire la generazione di contenuti correlati a materiale pedopornografico o contenuti protetti da copyright (recitazione). | Protezione di base contro il materiale pedopornografico e la violazione del copyright (recitazione) | La sicurezza predefinita di Gemini potrebbe non soddisfare le esigenze della tua organizzazione. Il modello può avere allucinazioni o non seguire le istruzioni. Gli utenti malintenzionati motivati potrebbero comunque riuscire a eseguire jailbreak e prompt injection | Workflows in cui non sono previsti input dannosi |
| Filtri configurabili |
I filtri dei contenuti predefiniti di Gemini forniscono una protezione aggiuntiva contro varie categorie di contenuti dannosi, come contenuti di natura sessuale, che incitano all'odio, molestie o contenuti pericolosi. Puoi configurare le soglie di blocco per ogni categoria di contenuti dannosi (ad es. BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) in base alla probabilità e/o alla gravità dei contenuti dannosi. Si tratta di un livello indipendente dal modello, quindi sono efficaci contro i jailbreak.
|
Resistente alle violazioni per le categorie predefinite, sensibilità regolabile | Manca di personalizzazione granulare oltre alle impostazioni di soglia per le categorie predefinite. A volte potrebbe bloccare contenuti innocui (falsi positivi) o non rilevare alcuni contenuti dannosi (falsi negativi). Disponibile solo per il filtro delle risposte, non per il filtro dei prompt. | Fornire un livello di sicurezza di base per le applicazioni o gli agenti rivolti agli utenti. Se il tuo obiettivo è garantire la sicurezza dei contenuti e del brand, i filtri dei contenuti devono essere abbinati alle istruzioni di sistema. |
| Istruzioni di sistema | Puoi istruire il modello sulle linee guida per la sicurezza del brand e dei contenuti tramite istruzioni di sistema o preamboli. Ad esempio, puoi dire al modello "non rispondere a domande relative alla politica" o di rispettare linee guida specifiche per la voce e il tono del brand. Le istruzioni di sistema guidano direttamente il comportamento del modello. | Personalizzabile per la sicurezza dei contenuti/del brand, può essere molto efficace. | Il modello può avere allucinazioni o non seguire le istruzioni. Gli utenti malintenzionati motivati potrebbero comunque riuscire a eseguire jailbreak e prompt injection | Applicazioni o agenti che richiedono il rispetto di linee guida specifiche per il brand o di norme sui contenuti dettagliate. Se il tuo obiettivo è garantire la sicurezza dei contenuti e del brand, le istruzioni di sistema devono essere abbinate ai filtri dei contenuti. |
| Sensitive Data Protection per le liste di blocco personalizzate |
L'API DLP può ispezionare il testo per identificare e classificare le informazioni sensibili in base a un'ampia gamma di rilevatori infoType predefiniti e rilevatori infoType personalizzati.
Una volta identificati, può applicare tecniche di anonimizzazione come oscuramento, mascheramento o tokenizzazione. L'API DLP può essere utilizzata anche per bloccare le parole chiave.
Protezione degli input: prima di inviare prompt o dati degli utenti a Gemini, puoi passare il testo tramite l'API DLP per oscurare o mascherare eventuali informazioni sensibili. In questo modo, i dati sensibili non vengono elaborati o registrati dal modello. Protezione dell'output: se esiste il rischio che Gemini possa generare o rivelare inavvertitamente informazioni sensibili (ad esempio, se riassume documenti di origine contenenti PII), l'output del modello può essere scansionato dall'API DLP prima di essere inviato all'utente. |
Filtro efficace per parole volgari o personalizzate. Filtro efficace per i dati sensibili. | Aggiunge latenza. Può portare a un blocco eccessivo. | Sensitive Data Protection per gli agenti che hanno accesso ai dati sensibili. |
| Model Armor | Model Armor è un servizio Google Cloud progettato per migliorare la sicurezza delle tue applicazioni di AI. Funziona analizzando in modo proattivo i prompt e le risposte degli LLM, proteggendo da vari rischi e garantendo pratiche di AI responsabile. Che tu stia eseguendo il deployment dell'AI in Google Cloud o in altri provider cloud, Model Armor può aiutarti a prevenire input dannosi, verificare la sicurezza dei contenuti, proteggere i dati sensibili, mantenere la conformità e applicare le tue policy di sicurezza e protezione dell'AI in modo coerente in tutte le tue applicazioni di AI. | Filtro di prompt injection e jailbreaking, filtri dei contenuti, protezione dei dati sensibili, rilevamento di malware e navigazione sicura. | Costi e latenza. | Offerta a pagamento per i clienti con esigenze aziendali. |
| Gemini come filtro | Puoi utilizzare Gemini per filtrare i prompt e le risposte per il tuo agente o la tua app. Ciò comporta una seconda chiamata a un modello Gemini rapido ed economico (come Gemini Flash o Gemini Flash-Lite) per valutare se l'input di un utente o di uno strumento o l'output del tuo modello Gemini principale è sicuro. Il modello di filtro riceve istruzioni per decidere se i contenuti sono sicuri o non sicuri in base alle policy definite, tra cui la sicurezza dei contenuti, la sicurezza del brand e il disallineamento dell'agente. Offre una protezione solida e altamente personalizzabile contro le violazioni della sicurezza dei contenuti, i problemi di sicurezza del brand, la deviazione del modello e le allucinazioni e può analizzare testo, immagini, video e audio per una comprensione olistica. | Estremamente solido e personalizzabile per la sicurezza dei contenuti/del brand, la deviazione, l'allucinazione; comprensione multimodale. | Costi e latenza aggiuntivi. Possibilità di falsi negativi estremamente rari. | Fornisci un livello di sicurezza personalizzato per gli agenti o le applicazioni rivolti agli utenti. |
| Approccio combinato: filtri configurabili + istruzioni di sistema + Sensitive Data Protection + Gemini come filtro | Combina più livelli di protezione: oscuramento dei dati di input e output con Sensitive Data Protection, istruzioni di sistema per le linee guida del brand e degli argomenti, filtri di sicurezza configurabili per i danni predefiniti e ispezione secondaria utilizzando Gemini come filtro. | Estremamente solido e personalizzabile per la sicurezza dei contenuti/del brand, la deviazione, l'allucinazione; comprensione multimodale. | Costi e latenza aggiuntivi. | Fornire un livello di sicurezza elevato per le applicazioni o gli agenti rivolti agli utenti, soprattutto nei casi in cui si prevede un utilizzo malevolo e ostile. |
| Content Credentials C2PA | Per i modelli supportati, Gemini Enterprise Agent Platform aggiunge automaticamente Content Credentials firmate in modo crittografico alle immagini generate, indicando che sono generate dall'AI e fornendo una cronologia verificabile della loro origine in base allo standard C2PA. Per saperne di più, consulta Content Credentials. | Trasparenza sull'origine dei contenuti; aiuta gli utenti a identificare le immagini generate con l'AI. | L'utilizzo di strumenti non conformi può compromettere l'autenticità dei file; non garantisce l'affidabilità della fonte dei contenuti multimediali. | Casi d'uso di generazione di contenuti multimediali, in cui la trasparenza sull'origine e sulla cronologia del file è importante per la fiducia degli utenti. |
Valutazione continua della sicurezza
La valutazione continua della sicurezza è fondamentale per i sistemi di AI. Il panorama dell'AI e i metodi di uso improprio sono in continua evoluzione, il che rende queste valutazioni essenziali.
Le valutazioni regolari offrono diversi vantaggi chiave. Ti aiutano a identificare le vulnerabilità, valutare l'efficacia della mitigazione, adattarti ai rischi in evoluzione, garantire l'allineamento con le policy e i valori, creare fiducia e mantenere la conformità.
Per ottenere questi vantaggi, puoi eseguire vari tipi di valutazioni:
- Valutazioni dello sviluppo
- Valutazioni di affidabilità
- Red teaming
- Valutazioni esterne
- Test di benchmark
L'ambito della valutazione deve coprire diverse aree critiche:
- Sicurezza dei contenuti
- Sicurezza del brand
- Pertinenza
- Pregiudizi ed equità
- Veridicità
- Robustezza agli attacchi avversari
Strumenti come il Gen AI evaluation service di Agent Platform possono essere utili in questo senso. Ricorda che i miglioramenti iterativi, basati sui risultati della valutazione, sono essenziali per lo sviluppo AI responsabile.
Passaggi successivi
Norme
Scopri come gli amministratori della sicurezza possono definire, applicare e gestire le policy che regolano le interazioni degli agenti.
Valuta i tuoi agenti
Creare ed eseguire il deployment di un agente di base e utilizzare il servizio di valutazione dell'AI generativa per valutare l'agente