Questo documento descrive come visualizzare gli approfondimenti sulla sicurezza dei contenuti di Model Armor per gli agenti AI supportati.
Model Armor esamina le richieste e le risposte per rilevare rischi per la sicurezza, come attacchi di prompt injection indiretti, perdita di dati sensibili e generazione o pubblicazione di contenuti dannosi. Per saperne di più, consulta Model Armor.
Puoi visualizzare i risultati delle operazioni di Model Armor ai seguenti livelli:
- Visualizzazione di primo livello: approfondimenti per tutti gli agenti AI supportati nel progetto
- Visualizzazione a livello di agente: approfondimenti per un singolo agente AI
Prima di iniziare
- Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.
Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- Configura Model Armor su uno o più gateway nel tuo progetto.
- Per monitorare gli agenti che comunicano con un server MCP, configura Model Armor con i server MCP. Google Cloud
- Configura il tracciamento per l'agente.
Ruolo richiesto
Per ottenere le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti, chiedi all'amministratore di concederti i seguenti ruoli IAM sul progetto:
- Observability View Accessor (
roles/observability.viewAccessor) - Utente Observability Analytics (
roles/observability.analyticsUser) - Visualizzatore log (
roles/logging.viewer) - Logs View Accessor (
roles/logging.viewAccessor)
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questi ruoli predefiniti contengono le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per monitorare le violazioni della sicurezza dei contenuti sono necessarie le seguenti autorizzazioni:
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Agenti supportati
La scheda Sicurezza viene compilata con approfondimenti di Model Armor solo per i seguenti agenti:
- Agenti di cui è stato eseguito il deployment in Agent Runtime e regolati da un gateway in cui è configurato Model Armor.
- Agenti di cui è stato eseguito il deployment in Agent Runtime e che comunicano con un server Google Cloud MCP.
- Agenti di cui è stato eseguito il deployment in Agent Runtime in un progetto in cui sono configurate le impostazioni di base di Model Armor.
Visualizzare gli approfondimenti sui contenuti per gli agenti AI supportati in un progetto (visualizzazione di primo livello)
Per visualizzare gli approfondimenti sulla sicurezza dei contenuti per tutti gli agenti AI supportati in un progetto, segui questi passaggi:
- Nella console Google Cloud , vai alla scheda Sicurezza di Gemini Enterprise Agent Platform.
Vai a Sicurezza.
- Seleziona il progetto.
Se non vedi approfondimenti sulla sicurezza dei contenuti nella scheda Sicurezza e hai agenti AI supportati nel tuo progetto, assicurati di aver configurato la tracciabilità per i tuoi agenti.
Visualizzare gli approfondimenti sui contenuti per un agente AI (visualizzazione a livello di agente)
Per visualizzare gli approfondimenti sulla sicurezza dei contenuti per gli agenti supportati, segui questi passaggi:
- Nella console Google Cloud , vai a Registro agenti.
- Seleziona il progetto.
- Fai clic sul nome dell'agente.
- Fai clic sulla scheda Sicurezza.
Visualizzare il numero di interazioni segnalate o bloccate
Vai alla scheda Sicurezza a livello di agente o di primo livello.
Nella scheda Sicurezza, visualizza il numero di interazioni, incluse quelle segnalate e bloccate. La scheda Sicurezza mostra le seguenti metriche:
- Interazioni totali: il numero totale di prompt e risposte analizzati da Model Armor.
- Interazioni segnalate: il numero di interazioni che hanno violato una norma configurata nel modello o nelle impostazioni di base di Model Armor.
- Interazioni bloccate: il numero di interazioni bloccate se hai
configurato Model Armor in modalità
INSPECT_AND_BLOCK. Queste interazioni bloccate violavano le impostazioni di base o i modelli.
Monitorare le violazioni della sicurezza dei contenuti
Vai alla scheda Sicurezza a livello di agente o di primo livello.
Nel grafico Violazioni nel tempo, monitora il numero di violazioni rilevate nel tempo.
Le violazioni rilevate sono suddivise nelle seguenti aree:
- Prompt injection e jailbreak: violazioni dei contenuti che indicano la presenza di prompt che contengono comandi dannosi o tentativi di jailbreak. Per saperne di più, consulta Prompt injection e rilevamento di jailbreak.
- URL dannoso: violazioni dei contenuti che indicano la presenza di URL dannosi. Per ulteriori informazioni, consulta Rilevamento di URL dannosi.
- AI responsabile: violazioni dei contenuti rilevate dai filtri di sicurezza, ad esempio molestie e incitamento all'odio. Per un elenco completo delle categorie di AI responsabile, consulta Filtro di sicurezza dell'AI responsabile.
- Dati sensibili: violazioni dei contenuti che comportano la presenza di tipi di informazioni sensibili o tipi di informazioni personalizzate che definisci. Per ulteriori informazioni, consulta Sensitive Data Protection.
Per saperne di più su questi rilevatori, consulta Filtri Model Armor.
Identificare gli agenti con il maggior numero di violazioni
Vai alla scheda di primo livello Sicurezza.
La scheda Sicurezza mostra i primi 10 agenti con il maggior numero di violazioni. L'elenco mostra l'ID agente di ogni agente e il numero di violazioni rilevate per quell'agente.
Per visualizzare gli approfondimenti di Model Armor per un agente specifico nell'elenco, vai al registro degli agenti per cercare l'agente in base al suo ID. Poi, vai alla scheda Sicurezza a livello di agente per quell'agente.
Esegui query e analizza i dati di telemetria utilizzando SQL
Per eseguire query e analizzare i dati di telemetria di Model Armor, utilizza Observability Analytics, che fornisce un'interfaccia di query basata su SQL.
- Vai alla scheda di primo livello Sicurezza.
- Per la visualizzazione per cui vuoi eseguire una query, fai clic su Altre opzioni del grafico > Esplora in Observability Analytics.
Per istruzioni generali su come utilizzare Observability Analytics, consulta Eseguire query e analizzare la telemetria con Observability Analytics.
Scaricare i dati sulle violazioni in un file PNG o CSV
Per scaricare i dati sulle violazioni in un file PNG o CSV, segui questi passaggi:
- Nella visualizzazione Violazioni nel tempo della scheda Sicurezza, seleziona il periodo per cui vuoi scaricare i dati.
- Fai clic su Altre opzioni del grafico > Scarica.
- Fai clic su Scarica PNG o Scarica CSV per scaricare i dati nel formato che preferisci.
Passaggi successivi
Configura la registrazione per Model Armor
Scopri come configurare la registrazione per Model Armor.
Risolvi i problemi di Model Armor
Scopri come risolvere i problemi relativi a Model Armor.