Monitorare la sicurezza dei contenuti

Anteprima privata : insight di Model Armor

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Questo documento descrive come visualizzare gli insight sulla sicurezza dei contenuti di Model Armor per gli agenti AI supportati.

Model Armor esamina le richieste e le risposte per individuare rischi per la sicurezza, come attacchi di prompt injection indiretta, perdita di dati sensibili e generazione o pubblicazione di contenuti dannosi. Per ulteriori informazioni, consulta Model Armor.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Configura Model Armor su uno o più gateway del tuo progetto.
2. Per monitorare gli agenti che comunicano con un server Google Cloud MCP, configura Model Armor con i server MCP.
3. Configura la traccia per l'agente.

Ruolo richiesto

Per ottenere le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore Monitoring (`roles/monitoring.viewer`) sul progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito include le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per monitorare le violazioni della sicurezza dei contenuti sono necessarie le seguenti autorizzazioni:

• `monitoring.monitoredResourceDescriptors.list`
• `monitoring.metricDescriptors.list`

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Agenti supportati

La scheda Sicurezza viene compilata con gli insight di Model Armor solo per i seguenti agenti:

• Agenti di cui è stato eseguito il deployment in Agent Runtime e regolati da Agent Gateway.
• Agenti di cui è stato eseguito il deployment in Agent Runtime e che comunicano con un Google Cloud server MCP.

Visualizzare gli insight di Model Armor per un agente AI

Per visualizzare gli insight sulla sicurezza dei contenuti per gli agenti supportati, segui questi passaggi:

1. Nella Google Cloud console, vai a Registro agenti.

   Vai a Registro agenti

2. Seleziona il progetto.
3. Fai clic sul nome dell'agente.
4. Fai clic sulla scheda Sicurezza.

Visualizzare il numero di interazioni segnalate o bloccate

Nella scheda Sicurezza, visualizza il numero di interazioni, incluse quelle segnalate e bloccate. La scheda Sicurezza mostra le seguenti metriche:

• Interazioni totali: il numero totale di prompt e risposte analizzati da Model Armor.
• Interazioni segnalate: il numero di interazioni che hanno violato una policy configurata nei modelli di Model Armor.
• Interazioni bloccate: il numero di interazioni bloccate se hai configurato Model Armor in INSPECT_AND_BLOCK modalità.

Monitorare le violazioni della sicurezza dei contenuti

Nel grafico Violazioni nel tempo, monitora il numero di violazioni rilevate nel tempo.

Le violazioni rilevate sono classificate nelle seguenti aree:

• Tutti i rilevatori: il numero totale di violazioni rilevate da tutti i rilevatori, inclusi prompt injection e jailbreak, URL dannosi, AI responsabile e dati sensibili.
• AI responsabile: violazioni dei contenuti rilevate dai filtri di sicurezza, come molestie e incitamento all'odio. Per un elenco completo delle categorie di AI responsabile, consulta Filtro di sicurezza AI responsabile.
• Dati sensibili: violazioni dei contenuti che riguardano la presenza di tipi di informazioni sensibili o tipi di informazioni personalizzati definiti dall'utente. Per ulteriori informazioni, consulta Sensitive Data Protection.
  Nota: nella scheda Sicurezza a livello di agente, i conteggi delle violazioni dei contenuti di dati sensibili sono inclusi nel conteggio totale delle violazioni, ma non vengono visualizzati in una categoria separata.

Per ulteriori informazioni su questi rilevatori, consulta Filtri di Model Armor.

Scaricare i dati sulle violazioni in un file PNG o CSV

Per scaricare i dati sulle violazioni in un file PNG o CSV, segui questi passaggi:

1. Nella visualizzazione Violazioni nel tempo della scheda Sicurezza, seleziona il periodo per il quale vuoi scaricare i dati.
2. Fai clic su Altre opzioni del grafico > Scarica.
3. Fai clic su Scarica PNG o Scarica CSV per scaricare i dati nel formato che preferisci.

Passaggi successivi

Guida

Audit logging di Model Armor

Scopri di più sull'audit logging per Model Armor.

Guida

Configurare la registrazione per Model Armor

Scopri come configurare la registrazione per Model Armor.

Risoluzione dei problemi

Risolvere i problemi di Model Armor

Scopri come risolvere i problemi relativi a Model Armor.