Monitorare la sicurezza dei contenuti

Anteprima — insight di Model Armor

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Questo documento descrive come visualizzare gli insight sulla sicurezza dei contenuti di Model Armor per gli agenti AI supportati.

Model Armor esamina le richieste e le risposte per individuare rischi per la sicurezza, come attacchi di prompt injection indiretta, perdita di dati sensibili e generazione o pubblicazione di contenuti dannosi. Per ulteriori informazioni, consulta Model Armor.

Puoi visualizzare i risultati delle operazioni di Model Armor ai seguenti livelli:

• Visualizzazione di primo livello: insight per tutti gli agenti AI supportati nel progetto
• Visualizzazione a livello di agente: insight per un singolo agente AI

Prima di iniziare

Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Configura Model Armor su uno o più gateway nel tuo progetto.
2. Per monitorare gli agenti che comunicano con un server Google Cloud MCP, configura Model Armor con i server MCP.
3. Configura la traccia per l'agente.

Ruolo richiesto

Per ottenere le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti, chiedi all'amministratore di concederti i seguenti ruoli IAM all'interno del progetto:

• Observability View Accessor (roles/observability.viewAccessor)
• Observability Analytics User (roles/observability.analyticsUser)
• Visualizzatore log (roles/logging.viewer)
• Logs View Accessor (roles/logging.viewAccessor)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per monitorare le violazioni della sicurezza dei contenuti sono necessarie le seguenti autorizzazioni:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Agenti supportati

La scheda Sicurezza viene compilata con gli insight di Model Armor solo per i seguenti agenti:

• Agenti di cui è stato eseguito il deployment in Agent Runtime e regolati da un gateway in cui Model Armor è configurato.
• Agenti di cui è stato eseguito il deployment in Agent Runtime e che comunicano con un Google Cloud server MCP.
• Agenti di cui è stato eseguito il deployment in Agent Runtime in un progetto in cui sono configurate le impostazioni di base di Model Armor .

Visualizzare gli insight sui contenuti per gli agenti AI supportati in un progetto (visualizzazione di primo livello)

Per visualizzare gli insight sulla sicurezza dei contenuti per tutti gli agenti AI supportati in un progetto:

1. Nella Google Cloud console, vai alla scheda Sicurezza della piattaforma per agenti Gemini Enterprise.

   Vai a Sicurezza.

2. Seleziona il progetto.

Se non vedi gli insight sulla sicurezza dei contenuti nella scheda Sicurezza e hai agenti AI supportati nel tuo progetto, assicurati di aver configurato la traccia per gli agenti.

Visualizzare gli insight sui contenuti per un agente AI (visualizzazione a livello di agente)

Per visualizzare gli insight sulla sicurezza dei contenuti per gli agenti supportati:

1. Nella Google Cloud console, vai a Registro agenti.

   Vai a Registro agenti.

2. Seleziona il progetto.
3. Fai clic sul nome dell'agente.
4. Fai clic sulla scheda Sicurezza.

Visualizzare il numero di interazioni segnalate o bloccate

Vai alla scheda Sicurezza di primo livello o a livello di agente.

Nella scheda Sicurezza, visualizza il numero di interazioni, incluse quelle segnalate e bloccate. La scheda Sicurezza mostra le seguenti metriche:

• Interazioni totali: il numero totale di prompt e risposte analizzati da Model Armor.
• Interazioni segnalate: il numero di interazioni che hanno violato una policy configurata nel modello o nelle impostazioni di base di Model Armor.
• Interazioni bloccate: il numero di interazioni bloccate se hai configurato Model Armor in INSPECT_AND_BLOCK modalità. Queste interazioni bloccate hanno violato le impostazioni di base o i modelli.

Monitorare le violazioni della sicurezza dei contenuti

Vai alla scheda Sicurezza di primo livello o a livello di agente.

Nel grafico Violazioni nel tempo, monitora il numero di violazioni rilevate nel tempo.

Le violazioni rilevate sono classificate nelle seguenti aree:

• Prompt injection e jailbreak: violazioni dei contenuti che indicano la presenza di prompt che contengono comandi dannosi o tentativi di jailbreak. Per ulteriori informazioni, consulta Rilevamento di prompt injection e jailbreaking.
• URL dannoso: violazioni dei contenuti che indicano la presenza di URL dannosi. Per ulteriori informazioni, consulta Rilevamento di URL dannosi.
• AI responsabile: violazioni dei contenuti rilevate dai filtri di sicurezza, come molestie e incitamento all'odio. Per un elenco completo delle categorie di AI responsabile, consulta Filtro di sicurezza AI responsabile.
• Dati sensibili: violazioni dei contenuti che riguardano la presenza di tipi di informazioni sensibili o tipi di informazioni personalizzate che definisci. Per ulteriori informazioni, consulta Sensitive Data Protection.
  Nota: i conteggi delle violazioni dei contenuti di dati sensibili sono inclusi nel conteggio totale delle violazioni, ma non vengono visualizzati in una categoria separata.

Per ulteriori informazioni su questi rilevatori, consulta Filtri di Model Armor.

Identificare gli agenti con il maggior numero di violazioni

Vai alla scheda di primo livello Sicurezza.

La scheda Sicurezza mostra i 10 agenti con il maggior numero di violazioni. L'elenco mostra l'ID agente di ogni agente e il numero di violazioni rilevate per quell'agente.

Per visualizzare gli insight di Model Armor per un agente specifico nell'elenco, vai a Registro agenti per cercare l'agente in base al suo ID agente. Poi, vai alla scheda a livello di agente Sicurezza per quell'agente.

Vai a Registro agenti.

Eseguire query e analizzare i dati di telemetria utilizzando SQL

Per eseguire query e analizzare i dati di telemetria di Model Armor, utilizza Observability Analytics, che fornisce un'interfaccia di query basata su SQL.

1. Vai alla scheda di primo livello Sicurezza.
2. Per la visualizzazione su cui vuoi eseguire query, fai clic su Altre opzioni del grafico > Esplora in Observability Analytics.

Per istruzioni generali su come utilizzare Observability Analytics, consulta Eseguire query e analizzare la telemetria con Observability Analytics.

Scaricare i dati sulle violazioni in un file PNG o CSV

Per scaricare i dati sulle violazioni in un file PNG o CSV:

1. Nella visualizzazione Violazioni nel tempo della scheda Sicurezza, seleziona il periodo per cui vuoi scaricare i dati.
2. Fai clic su Altre opzioni del grafico > Scarica.
3. Fai clic su Scarica PNG o Scarica CSV per scaricare i dati nel formato che preferisci.

Passaggi successivi

Guida

Audit logging di Model Armor

Scopri di più sull'audit logging per Model Armor.

Guida

Configurare la registrazione per Model Armor

Scopri come configurare la registrazione per Model Armor.

Risoluzione dei problemi

Risolvere i problemi di Model Armor

Scopri come risolvere i problemi relativi a Model Armor.