Monitorare la sicurezza dei contenuti

Anteprima – Approfondimenti di Model Armor

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Questo documento descrive come visualizzare gli approfondimenti sulla sicurezza dei contenuti di Model Armor per gli agenti AI supportati.

Model Armor filtra le richieste e le risposte in base a rischi per la sicurezza, come attacchi di prompt injection indiretti, perdita di dati sensibili e generazione o pubblicazione di contenuti dannosi. Per saperne di più, vedi Model Armor.

Puoi visualizzare i risultati delle operazioni di Model Armor ai seguenti livelli:

• Visualizzazione di primo livello: approfondimenti per tutti gli agenti AI supportati nel progetto
• Visualizzazione a livello di agente: insight per un singolo agente AI

Prima di iniziare

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Configura Model Armor su uno o più gateway nel tuo progetto.
2. Per monitorare gli agenti che comunicano con un Google Cloud server MCP, configura Model Armor con i server MCP.
3. Configura il tracciamento per l'agente.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti, chiedi all'amministratore di concederti i seguenti ruoli IAM sul progetto:

• Observability View Accessor (roles/observability.viewAccessor)
• Utente di Observability Analytics (roles/observability.analyticsUser)
• Visualizzatore log (roles/logging.viewer)
• Logs View Accessor (roles/logging.viewAccessor)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per monitorare le violazioni della sicurezza dei contenuti. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per monitorare le violazioni della sicurezza dei contenuti sono necessarie le seguenti autorizzazioni:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Agenti supportati

La scheda Sicurezza viene compilata con gli approfondimenti di Model Armor solo per i seguenti agenti:

• Agenti di cui è stato eseguito il deployment in Agent Runtime e regolati da un gateway in cui è configurato Model Armor.
• Agenti di cui è stato eseguito il deployment in Agent Runtime e che comunicano con un server MCP Google Cloud .
• Agenti di cui è stato eseguito il deployment in Agent Runtime in un progetto in cui sono configurate le impostazioni di base di Model Armor.

Visualizzare gli approfondimenti sui contenuti per gli agenti AI supportati in un progetto (visualizzazione di primo livello)

Per visualizzare gli approfondimenti sulla sicurezza dei contenuti per tutti gli agenti AI supportati in un progetto, segui questi passaggi:

1. Nella console Google Cloud , vai alla scheda Sicurezza di Gemini Enterprise Agent Platform.

   Vai a Sicurezza.

2. Seleziona il progetto.

Se non vedi approfondimenti sulla sicurezza dei contenuti nella scheda Sicurezza e hai agenti AI supportati nel tuo progetto, assicurati di aver configurato la tracciabilità per i tuoi agenti.

Visualizzare gli approfondimenti sui contenuti per un agente AI (visualizzazione a livello di agente)

Per visualizzare gli approfondimenti sulla sicurezza dei contenuti per gli agenti supportati, segui questi passaggi:

1. Nella console Google Cloud , vai a Registro agenti.

   Vai a Agent Registry

2. Seleziona il progetto.
3. Fai clic sul nome dell'agente.
4. Fai clic sulla scheda Sicurezza.

Visualizzare il numero di interazioni segnalate o bloccate

Vai alla scheda Sicurezza a livello di agente o di primo livello.

Nella scheda Sicurezza, visualizza il numero di interazioni, incluse quelle segnalate e bloccate. La scheda Sicurezza mostra le seguenti metriche:

• Interazioni totali: il numero totale di prompt e risposte analizzati da Model Armor.
• Interazioni segnalate: il numero di interazioni che hanno violato una policy configurata nel modello Model Armor o nelle impostazioni di base.
• Interazioni bloccate: il numero di interazioni bloccate se hai configurato Model Armor in modalità INSPECT_AND_BLOCK. Queste interazioni bloccate violavano le impostazioni di base o i modelli.

Nota:quando Model Armor è configurato in modalità INSPECT_ONLY, le violazioni vengono registrate, ma le richieste vengono inviate al modello. In questa modalità, puoi controllare le azioni che Model Armor potrebbe intraprendere e, poiché le richieste non vengono bloccate, puoi anche verificare se il modello ha rifiutato la richiesta in modo indipendente. Controlla i record SanitizeOperationLogEntry in Cloud Logging e non solo il corpo della risposta.

Monitorare le violazioni della sicurezza dei contenuti

Vai alla scheda Sicurezza a livello di agente o di primo livello.

Nel grafico Violazioni nel tempo, monitora il numero di violazioni rilevate nel tempo.

Le violazioni rilevate sono suddivise nelle seguenti aree:

• Prompt injection e jailbreak: violazioni dei contenuti che indicano la presenza di prompt che contengono comandi dannosi o tentativi di jailbreak. Per saperne di più, consulta Prompt injection e rilevamento di jailbreak.
• URL dannoso: violazioni dei contenuti che indicano la presenza di URL dannosi. Per ulteriori informazioni, consulta Rilevamento di URL dannosi.
• AI responsabile: violazioni dei contenuti rilevate dai filtri di sicurezza, ad esempio molestie e incitamento all'odio. Per un elenco completo delle categorie di AI responsabile, consulta Filtro di sicurezza dell'AI responsabile.
• Dati sensibili: violazioni dei contenuti che comportano la presenza di tipi di informazioni sensibili o tipi di informazioni personalizzate che definisci. Per saperne di più, consulta Sensitive Data Protection.
  Nota:i conteggi delle violazioni dei contenuti con dati sensibili sono inclusi nel conteggio totale delle violazioni, ma non vengono visualizzati in una categoria separata.

Per saperne di più su questi rilevatori, consulta Filtri Model Armor.

Identificare gli agenti con il maggior numero di violazioni

Vai alla scheda di primo livello Sicurezza.

La scheda Sicurezza mostra i primi 10 agenti con il maggior numero di violazioni. L'elenco mostra l'ID di ogni agente e il numero di violazioni rilevate per quell'agente.

Per visualizzare gli approfondimenti di Model Armor per un agente specifico nell'elenco, vai ad Agent Registry per cercare l'agente in base al suo ID. Poi, vai alla scheda Sicurezza a livello di agente per quell'agente.

Vai a Agent Registry

Eseguire query e analizzare i dati di telemetria utilizzando SQL

Per eseguire query e analizzare i dati di telemetria di Model Armor, utilizza Observability Analytics, che fornisce un'interfaccia di query basata su SQL.

1. Vai alla scheda di primo livello Sicurezza.
2. Per la visualizzazione per cui vuoi eseguire una query, fai clic su Altre opzioni del grafico > Esplora in Observability Analytics.

Per istruzioni generali su come utilizzare Observability Analytics, consulta Eseguire query e analizzare la telemetria con Observability Analytics.

Scaricare i dati sulle violazioni in un file PNG o CSV

Per scaricare i dati sulle violazioni in un file PNG o CSV, segui questi passaggi:

1. Nella visualizzazione Violazioni nel tempo della scheda Sicurezza, seleziona il periodo per cui vuoi scaricare i dati.
2. Fai clic su Altre opzioni del grafico > Scarica.
3. Fai clic su Scarica PNG o Scarica CSV per scaricare i dati nel formato che preferisci.

Visualizzare le voci di log di sicurezza non strutturate in Esplora log

Per eseguire query sulle voci di log di sicurezza in formato testo non elaborato in Esplora log, puoi utilizzare il campo logName per cercare i risultati dei contenuti di sanificazione di Model Armor.

Per eseguire query su questi log, completa i seguenti passaggi:

1. Nella console Google Cloud , vai alla pagina Esplora log.

   Vai a Esplora log

2. Fai clic sul pulsante di attivazione/disattivazione Mostra query.

3. Incolla quanto segue nel campo della query:

   logName="projects/PROJECT_ID/logs/modelarmor.googleapis.com%2Fsanitize_operations"
   

   Sostituisci PROJECT_ID con l'ID progetto Google Cloud .

4. Fai clic su Esegui query.

Per saperne di più su come i filtri di logging e le finestre di aggiornamento possono influire sui risultati, consulta l'avviso di aggiornamento dei log nella pagina di monitoraggio del gateway.

Passaggi successivi

Guida

Audit logging di Model Armor

Scopri di più sull'audit logging per Model Armor.

Guida

Configura la registrazione per Model Armor

Scopri come configurare la registrazione per Model Armor.

Risoluzione dei problemi

Risolvi i problemi di Model Armor

Scopri come risolvere i problemi relativi a Model Armor.