Supervisa la seguridad del contenido

En este documento, se describe cómo ver estadísticas de seguridad del contenido de Model Armor para los agentes de IA admitidos.

Model Armor analiza las solicitudes y respuestas en busca de riesgos de seguridad, como ataques de inyección indirecta de instrucciones, filtración de datos sensibles y generación o publicación de contenido dañino. Para obtener más información, consulta Model Armor.

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  4. Configura Model Armor en una o más puertas de enlace de tu proyecto.
  5. Para supervisar los agentes que se comunican con un servidor de MCP Google Cloud , configura Model Armor con servidores de MCP.
  6. Configura el seguimiento para tu agente.

Función requerida

Para obtener los permisos que necesitas para supervisar los incumplimientos de la seguridad del contenido, pídele a tu administrador que te otorgue el rol de IAM de visualizador de Monitoring (`roles/monitoring.viewer`) en el proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para supervisar los incumplimientos de la seguridad del contenido. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para supervisar los incumplimientos de la seguridad del contenido:

  • `monitoring.monitoredResourceDescriptors.list`
  • `monitoring.metricDescriptors.list`

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Agentes admitidos

La pestaña Seguridad se completa con estadísticas de Model Armor solo para los siguientes agentes:

Cómo ver la información de Model Armor para un agente de IA

Para ver las estadísticas de seguridad del contenido de los agentes compatibles, sigue estos pasos:

  1. En la consola de Google Cloud , ve a Agent Registry.

    Ir a Agent Registry

  2. Elige tu proyecto.
  3. Haz clic en el nombre del agente.
  4. Haz clic en la pestaña Seguridad.

Consulta la cantidad de interacciones marcadas o bloqueadas

En la pestaña Seguridad, consulta la cantidad de interacciones, incluidas las interacciones marcadas y bloqueadas. En la pestaña Seguridad, se muestran las siguientes métricas:

  • Interacciones totales: Es la cantidad total de instrucciones y respuestas que analiza Model Armor.
  • Interacciones marcadas: Es la cantidad de interacciones que incumplieron una política configurada en las plantillas de Model Armor.
  • Interacciones bloqueadas: Es la cantidad de interacciones bloqueadas si configuraste Model Armor en el modo INSPECT_AND_BLOCK.

Supervisa los incumplimientos de la seguridad del contenido

En el gráfico Incumplimientos a lo largo del tiempo, supervisa la cantidad de incumplimientos detectados a lo largo del tiempo.

Los incumplimientos detectados se clasifican en las siguientes áreas:

  • Todos los detectores: Es la cantidad total de incumplimientos detectados por todos los detectores, incluidos los de inyección de instrucciones y jailbreak, URLs maliciosas, IA responsable y datos sensibles.
  • IA responsable: Infracciones de contenido detectadas por los filtros de seguridad, como hostigamiento e incitación al odio o a la violencia. Para obtener una lista completa de las categorías de IA responsable, consulta el filtro de seguridad de IA responsable.
  • Datos sensibles: Incumplimientos de contenido que involucran la presencia de tipos de información sensible o tipos de información personalizados que definas. Para obtener más información, consulta Sensitive Data Protection.

Para obtener más información sobre estos detectores, consulta Filtros de Model Armor.

Descarga los datos de los incumplimientos en un archivo PNG o CSV

Para descargar los datos de los incumplimientos en un archivo PNG o CSV, sigue estos pasos:

  1. En la vista Violaciones a lo largo del tiempo de la pestaña Seguridad, selecciona el período para el que deseas descargar los datos.
  2. Haz clic en Más opciones de gráficos > Descargar.
  3. Haz clic en Descargar PNG o Descargar CSV para descargar los datos en el formato que prefieras.

¿Qué sigue?

Guía

Obtén más información sobre el registro de auditoría de Model Armor.

Guía

Obtén más información para configurar el registro de Model Armor.

Solución de problemas

Obtén más información para solucionar problemas con Model Armor.