Supervisa la seguridad del contenido

En este documento, se describe cómo ver las estadísticas de seguridad del contenido de Model Armor para los agentes de IA compatibles.

Model Armor analiza las solicitudes y respuestas en busca de riesgos de seguridad, como ataques indirectos de inyección de instrucciones, filtración de datos sensibles y la generación o publicación de contenido dañino. Para obtener más información, consulta Model Armor.

Puedes ver los resultados de las operaciones de Model Armor en los siguientes niveles:

Antes de comenzar

  1. Accede a tu Google Cloud cuenta de. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  3. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  4. Configura Model Armor en una o más puertas de enlace de tu proyecto.
  5. Para supervisar los agentes que se comunican con un servidor de Google Cloud MCP, configura Model Armor con servidores de MCP.
  6. Configura el seguimiento para tu agente.

Función requerida

Si deseas obtener los permisos que necesitas para supervisar las infracciones de seguridad del contenido, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para supervisar las infracciones de seguridad del contenido. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para supervisar las infracciones de seguridad del contenido:

  • monitoring.monitoredResourceDescriptors.list
  • monitoring.metricDescriptors.list

También puedes obtener estos permisos con roles personalizados o otros roles predefinidos.

Agentes compatibles

La pestaña Seguridad se propaga con estadísticas de Model Armor solo para los siguientes agentes:

Visualiza estadísticas de contenido para agentes de IA compatibles en un proyecto (vista de nivel superior)

Para ver las estadísticas de seguridad del contenido de todos los agentes de IA compatibles en un proyecto, sigue estos pasos:

  1. En la Google Cloud consola, ve a la pestaña Seguridad de la plataforma de agentes de Gemini Enterprise.

    Ir a Seguridad

  2. Elige tu proyecto.

Si no ves estadísticas de seguridad del contenido en la pestaña Seguridad y tienes agentes de IA compatibles en tu proyecto, asegúrate de haber configurado el seguimiento para tus agentes.

Visualiza estadísticas de contenido para un agente de IA (vista a nivel del agente)

Para ver las estadísticas de seguridad del contenido de los agentes compatibles, sigue estos pasos:

  1. En la Google Cloud consola, ve al registro de agentes.

    Ir al registro de agentes

  2. Elige tu proyecto.
  3. Haz clic en el nombre del agente.
  4. Haz clic en la pestaña Seguridad.

Visualiza la cantidad de interacciones marcadas o bloqueadas

Ve a la pestaña de nivel superior o a nivel del agente Seguridad.

En la pestaña Seguridad, consulta la cantidad de interacciones, incluidas las interacciones marcadas y bloqueadas. En la pestaña Seguridad , se muestran las siguientes métricas:

  • Interacciones totales: Es la cantidad total de instrucciones y respuestas que analiza Model Armor.
  • Interacciones marcadas: Es la cantidad de interacciones que infringieron una política configurada en tu plantilla de Model Armor o en la configuración mínima.
  • Interacciones bloqueadas: Es la cantidad de interacciones bloqueadas si configuraste Model Armor en el INSPECT_AND_BLOCK modo. Estas interacciones bloqueadas infringieron la configuración mínima o las plantillas.

Supervisa las infracciones de seguridad del contenido

Ve a la pestaña de nivel superior o a nivel del agente Seguridad.

En el gráfico Infracciones a lo largo del tiempo, supervisa la cantidad de infracciones detectadas a lo largo del tiempo.

Las infracciones detectadas se clasifican en las siguientes áreas:

  • Inyecciones de instrucciones y jailbreaks: Infracciones de contenido que indican la presencia de instrucciones que contienen comandos maliciosos o intentos de jailbreak. Para obtener más información, consulta Detección de inyección de instrucciones y jailbreak.
  • URL maliciosa: Infracciones de contenido que indican la presencia de URLs maliciosas. Para obtener más información, consulta Detección de URLs maliciosas.
  • IA responsable: Infracciones de contenido que detectan los filtros de seguridad, como el hostigamiento y la incitación al odio o a la violencia. Para obtener una lista completa de las categorías de IA responsable, consulta Filtro de seguridad de IA responsable.
  • Datos sensibles: Infracciones de contenido que implican la presencia de tipos de información sensible o tipos de información personalizados que defines. Para obtener más información, consulta Sensitive Data Protection.

Para obtener más información sobre estos detectores, consulta Filtros de Model Armor.

Identifica los agentes con la mayor cantidad de infracciones

Ve a la pestaña de nivel superior Seguridad.

En la pestaña Seguridad , se muestran los 10 agentes principales con la mayor cantidad de infracciones. En la lista, se muestra el ID de agente de cada agente y la cantidad de infracciones detectadas para ese agente.

Para ver las estadísticas de Model Armor de un agente específico de la lista, ve al registro de agentes para buscar el agente por su ID de agente. Luego, ve a la pestaña a nivel del agente Seguridad para ese agente.

Ir al registro de agentes

Consulta y analiza datos de telemetría con SQL

Para consultar y analizar datos de telemetría de Model Armor, usa Análisis de observabilidad, que proporciona una interfaz de consulta basada en SQL.

  1. Ve a la pestaña de nivel superior Seguridad.
  2. Para la vista que deseas consultar, haz clic en Más opciones de gráficos > Explorar en Análisis de observabilidad Analytics.

Para obtener instrucciones generales sobre cómo usar Análisis de observabilidad, consulta Consulta y analiza datos de telemetría con Análisis de observabilidad.

Descarga datos de infracciones en un archivo PNG o CSV

Para descargar datos de infracciones en un archivo PNG o CSV, sigue estos pasos:

  1. En la vista Infracciones a lo largo del tiempo de la pestaña Seguridad, selecciona el período para el que deseas descargar datos.
  2. Haz clic en Más opciones de gráficos > Descargar.
  3. Haz clic en Descargar PNG o Descargar CSV para descargar los datos en el formato que prefieras.

¿Qué sigue?

Guía

Obtén información sobre el registro de auditoría de Model Armor.

Guía

Obtén información para configurar el registro de Model Armor.

Solución de problemas

Obtén información para solucionar problemas con Model Armor.