Supervisa la seguridad del contenido

Versión preliminar : Estadísticas de Model Armor

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

En este documento, se describe cómo ver las estadísticas de seguridad del contenido de Model Armor para los agentes de IA compatibles.

Model Armor analiza las solicitudes y respuestas en busca de riesgos de seguridad, como ataques de inyección de instrucciones indirectos, filtración de datos sensibles y la generación o publicación de contenido dañino. Para obtener más información, consulta Model Armor.

Puedes ver los resultados de las operaciones de Model Armor en los siguientes niveles:

• Vista de nivel superior: Estadísticas de todos los agentes de IA compatibles del proyecto
• Vista a nivel del agente: Estadísticas de un solo agente de IA

Antes de comenzar

Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Configura Model Armor en una o más puertas de enlace de tu proyecto.
2. Para supervisar los agentes que se comunican con un servidor de MCP de Google Cloud , configura Model Armor con servidores de MCP.
3. Configura el seguimiento para tu agente.

Roles obligatorios

Para obtener los permisos que necesitas para supervisar los incumplimientos de seguridad del contenido, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

• Descriptor de acceso de vista de observabilidad (roles/observability.viewAccessor)
• Usuario de Estadísticas de observabilidad (roles/observability.analyticsUser)
• Visor de registros (roles/logging.viewer)
• Descriptor de acceso de vista de registros (roles/logging.viewAccessor)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para supervisar los incumplimientos de seguridad del contenido. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para supervisar los incumplimientos de seguridad del contenido:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Agentes compatibles

La pestaña Seguridad se propaga con las estadísticas de Model Armor solo para los siguientes agentes:

• Agentes implementados en Agent Runtime y gobernados por una puerta de enlace en la que se configura Model Armor.
• Agentes implementados en Agent Runtime y que se comunican con un servidor de MCP de Google Cloud .
• Agentes implementados en Agent Runtime en un proyecto en el que se establecieron los parámetros de Model Armor Floor.

Consulta las estadísticas de contenido de los agentes de IA compatibles en un proyecto (vista de nivel superior)

Para ver las estadísticas de seguridad del contenido de todos los agentes de IA compatibles en un proyecto, sigue estos pasos:

1. En la consola de Google Cloud , ve a la pestaña Seguridad de Gemini Enterprise Agent Platform.

   Ir a Seguridad

2. Elige tu proyecto.

Si no ves las estadísticas de seguridad del contenido en la pestaña Seguridad y tienes agentes de IA compatibles en tu proyecto, asegúrate de haber configurado el seguimiento para tus agentes.

Ver estadísticas de contenido de un agente de IA (vista a nivel del agente)

Para ver las estadísticas de seguridad del contenido de los agentes compatibles, sigue estos pasos:

1. En la consola de Google Cloud , ve a Registro de agentes.

   Ir al registro de agentes

2. Elige tu proyecto.
3. Haz clic en el nombre del agente.
4. Haz clic en la pestaña Seguridad.

Visualiza la cantidad de interacciones marcadas o bloqueadas

Ve a la pestaña Seguridad de nivel superior o de nivel de agente.

En la pestaña Seguridad, consulta la cantidad de interacciones, incluidas las marcadas y bloqueadas. En la pestaña Seguridad, se muestran las siguientes métricas:

• Interacciones totales: Es la cantidad total de instrucciones y respuestas que analiza Model Armor.
• Interacciones marcadas: Es la cantidad de interacciones que incumplieron una política configurada en tu plantilla de Model Armor o en la configuración mínima.
• Interacciones bloqueadas: Es la cantidad de interacciones bloqueadas si configuraste Model Armor en el modo INSPECT_AND_BLOCK. Estas interacciones bloqueadas incumplieron los parámetros de configuración o las plantillas de precios mínimos.

Nota: Cuando Model Armor se configura en modo INSPECT_ONLY, se registran los incumplimientos, pero las solicitudes continúan hacia el modelo. En este modo, puedes verificar qué acciones podría realizar Model Armor y, como las solicitudes no se bloquean, también puedes verificar si el modelo rechazó la solicitud de forma independiente. Verifica los registros de SanitizeOperationLogEntry en Cloud Logging y no solo el cuerpo de la respuesta.

Supervisa los incumplimientos de seguridad del contenido

Ve a la pestaña Seguridad de nivel superior o de nivel de agente.

En el gráfico Incumplimientos a lo largo del tiempo, supervisa la cantidad de incumplimientos detectados a lo largo del tiempo.

Los incumplimientos detectados se clasifican en las siguientes áreas:

• Inyecciones de instrucciones y jailbreaks: Son incumplimientos de contenido que indican la presencia de instrucciones que contienen comandos maliciosos o intentos de jailbreak. Para obtener más información, consulta Detección de inyección de instrucciones y jailbreak.
• URL maliciosa: Son incumplimientos de contenido que indican la presencia de URLs maliciosas. Para obtener más información, consulta Detección de URLs maliciosas.
• IA responsable: Son los incumplimientos de contenido que detectan los filtros de seguridad, como el hostigamiento y la incitación al odio o a la violencia. Para obtener una lista completa de las categorías de IA responsable, consulta Filtro de seguridad de IA responsable.
• Datos sensibles: Son los incumplimientos de contenido que involucran la presencia de tipos de información sensible o tipos de información personalizados que definas. Para obtener más información, consulta Sensitive Data Protection.
  Nota: Los recuentos de incumplimientos de contenido de datos sensibles se incluyen en el recuento total de incumplimientos, pero no se muestran en una categoría separada.

Para obtener más información sobre estos detectores, consulta Filtros de Model Armor.

Identifica los agentes con más incumplimientos

Ve a la pestaña Seguridad de nivel superior.

En la pestaña Seguridad, se muestran los 10 agentes con más incumplimientos. En la lista, se muestra el ID de cada agente y la cantidad de incumplimientos detectados para ese agente.

Para ver las estadísticas de Model Armor de un agente específico de la lista, ve al Registro de agentes y busca el agente por su ID. Luego, ve a la pestaña Seguridad a nivel del agente para ese agente.

Ir al registro de agentes

Consulta y analiza datos de telemetría con SQL

Para consultar y analizar los datos de telemetría de Model Armor, usa las Estadísticas de observabilidad, que proporcionan una interfaz de consulta basada en SQL.

1. Ve a la pestaña Seguridad de nivel superior.
2. En la vista que deseas consultar, haz clic en Más opciones de gráfico > Explorar en Estadísticas de observabilidad.

Para obtener instrucciones generales sobre cómo usar las Estadísticas de observabilidad, consulta Consulta y analiza la telemetría con Estadísticas de observabilidad.

Cómo descargar los datos de incumplimientos en un archivo PNG o CSV

Para descargar los datos de incumplimientos en un archivo PNG o CSV, sigue estos pasos:

1. En la vista Incumplimientos a lo largo del tiempo de la pestaña Seguridad, selecciona el período del que quieres descargar los datos.
2. Haz clic en Más opciones de gráficos > Descargar.
3. Haz clic en Descargar PNG o Descargar CSV para descargar los datos en el formato que prefieras.

Visualiza entradas de registro de seguridad no estructuradas en el Explorador de registros

Para consultar las entradas de registro de seguridad de texto sin procesar en el Explorador de registros, puedes usar el campo logName para buscar los resultados del contenido de limpieza de Model Armor.

Para consultar estos registros, completa los siguientes pasos:

1. En la consola de Google Cloud , accede a la página Explorador de registros.

   Ir a Explorador de registros

2. Haz clic en el botón de activar o desactivar Mostrar consulta.

3. Pega lo siguiente en el campo de la consulta:

   logName="projects/PROJECT_ID/logs/modelarmor.googleapis.com%2Fsanitize_operations"
   

   Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud .

4. Haz clic en Ejecutar consulta.

Para obtener más información sobre cómo los filtros de registro y los períodos de actualización pueden afectar tus resultados, consulta la advertencia de actualización de registros en la página de supervisión de la puerta de enlace.

¿Qué sigue?

Guía

Registro de auditoría de Model Armor

Obtén información sobre el registro de auditoría para Model Armor.

Guía

Configura el registro de Model Armor

Aprende a configurar el registro de Model Armor.

Solución de problemas

Soluciona problemas de Model Armor

Obtén información para solucionar problemas con Model Armor.