Revisa la seguridad de la IA

AI Protection proporciona herramientas para visualizar el inventario de recursos de IA de tu organización o proyecto, investigar los hallazgos de seguridad y revisar las mitigaciones propuestas para los riesgos y las amenazas. En esta guía, se describe cómo administrar la seguridad de la IA con el panel de seguridad de la IA y la página Recursos.

Tu nivel de servicio de Security Command Center determina las funciones disponibles en el panel de AI Security y la pestaña AI resources de la página Assets. Para obtener información sobre las funciones disponibles con cada nivel de servicio, consulta la descripción general de AI Protection.

Antes de comenzar

  • Configura AI Protection.
  • Otorga los roles de Identity and Access Management (IAM) necesarios a los usuarios que acceden al panel de Seguridad de IA y a la pestaña Activos> Recursos de IA. Para obtener más información, consulta los Roles requeridos.

Usa el panel de AI Security

El panel de AI Security te permite visualizar el inventario de activos de IA de tu organización o proyecto, y revisar las mitigaciones propuestas para los riesgos y las amenazas.

Accede al panel de AI Security

Para acceder al panel de AI Security, ve a la página Visión general del riesgo > Seguridad de la IA en la consola de Google Cloud :

Ir a Seguridad de la IA

Para obtener más información, consulta el panel de seguridad de la IA.

Comprende la administración de riesgos para los sistemas de IA

En esta sección, se identifican los riesgos potenciales para tus sistemas de IA y se muestran los principales riesgos de tu inventario de IA.

Para ver una visualización y los detalles de un problema específico, haz clic en él.

Cómo ver las amenazas de IA

En esta sección, se destacan las amenazas más recientes a tus recursos de IA.

En esta sección, puedes hacer lo siguiente:

  • Para ver todas las amenazas a tus recursos de IA, haz clic en Ver todo.
  • Para ver información detallada sobre una amenaza específica, haz clic en ella.

Visualiza tu inventario de IA

En esta sección, se proporciona un resumen visual de tu inventario de recursos de IA, incluidos los proyectos que usan IA generativa, los modelos personalizados activos (y los modelos de Gemini para los niveles de servicio Premium y Enterprise [obsoleto]) y los conjuntos de datos que se usan para entrenar modelos de terceros.

En esta sección, puedes hacer lo siguiente:

  • Para ver detalles sobre tu inventario, haz clic en cualquier nodo de la visualización.
  • Para ver una lista detallada de los activos individuales, haz clic en la sugerencia. Esta lista incluye modelos personalizados o modelos de Gemini (disponibles para los niveles de servicio Premium y Enterprise [obsoleto]).
  • Para ver los detalles de un modelo, haz clic en él. En esta vista, se muestran detalles como los extremos en los que se aloja el modelo y el conjunto de datos de entrenamiento. Si Sensitive Data Protection está habilitado, la vista de conjuntos de datos también indica si el conjunto de datos contiene datos sensibles.

Revisa el resumen de los hallazgos del marco de trabajo de la IA

En esta sección, se te ayudará a evaluar los hallazgos generados por las políticas de seguridad de IA y las políticas de seguridad de los datos. Incluye las siguientes tarjetas:

  • Hallazgos: En esta sección, se muestra un resumen de los hallazgos generados por las políticas de seguridad de IA y las políticas de seguridad de los datos, como Gemini model detected y Gemini model not protected by Model Armor (los hallazgos relacionados con los modelos de Gemini están disponibles para los niveles de servicio Premium y Enterprise [obsoleto]).

    • Para ver todos los hallazgos, haz clic en Ver todos los hallazgos.
    • Para ver los resultados de una categoría específica, haz clic en el recuento de resultados junto a esa categoría.
    • Para ver los detalles de un hallazgo individual, haz clic en él.
  • Datos sensibles en los conjuntos de datos de Vertex AI: Muestra un resumen de los hallazgos relacionados con los datos sensibles en tus conjuntos de datos, según lo informa Sensitive Data Protection. Para obtener más información, consulta Introducción a Gemini Enterprise Agent Platform.

Cómo examinar los resultados de Model Armor

En esta sección, se muestra un gráfico de la cantidad total de instrucciones y respuestas que analizó Model Armor, junto con la cantidad de problemas detectados. El gráfico también proporciona estadísticas de resumen para tipos de problemas específicos, como la inyección de instrucciones, los intentos de jailbreak y la exposición de datos sensibles.

Para las cargas de trabajo de agentes, puedes configurar Model Armor en Agent Gateway para filtrar las instrucciones y las respuestas hacia y desde los agentes.

En este gráfico, se usan las métricas que Model Armor publica en Cloud Monitoring. Para obtener más información, consulta la descripción general de Model Armor.

Revisa los resultados de la evaluación de vulnerabilidades de Agent Platform

Los hallazgos que genera la Evaluación de vulnerabilidades de la Plataforma de agentes incluyen información sobre la ubicación y el tipo de secreto, pero no incluyen el valor del secreto.

Para revisar los resultados generados por la Evaluación de vulnerabilidades de Agent Platform, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Resultados de Security Command Center.

    Acceder a Hallazgos

  2. Selecciona tu Google Cloud organización o proyecto.
  3. En la sección Filtros rápidos, en la subsección Clase, selecciona Secrets. Los resultados de la búsqueda se actualizan para mostrar solo los hallazgos coincidentes.
  4. Para ver los detalles de un resultado específico, haz clic en el nombre del resultado en la columna Categoría. Se abre el panel de detalles del hallazgo y se muestra la pestaña Resumen.
  5. En la pestaña Resumen, en la sección Se detectó, consulta la Descripción y, luego, haz clic en los siguientes vínculos para obtener más detalles:
    • Archivos: Consulta información sobre dónde se encontró el secreto.
    • Ver los detalles del secreto: Consulta el tipo de secreto identificado.

Inspecciona los recursos de IA

Además del panel de IA Security, puedes inspeccionar y consultar el inventario de activos de IA de tu organización o proyecto en la página Activos de la consola deGoogle Cloud con la pestaña Recursos de IA.

En la pestaña Recursos de IA, se proporciona una vista detallada y filtrable de los sistemas y recursos de IA que se descubrieron, incluidos los siguientes:

  • Modelos
  • Extremos
  • Fuentes de datos
  • Canalizaciones
  • Agentes
  • Servidores del Protocolo de contexto del modelo (MCP)
  • Notebooks

Puedes usar la pestaña Recursos de IA para obtener ayuda con lo siguiente:

  • Comprende tu inventario de IA: Consulta listas completas de los recursos de IA activos en toda tu organización o proyecto, filtrados por proyecto, ubicación o tipo de recurso.
  • Realiza investigaciones de seguridad: Examina los metadatos completos, el historial de cambios y las políticas de IAM asociadas de recursos específicos de IA.
  • Examina los hallazgos relacionados: Consulta rápidamente todos los hallazgos de seguridad asociados con un activo de IA específico para evaluar su exposición al riesgo y determinar los pasos de corrección necesarios.

Para obtener más información sobre cómo ver y filtrar los recursos de IA en la consola, consulta Cómo inspeccionar los recursos supervisados por Security Command Center.

¿Qué sigue?