Descripción general de AI Protection

AI Protection te ayuda a administrar la postura de seguridad de tus cargas de trabajo de IA detectando amenazas y ayudándote a mitigar los riesgos de tu inventario de recursos de IA. En este documento, se proporciona una descripción general de la Protección contra IA, incluidos sus beneficios y varios conceptos clave. AI Protection está disponible con las activaciones a nivel de la organización de Security Command Center.

En los niveles de servicio Premium y Enterprise, cuando se activa Security Command Center a nivel de la organización, AI Protection ayuda a proporcionar una vista integral de la seguridad de la IA en todo tu entorno de Google Cloud . El panel de AI Protection de la Google Cloud consola muestra un conjunto coherente de widgets y funciones, con datos agregados de todos los proyectos y recursos de la organización.

Capacidades de AI Protection

AI Protection te ayuda a administrar las amenazas y los riesgos para tus sistemas de IA de las siguientes maneras:

  • Evalúa tu inventario de activos de IA: Evalúa y comprende tus sistemas y activos de IA con el panel de seguridad de IA y la pestaña de recursos de IA, incluidos los siguientes elementos:
    • Modelos
    • Fuentes de datos
    • Extremos
    • Agentes (vista previa)
    • Servidores del Protocolo de contexto del modelo (MCP) catalogados en Agent Registry (versión preliminar). El descubrimiento de servidores de MCP requiere que la API de App Hub (apphub.googleapis.com) esté habilitada en cada proyecto que aloje un servidor de MCP.
  • Identifica vulnerabilidades: Identifica vulnerabilidades de software (CVE) en cargas de trabajo de agentes implementadas con Agent Runtime.
  • Identifica riesgos: Identifica los riesgos de los agentes y su impacto en el ecosistema según la simulación de ruta de ataque y las reglas predefinidas del gráfico de seguridad, con los agentes y los servidores de MCP como recursos de alto valor.
  • Detecta agentes con exceso de privilegios: Detecta agentes de Agent Runtime a los que se les otorgaron permisos excesivos. (vista previa)
  • Administra los riesgos y el cumplimiento: Administra de forma proactiva los riesgos de tus recursos de IA y verifica que tus implementaciones de IA cumplan con los estándares de seguridad pertinentes.
  • Mitiga los riesgos legales y financieros: Reduce los riesgos financieros, de reputación y legales asociados con los incumplimientos de seguridad y el incumplimiento de las reglamentaciones.
  • Detecta y administra amenazas: Detecta posibles amenazas a tus sistemas y recursos de IA, y responde a ellas de manera oportuna.
  • Consulta un panel: Administra todos los riesgos y las amenazas relacionados con la IA desde un panel centralizado.

Casos de uso de la Protección con IA

AI Protection ayuda a las organizaciones a mejorar su seguridad identificando y mitigando las amenazas y los riesgos relacionados con los sistemas de IA y los datos sensibles. Los siguientes casos de uso son ejemplos de cómo se puede usar la Protección contra IA en diferentes organizaciones:

  • Institución de servicios financieros: Datos financieros del cliente

    Una gran institución de servicios financieros usa modelos de IA que procesan datos financieros sensibles.

    • Desafío: El procesamiento de datos financieros altamente sensibles con modelos de IA conlleva varios riesgos, incluido el riesgo de filtraciones de datos, robo de datos durante el entrenamiento o la inferencia, y vulnerabilidades en la infraestructura subyacente de la IA.
    • Caso de uso: La Protección basada en IA supervisa continuamente los flujos de trabajo de IA en busca de actividad sospechosa, trabaja para detectar el acceso no autorizado a los datos y el comportamiento anómalo del modelo, clasifica los datos sensibles y ayuda a mejorar el cumplimiento de las reglamentaciones, como PCI DSS y RGPD.

  • Proveedor de atención médica: Privacidad del paciente y cumplimiento

    Un importante proveedor de atención médica administra registros electrónicos de salud y usa la IA para el diagnóstico y la planificación del tratamiento, y maneja información de salud protegida (PHI).

    • Desafío: La PHI analizada por los modelos de IA está sujeta a reglamentaciones estrictas, como la HIPAA. Los riesgos incluyen la exposición accidental de PHI a través de configuraciones incorrectas o ataques maliciosos dirigidos a sistemas de IA para obtener datos de pacientes.
    • Caso de uso: AI Protection identifica y alerta sobre posibles incumplimientos de la HIPAA, detecta el acceso no autorizado a PHI por parte de modelos o usuarios, marca los servicios de IA vulnerables y potencialmente mal configurados, y supervisa la filtración de datos.

  • Empresa de fabricación y robótica: Propiedad intelectual patentada

    Una empresa de fabricación especializada en robótica y automatización avanzadas depende en gran medida de la IA para optimizar las líneas de producción y el control robótico, y tiene una propiedad intelectual (PI) vital integrada en sus algoritmos de IA y datos de fabricación.

    • Desafío: Los algoritmos de IA patentados y los datos operativos sensibles son vulnerables al robo por parte de amenazas internas o adversarios externos, lo que podría generar desventajas competitivas o interrupciones operativas.
    • Caso de uso: AI Protection supervisa el acceso no autorizado a los modelos de IA y los repositorios de código, detecta intentos de exfiltrar modelos entrenados y patrones inusuales de acceso a los datos, y marca vulnerabilidades en los entornos de desarrollo de IA para evitar el robo de PI.

Reglas de Event Threat Detection para los recursos de Gemini Enterprise Agent Platform

Event Threat Detection detecta varias amenazas potenciales que involucran activos de Gemini Enterprise Agent Platform, como actividad anómala de la cuenta de servicio, cambios en permisos sensibles y abuso de identidad de agentes.

Las categorías de hallazgos que se aplican a los activos creados con IA incluyen las siguientes:

  • Persistencia: Nuevo método de API de IA
  • Persistencia: Nueva ubicación geográfica para el servicio de IA
  • Elevación de privilegios: Suplantación de identidad anómala de la cuenta de servicio en la actividad del administrador de IA
  • Elevación de privilegios: Uso anómalo de identidad temporal como cuenta de servicio para acceso a datos de IA
  • Elevación de privilegios: Delegación anómala de cuentas de servicio de varios pasos para actividades de administrador de IA
  • Elevación de privilegios: Delegación anómala de cuentas de servicio de varios pasos para el acceso a los datos de IA
  • Elevación de privilegios: Uso anómalo de identidad temporal como cuenta de servicio para actividades de administrador de IA
  • Acceso inicial: Actividad de la cuenta de servicio inactiva en el servicio de IA
  • Persistencia: Otorgamiento anómalo de IAM a identidad agentiva
  • Credential Access: Credencial de identidad de agente utilizada fuera de Google Cloud
  • Persistencia: Se agregó un permiso de IA sensible al rol personalizado
  • Persistencia: Rol sensible otorgado por el agente de IA
  • Persistencia: Se otorgó un rol sensible a un agente de IA externo
  • Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel del proyecto al agente de IA
  • Evasión de defensa: Se otorgó el rol de creador de tokens a nivel de carpeta al agente de IA
  • Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel de la organización al agente de IA

Para obtener una lista completa de los hallazgos de Event Threat Detection que se aplican a los recursos de IA, consulta Servicios de detección.

Detección de amenazas de Agent Platform para Agent Runtime

La Detección de amenazas de Agent Platform proporciona detección de amenazas en el tiempo de ejecución para los agentes implementados en Agent Runtime. Supervisa los agentes en ejecución para detectar posibles ataques y genera resultados en Security Command Center.

Agent Platform Threat Detection puede generar hallazgos para Agent Runtime, incluidas las siguientes categorías:

  • Comando y control: Se detectó una herramienta de esteganografía
  • Credential Access: Busca Google Cloud Credentials
  • Acceso a credenciales: Reconocimiento de claves GPG
  • Acceso a las credenciales: Busca claves privadas o contraseñas
  • Evasión de defensa: Línea de comandos de archivo ELF en Base64
  • Evasión de defensa: Se ejecutó una secuencia de comandos de Python codificada en Base64
  • Evasión de defensa: Se ejecutó una secuencia de comandos de shell codificada en Base64
  • Evasión de defensa: Iniciar la herramienta de compilador de código en el contenedor
  • Ejecución: Ejecución remota de código de Netcat en un contenedor
  • Ejecución: Posible ejecución de comandos arbitrarios con CUPS (CVE-2024-47177)
  • Ejecución: Se detectó una posible ejecución remota de comandos
  • Ejecución: Ejecución del programa con entorno de proxy HTTP no permitido
  • Ejecución: Se detectó una shell inversa de Socat
  • Ejecución: Se cargó un objeto compartido de OpenSSL sospechoso
  • Robo de datos: Se detectó el lanzamiento de herramientas de copia remota de archivos en el contenedor
  • Impacto: Detecta líneas de comandos maliciosas
  • Impacto: Quita datos masivos del disco
  • Impacto: Actividad de minería de criptomonedas sospechosa con el protocolo Stratum
  • Elevación de privilegios: Abuso de sudo para la elevación de privilegios (CVE-2019-14287)
  • Elevación de privilegios: Vulnerabilidad de elevación de privilegios locales de Polkit (CVE-2021-4034)
  • Elevación de privilegios: Se detectó una posible elevación de privilegios con sudo (CVE-2021-3156)
  • Ejecución: Se ejecutó un código de Python malicioso
  • Ejecución: Escape del contenedor
  • Ejecución: Se detectó la ejecución de la herramienta de ataque de Kubernetes
  • Ejecución: Se detectó la ejecución de la herramienta de reconocimiento local
  • Impacto: Se ejecutó una secuencia de comandos maliciosa
  • Impacto: Se detectó una URL maliciosa
  • Ejecución: Shell secundaria inesperada

Para obtener una lista completa de los resultados de Agent Platform Threat Detection, consulta Servicios de detección.

Marco de trabajo de AI Protection

AI Protection usa un framework que incluye controles específicos de la nube que se implementan automáticamente en el modo de detección. El modo de detección significa que el control de nube se aplica a los recursos definidos con fines de supervisión. Se detectan incumplimientos y se generan alertas. Utilizas marcos de trabajo y controles de la nube para definir tus requisitos de AI Protection y aplicarlos a tu entorno de Google Cloud . La Protección contra IA incluye el marco de trabajo predeterminado, que define los controles de referencia recomendados para la Protección contra IA. Cuando habilitas la Protección basada en IA, el marco de trabajo predeterminado se aplica automáticamente a la organización Google Cloud en el modo de detección.

Si es necesario, puedes hacer copias del framework para crear frameworks personalizados de Protección contra IA. Puedes agregar los controles de la nube a tus frameworks personalizados y aplicar los frameworks personalizados a la organización, las carpetas o los proyectos. Por ejemplo, puedes crear marcos personalizados que apliquen controles jurisdiccionales específicos a carpetas específicas para garantizar que los datos dentro de esas carpetas permanezcan dentro de una región geográfica en particular.

Controles de la nube en el framework predeterminado de Protección de la IA

Para obtener más información sobre los controles de la nube que usa el marco de trabajo de AI Protection, consulta Nociones básicas de la IA recomendadas por Google: Vertex AI.

Áreas funcionales compatibles con AI Protection

En esta sección, se definen las áreas funcionales que AI Protection puede ayudar a proteger.

  • Cargas de trabajo de IA: Las cargas de trabajo de las aplicaciones de IA abarcan desde herramientas internas destinadas a mejorar la productividad de los empleados hasta soluciones para el consumidor diseñadas para mejorar la experiencia del usuario y generar ingresos. Entre los ejemplos, se incluyen los agentes de IA, los asistentes virtuales, los chatbots de IA conversacional y las recomendaciones personalizadas.
  • Agentes de IA: Los agentes de IA son sistemas de IA que pueden percibir su entorno, tomar decisiones y realizar acciones para lograr objetivos específicos.
  • Modelos de IA: Los modelos de IA se clasifican en modelos de IA de base, modelos de IA ajustados, modelos de IA estándar propios y modelos de IA personalizados. Algunos ejemplos son Gemini, Llama, modelos de traducción y modelos personalizados para tareas específicas.
  • Recursos de IA: Los recursos de IA contribuyen a las canalizaciones de operaciones de aprendizaje automático y se utilizan en las cargas de trabajo de IA. Los tipos de recursos de IA incluyen los siguientes:
    • Activos de IA declarativos: Las herramientas de administración del ciclo de vida de la IA, como Gemini Enterprise Agent Platform, hacen un seguimiento de estos activos.
    • Recursos de IA inferidos: Son recursos de uso general, como los de procesamiento y almacenamiento, que se usan para procesar datos o cargas de trabajo de IA.
    • Modelo como servicio (solo API): Son recursos que tienen llamadas programáticas a modelos de IA propios o de terceros.

Usa el panel de AI Security

El panel de AI Security te permite visualizar el inventario de activos de IA de tu organización y revisar las mitigaciones propuestas para los riesgos y las amenazas.

Accede al panel de AI Security

Para acceder al panel de seguridad de IA, ve a la página Resumen de riesgos > Seguridad de IA en la consola de Google Cloud :

Ir a Seguridad de la IA

Para obtener más información, consulta el panel de seguridad de la IA.

Comprende la administración de riesgos para los sistemas de IA

En esta sección, se proporciona información sobre los posibles riesgos asociados con los sistemas de IA. Puedes ver los principales riesgos en tu inventario de IA.

Puedes hacer clic en cualquier problema para abrir un panel de detalles que proporcione una visualización del problema.

Ver amenazas de IA

En esta sección, se proporcionan estadísticas sobre las amenazas asociadas con los sistemas de IA. Puedes ver las 5 amenazas recientes principales asociadas con tus recursos de IA.

En esta página, puedes hacer lo siguiente:

  • Haz clic en Ver todo para ver las amenazas asociadas con tus recursos de IA.
  • Haz clic en cualquier amenaza para ver más detalles sobre ella.

Visualiza tu inventario de IA

En el panel, puedes ver una visualización de tu inventario de IA que proporciona un resumen de los proyectos que involucran IA generativa, los modelos de origen y de terceros en uso activo, y los conjuntos de datos que se utilizan para entrenar los modelos de terceros.

En esta página, puedes hacer lo siguiente:

  • Para ver la página de detalles del inventario, haz clic en cualquiera de los nodos de la visualización.
  • Para ver una lista detallada de los recursos individuales (como los modelos básicos y los modelos personalizados), haz clic en la sugerencia.
  • Para abrir una vista detallada del modelo, haz clic en él. En esta vista, se muestran detalles como los extremos en los que se aloja el modelo y el conjunto de datos que se usó para entrenarlo. Si Sensitive Data Protection está habilitado, la vista de conjuntos de datos también muestra si el conjunto de datos contiene datos sensibles.

Revisa el resumen de los hallazgos del marco de trabajo de la IA

En esta sección, se te ayudará a evaluar y administrar los hallazgos del marco de IA y las políticas de seguridad de los datos, y se incluye lo siguiente:

  • Hallazgos: En esta sección, se muestra un resumen de los hallazgos generados por las políticas de seguridad de IA y las políticas de seguridad de los datos. Haz clic en Ver todos los resultados o en el recuento de cada categoría de resultados para ver los detalles del resultado. Haz clic en un hallazgo para mostrar información adicional sobre él.
  • Datos sensibles en los conjuntos de datos de Vertex AI: En esta sección, se muestra un resumen de los hallazgos basados en los datos sensibles de los conjuntos de datos, según lo informa Sensitive Data Protection. Para obtener más información, consulta Introducción a Gemini Enterprise Agent Platform.

Cómo examinar los resultados de Model Armor

Un gráfico muestra la cantidad total de instrucciones o respuestas que analizó Model Armor y la cantidad de problemas que detectó. Además, el gráfico muestra estadísticas de resumen para varios tipos de problemas detectados, como la inyección de instrucciones y la detección de jailbreak, y la detección de datos sensibles. Para las cargas de trabajo de agentes, Model Armor se puede configurar en Agent Gateway (versión preliminar) para analizar las instrucciones y las respuestas que se envían a los agentes y que estos envían.

Esta información se completa en función de las métricas que Model Armor publica en Cloud Monitoring. Para obtener más información, consulta la descripción general de Model Armor.

Inspecciona los recursos de IA en la página Recursos

Además del panel de AI Security, puedes inspeccionar y consultar el inventario de activos de IA de tu organización directamente en la página Recursos de la consola de Google Cloud con la pestaña Recursos de IA.

La pestaña Recursos de IA proporciona una vista detallada y filtrable de los sistemas y recursos de IA descubiertos, incluidos los modelos, los extremos, las fuentes de datos, las canalizaciones, los agentes (versión preliminar), los servidores del Protocolo de contexto del modelo (MCP) (versión preliminar) y los notebooks.

Puedes usar la pestaña Recursos de IA para hacer lo siguiente:

  • Comprende tu inventario de IA: Consulta listas completas de los recursos de IA activos en toda tu organización, filtrados por proyecto, ubicación o tipo de recurso.
  • Realiza investigaciones de seguridad: Examina los metadatos completos, el historial de cambios y las políticas de IAM asociadas de activos de IA específicos.
  • Examina los hallazgos relacionados: Consulta rápidamente todos los hallazgos de seguridad asociados con un activo de IA específico para evaluar su exposición al riesgo y determinar los pasos de corrección necesarios.

Para obtener más información sobre cómo ver y filtrar los recursos de IA en la consola, consulta Inspecciona los recursos que supervisa Security Command Center.

¿Qué sigue?