Descripción general de AI Protection

AI Protection te ayuda a administrar la postura de seguridad de tus cargas de trabajo de IA , ya que te proporciona una vista de la seguridad de la IA en tu entorno Google Cloud y te ayuda a detectar amenazas y mitigar los riesgos de tu inventario de IA. En este documento, se proporciona una descripción general de AI Protection que incluye sus beneficios y varios conceptos clave.

AI Protection está disponible con las activaciones de Security Command Center a nivel de la organización y a nivel de proyecto.

Cuando activas Security Command Center a nivel de la organización, el panel de AI Security y las vistas de AI Security en las páginas de la consola muestran datos agregados de todos los proyectos y recursos de la organización.

Cuando activas Security Command Center a nivel del proyecto, el panel de AI Security y las vistas de las páginas de la consola muestran datos relacionados con los recursos del proyecto seleccionado.

Capacidades de AI Protection

AI Protection te ayuda a administrar las amenazas y los riesgos para los componentes de tus sistemas de IA. Tu nivel de servicio determina las capacidades disponibles, que incluyen lo siguiente:

  • Evalúa tu inventario de recursos de IA: Comprende tus sistemas de IA y recursos.
  • Identifica vulnerabilidades (niveles de servicio Premium y Enterprise (obsoleto)): Identifica vulnerabilidades de software (CVEs) y secretos de texto sin formato en cargas de trabajo de agentes implementadas con Agent Runtime.
  • Identifica riesgos (niveles de servicio Premium y Enterprise (obsoleto)): Identifica los riesgos y su impacto en el ecosistema en función de la simulación de rutas de ataque y las reglas predefinidas del gráfico de seguridad, con agentes y servidores MCP como recursos de alto valor.
  • Detecta agentes con privilegios excesivos: detecta agentes de Agent Runtime a los que se otorgan permisos excesivos.
  • Administra el cumplimiento: Verifica de forma proactiva que los recursos de IA de tus implementaciones cumplan con los estándares de seguridad pertinentes. El nivel de servicio Standard incluye hallazgos de seguridad de referencia con Security Essentials, mientras que los niveles de servicio Premium y Enterprise incluyen el cumplimiento avanzado del framework.
  • Detecta y administra amenazas: Detecta y responde a posibles amenazas para tus sistemas y recursos de IA de manera oportuna.

Casos de uso de AI Protection

AI Protection ayuda a las organizaciones a mejorar su seguridad mediante la identificación y mitigación de amenazas y riesgos relacionados con los sistemas de IA y los datos sensibles. Los siguientes casos de uso son ejemplos de cómo se puede usar AI Protection en diferentes organizaciones:

  • Institución de servicios financieros: datos financieros de los clientes

    Una gran institución de servicios financieros usa modelos de IA que procesan datos financieros sensibles.

    • Desafío: El procesamiento de datos financieros altamente sensibles con modelos de IA implica varios riesgos, incluido el riesgo de violaciones de la seguridad de los datos, robo de datos durante el entrenamiento o la inferencia, y vulnerabilidades en la infraestructura de IA subyacente.
    • Caso de uso: AI Protection supervisa continuamente los flujos de trabajo de IA en busca de actividad sospechosa, trabaja para detectar el acceso a los datos no autorizado y el comportamiento anómalo del modelo, realiza la clasificación de datos sensibles y ayuda a mejorar el cumplimiento de reglamentaciones como PCI DSS y RGPD.

  • Proveedor de atención médica: privacidad y cumplimiento de los pacientes

    Un importante proveedor de atención médica administra registros electrónicos de salud y usa IA para el diagnóstico y la planificación del tratamiento, y trata con información de salud protegida (PHI).

    • Desafío: La PHI analizada por los modelos de IA está sujeta a reglamentaciones estrictas como la HIPAA. Los riesgos incluyen la exposición accidental de PHI a través de configuraciones incorrectas o ataques maliciosos dirigidos a sistemas de IA para obtener datos de pacientes.
    • Caso de uso: AI Protection identifica y alerta sobre posibles violaciones de HIPAA, detecta el acceso no autorizado a PHI por parte de modelos o usuarios, marca servicios de IA vulnerables y potencialmente mal configurados, y supervisa las filtraciones de datos.

  • Empresa de fabricación y robótica: propiedad intelectual patentada

    Una empresa de fabricación que se especializa en robótica y automatización avanzadas depende en gran medida de la IA para optimizar las líneas de producción y el control robótico, con propiedad intelectual (PI) vital integrada en sus algoritmos de IA y datos de fabricación.

    • Desafío: Los algoritmos de IA patentados y los datos operativos sensibles son vulnerables al robo por parte de amenazas internas o adversarios externos, lo que puede generar desventajas competitivas o interrupciones operativas.
    • Caso de uso: AI Protection supervisa el acceso no autorizado a modelos de IA y repositorios de código, detecta intentos de robo de modelos entrenados y patrones de acceso a datos inusuales, y marca vulnerabilidades en entornos de desarrollo de IA para evitar el robo de PI.

Servicios de detección en AI Protection

En la siguiente sección, se describen las reglas y los servicios de detección que crean hallazgos cuando habilitas AI Protection. Tanto el nivel de servicio de Security Command Center como el alcance de la activación (a nivel de la organización o a nivel de proyecto) determinan qué servicios de detección admite Security Command Center y los hallazgos que se crean. Security Command Center habilita automáticamente algunos servicios de detección, pero debes configurar otros de forma manual. Para obtener más información, consulta Configura AI Protection.

Servicio de AI Discovery

Este es un servicio integrado que usa datos de Cloud Monitoring para descubrir modelos de IA y determinar si Model Armor protege los modelos. En el nivel de servicio Standard, AI Discovery no admite la detección de Gemini.

Para obtener información sobre los hallazgos que crea este servicio, consulta Hallazgos del servicio de AI Discovery.

Frameworks de Administrador de cumplimiento

AI Protection usa frameworks de Administrador de cumplimiento que Security Command Center implementa automáticamente en modo de detección.

Frameworks integrados del Administrador de cumplimiento

AI Protection incluye los siguientes frameworks. Cuando habilitas AI Protection, Security Command Center habilita automáticamente estos frameworks en tu organización o proyecto.

Según tu nivel de servicio, puedes configurar Administrador de cumplimiento frameworks y controles de nube adicionales. Para obtener más información sobre el Administrador de cumplimiento, consulta Administrador de cumplimiento.

Frameworks personalizados del Administrador de cumplimiento

Puedes crear frameworks personalizados haciendo copias de los frameworks integrados disponibles en tu nivel de servicio.

  • Personalización: Puedes agregar o quitar controles de nube en tus frameworks personalizados para que coincidan con tus políticas de seguridad.
  • Aplicación segmentada: Puedes aplicar frameworks personalizados a organizaciones, carpetas o proyectos específicos. Por ejemplo, puedes aplicar controles jurisdiccionales específicos a carpetas específicas para garantizar que los datos permanezcan dentro de una región geográfica en particular.
  • Limitación: No puedes asignar frameworks de AI Protection a las aplicaciones.

Reglas de Event Threat Detection para recursos de Gemini Enterprise Agent Platform

Event Threat Detection detecta varias amenazas potenciales que involucran recursos de Gemini Enterprise Agent Platform, como actividad anómala de la cuenta de servicio, cambios de permisos sensibles y abuso de identidad de agentes.

Las categorías de hallazgos que se aplican a los recursos de IA incluyen lo siguiente:

  • Persistencia: Nuevo método de la API de IA
  • Persistencia: Nueva geografía para el servicio de IA
  • Elevación de privilegios: Suplantación de identidad anómala de la cuenta de servicio en la actividad del administrador de IA
  • Elevación de privilegios: Uso anómalo de identidad temporal como cuenta de servicio para acceso a datos de IA
  • Elevación de privilegios: Delegación anómala de cuentas de servicio de varios pasos para actividades de administrador de IA
  • Elevación de privilegios: Delegación anómala de cuentas de servicio de varios pasos para el acceso a los datos de IA
  • Elevación de privilegios: Uso de identidad anómalo de la cuenta de servicio para actividades de administrador de IA
  • Acceso inicial: Actividad de la cuenta de servicio inactiva en el servicio de IA
  • Persistencia: Otorgamiento anómalo de IAM a la identidad de agente
  • Acceso a credenciales: Credencial de identidad de agente usada fuera de Google Cloud
  • Persistencia: Se agregó un permiso de IA sensible al rol personalizado
  • Persistencia: Rol sensible otorgado por el agente de IA
  • Persistencia: Se otorgó un rol sensible a un agente de IA externo
  • Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel de proyecto al agente de IA
  • Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel de carpeta al agente de IA
  • Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel de la organización al agente de IA

Para obtener una lista completa de los hallazgos de Event Threat Detection que se aplican a los recursos de IA, consulta Descripción general de Event Threat Detection.

Detección de amenazas de Agent Platform para Agent Runtime

La Detección de amenazas de Agent Platform (vista previa) proporciona detección de amenazas en el entorno de ejecución para los agentes implementados en Agent Runtime. Supervisa los agentes en ejecución en busca de posibles ataques y genera hallazgos en Security Command Center.

La Detección de amenazas de Agent Platform genera hallazgos para Agent Runtime, incluidas las siguientes categorías:

  • Comando y control: Se detectó una herramienta de esteganografía
  • Acceso a credenciales: Buscar Google Cloud credenciales
  • Acceso a credenciales: Reconocimiento de claves GPG
  • Acceso a las credenciales: Busca claves privadas o contraseñas
  • Evasión de defensa: Línea de comandos de archivo ELF en Base64
  • Evasión de defensa: Se ejecutó una secuencia de comandos de Python codificada en Base64
  • Evasión de defensa: Se ejecutó una secuencia de comandos de shell codificada en Base64
  • Evasión de defensa: Iniciar la herramienta de compilador de código en el contenedor
  • Ejecución: Se detectó la ejecución remota de código de Netcat en un contenedor
  • Ejecución: Posible ejecución de comandos arbitrarios con CUPS (CVE-2024-47177)
  • Ejecución: Se detectó una posible ejecución remota de comandos
  • Ejecución: Se detectó la ejecución del programa con entorno de proxy HTTP no permitido
  • Ejecución: Se detectó una shell inversa de Socat
  • Ejecución: Se cargó un objeto compartido de OpenSSL sospechoso
  • Robo de datos: Se detectó el lanzamiento de herramientas de copia remota de archivos en el contenedor
  • Impacto: Detecta líneas de comandos maliciosas
  • Impacto: Quita datos masivos del disco
  • Impacto: Actividad de minería de criptomonedas sospechosa con el protocolo Stratum
  • Elevación de privilegios: Abuso de sudo para la elevación de privilegios (CVE-2019-14287)
  • Elevación de privilegios: Vulnerabilidad de elevación de privilegios locales de Polkit (CVE-2021-4034)
  • Elevación de privilegios: Se detectó una posible elevación de privilegios con sudo (CVE-2021-3156)
  • Ejecución: Se ejecutó un código de Python malicioso
  • Ejecución: Escape del contenedor
  • Ejecución: Se detectó la ejecución de la herramienta de ataque de Kubernetes
  • Ejecución: Se detectó la ejecución de la herramienta de reconocimiento local
  • Impacto: Secuencia de comandos maliciosa ejecutada
  • Impacto: Se detectó una URL maliciosa
  • Ejecución: Shell secundaria inesperada

Obtén más información sobre la Detección de amenazas de Agent Platform.

Evaluación de vulnerabilidades de Agent Platform

La Evaluación de vulnerabilidades de Agent Platform (versión preliminar) identifica vulnerabilidades y secretos de texto simple, como credenciales, claves, tokens de acceso o certificados, en imágenes de contenedor de Gemini Enterprise Agent Platform.

Para obtener más información, consulta Evaluación de vulnerabilidades de Agent Platform en "Servicios de detección".

Notebook Security Scanner

Notebook Security Scanner (vista previa) analiza notebooks de Colab Enterprise para detectar vulnerabilidades en paquetes de Python.

Para obtener información, consulta Notebook Security Scanner en "Servicios de detección".

Protección de datos sensibles

El servicio de descubrimiento de Sensitive Data Protection es un servicio completamente administrado Google Cloud que te ayuda a descubrir, clasificar y proteger tus datos sensibles. Puedes usar Sensitive Data Protection para determinar si almacenas información sensible o información de identificación personal (IIP).

Para obtener más información, consulta Hallazgos de Sensitive Data Protection en "Servicios de detección".

Model Armor

Después de habilitar Model Armor y configurarlo para que se integre con uno o más componentes relacionados con la IA, puedes investigar los hallazgos de Model Armor en Security Command Center.

En el nivel de servicio Standard de Security Command Center, AI Protection no admite Gemini.

Para configurar Model Armor, consulta Crea y administra plantillas.

Risk Engine

Risk Engine es una función de Security Command Center que evalúa la exposición al riesgo de tus implementaciones en la nube, asigna puntuaciones de exposición a ataques a los hallazgos de vulnerabilidad y a tus recursos de alto valor, y diagrama las rutas que un atacante potencial podría tomar para llegar a tus recursos de alto valor.

Para obtener más información, consulta Risk Engine en "Servicios de detección".

Recursos compatibles en AI Protection

AI Protection descubre recursos con los siguientes mecanismos:

  • Recursos de IA declarativos: Recursos que rastrean las herramientas de administración del ciclo de vida de la IA (como Gemini Enterprise Agent Platform).
  • Recursos de IA inferidos: Recursos de uso general (como recursos de procesamiento y almacenamiento) que procesan datos o cargas de trabajo de IA.
  • Modelo como servicio (solo API): Recursos que realizan llamadas programáticas a modelos de IA propios o de terceros.

En esta sección, se define el inventario y los recursos de IA compatibles que AI Protection puede ayudar a proteger.

  • Apps de búsqueda de Gemini Enterprise y Agent: Son sistemas de IA que pueden percibir su entorno, tomar decisiones y realizar acciones para lograr objetivos específicos.
  • Extremos: Las cargas de trabajo de las aplicaciones de IA abarcan desde herramientas internas destinadas a mejorar la productividad de los empleados hasta soluciones para el consumidor diseñadas para mejorar la experiencia del usuario y generar negocios. Entre los ejemplos, se incluyen agentes de IA, asistentes virtuales, chatbots de IA conversacional y recomendaciones personalizadas. AI Protection los identifica como extremos de Agent Platform en la pestaña Recursos de IA de la página Recursos.
  • Fuentes de datos: Las fuentes de datos compatibles incluyen tablas de BigQuery, Cloud Storage, conjuntos de datos de Agent Platform, y almacenes de datos de Gemini Enterprise.
  • Modelos: AI Protection identifica los modelos de IA como modelos de IA de base, modelos de IA ajustados, modelos de IA propios estándar y modelos de IA personalizados. Estos son algunos ejemplos:
  • Recursos de IA: Los recursos de IA contribuyen a las canalizaciones de operaciones de aprendizaje automático y son utilizados por las cargas de trabajo de IA. Entre los tipos de recursos de IA, se incluyen los siguientes:
  • Servidores del Protocolo de contexto del modelo (MCP): AI Protection identifica los servidores MCP catalogados en Agent Registry. Para usar esta función, debes configurar la API de App Hub en cada proyecto que aloje un servidor de MCP.

Impactos de los cambios en el nivel de servicio

Si cambias el nivel de servicio de Premium o Enterprise a Standard, el cambio de versión inferior afecta tus capacidades de AI Protection de la siguiente manera:

  • Servicios de detección: Security Command Center inhabilita los servicios de detección y los frameworks de Administrador de cumplimiento que no admite el nivel Standard. Para obtener más información, consulta Administra niveles de servicio en Administrador de cumplimiento.
  • Funciones de investigación: Pierdes el acceso a funciones de investigación avanzadas, como simulaciones de rutas de ataque para recursos de IA, evaluación de vulnerabilidades de agentes, y detección de agentes con privilegios excesivos.
  • Los hallazgos se vuelven inactivos: Los hallazgos creados por frameworks de Compliance Manager que no son compatibles con el nivel Standard se vuelven inactivos. Para obtener más información, consulta Administra niveles de servicio en Administrador de cumplimiento.

Si vuelves a actualizar al nivel Premium o Enterprise, Security Command Center restablece las funciones avanzadas, pero no recupera automáticamente las implementaciones de frameworks que se quitaron durante el cambio de versión inferior. Debes volver a implementar los frameworks de forma manual.

¿Qué sigue?