AI Protection te ayuda a administrar la postura de seguridad de tus cargas de trabajo de IA detectando amenazas y ayudándote a mitigar los riesgos de tu inventario de recursos de IA. En este documento, se proporciona una descripción general de AI Protection, incluidos sus beneficios y varios conceptos clave. AI Protection está disponible con las activaciones de Security Command Center a nivel de la organización y a nivel de proyecto.
Para los niveles de servicio Premium y Enterprise (obsoleto), AI Protection ayuda a proporcionar una vista de la seguridad de la IA en tu Google Cloud entorno.
Cuando Security Command Center se activa a nivel de la organización, el panel de AI Protection en la Google Cloud consola de muestra un conjunto coherente de widgets y funciones, con datos agregados de todos los proyectos y recursos de la organización.
Cuando Security Command Center se activa a nivel del proyecto, el panel de AI Protection muestra datos que se limitan a ese proyecto.
Capacidades de AI Protection
AI Protection te ayuda a administrar las amenazas y los riesgos para tus sistemas de IA de las siguientes maneras:
- Evalúa tu inventario de recursos de IA: Evalúa y comprende tus sistemas y recursos de IA con el panel de AI Security y la pestaña Recursos de IA, incluidos los siguientes:
- Modelos
- Fuentes de datos
- Extremos
- Agentes
- Servidores del Protocolo de contexto del modelo (MCP) catalogados en el Registro de agentes El descubrimiento de servidores MCP requiere que la API de App Hub (
apphub.googleapis.com) esté habilitada en cada proyecto que aloja un servidor MCP.
- Identifica vulnerabilidades: Identifica vulnerabilidades de software (CVE) en cargas de trabajo de agentes implementadas con Agent Runtime.
- Identifica riesgos: Identifica los riesgos de los agentes y su impacto en el ecosistema en función de la simulación de ruta de ataque y las reglas predefinidas del gráfico de seguridad, con agentes y servidores MCP como recursos de alto valor.
- Detecta agentes con privilegios excesivos: Detecta agentes de Agent Runtime a los que se otorgan permisos excesivos.
- Administra los riesgos y el cumplimiento: Administra de forma proactiva los riesgos para tus recursos de IA y verifica que tus implementaciones de IA cumplan con los estándares de seguridad pertinentes.
- Mitiga los riesgos legales y financieros: Reduce los riesgos financieros, de reputación, y legales asociados con las violaciones de seguridad y el incumplimiento normativo.
- Detecta y administra amenazas: Detecta y responde a posibles amenazas para tus sistemas y recursos de IA de manera oportuna.
- Consulta un panel: Administra todos los riesgos y las amenazas relacionados con la IA desde un panel centralizado.
Casos de uso de AI Protection
AI Protection ayuda a las organizaciones a mejorar su seguridad mediante la identificación y mitigación de amenazas y riesgos relacionados con los sistemas de IA y los datos sensibles. Los siguientes casos de uso son ejemplos de cómo se puede usar AI Protection en diferentes organizaciones:
Institución de servicios financieros: datos financieros de los clientes
Una gran institución de servicios financieros usa modelos de IA que procesan datos financieros sensibles.
- Desafío: El procesamiento de datos financieros altamente sensibles con modelos de IA implica varios riesgos, incluido el riesgo de violaciones de la seguridad de los datos, robo de datos durante el entrenamiento o la inferencia, y vulnerabilidades en la infraestructura de IA subyacente.
- Caso de uso: AI Protection supervisa continuamente los flujos de trabajo de IA en busca de actividad sospechosa, trabaja para detectar el acceso a los datos no autorizado y el comportamiento anómalo del modelo, realiza la clasificación de datos sensibles y ayuda a mejorar el cumplimiento de reglamentaciones como PCI DSS y RGPD.
Proveedor de atención médica: privacidad y cumplimiento del paciente
Un proveedor de atención médica importante administra registros electrónicos de salud y usa IA para el diagnóstico y la planificación del tratamiento, y trata con información de salud protegida (PHI).
- Desafío: La PHI analizada por los modelos de IA está sujeta a reglamentaciones estrictas como la HIPAA. Los riesgos incluyen la exposición accidental de PHI a través de configuraciones incorrectas o ataques maliciosos dirigidos a sistemas de IA para obtener datos de pacientes.
- Caso de uso: AI Protection identifica y alerta sobre posibles violaciones de HIPAA, detecta el acceso no autorizado a PHI por parte de modelos o usuarios, marca servicios de IA vulnerables y potencialmente mal configurados, y supervisa las filtraciones de datos.
Empresa de fabricación y robótica: propiedad intelectual patentada
Una empresa de fabricación que se especializa en robótica avanzada y automatización depende en gran medida de la IA para optimizar las líneas de producción y el control robótico, con propiedad intelectual (PI) vital incorporada en sus algoritmos de IA y datos de fabricación.
- Desafío: Los algoritmos de IA patentados y los datos operativos sensibles son vulnerables al robo por parte de amenazas internas o adversarios externos, lo que podría generar desventajas competitivas o interrupciones operativas.
- Caso de uso: AI Protection supervisa el acceso no autorizado a modelos de IA y repositorios de código, detecta intentos de robo de modelos entrenados y patrones de acceso a datos inusuales, y marca vulnerabilidades en entornos de desarrollo de IA para evitar el robo de PI.
Reglas de Event Threat Detection para recursos de Agent Platform de Gemini Enterprise
Event Threat Detection detecta varias amenazas potenciales que involucran recursos de Gemini Enterprise Agent Platform, como actividad anómala de la cuenta de servicio, cambios de permisos sensibles y abuso de identidad de agentes.
Las categorías de hallazgos que se aplican a los recursos de IA incluyen lo siguiente:
- Persistencia: Nuevo método de la API de IA
- Persistencia: Nueva geografía para el servicio de IA
- Elevación de privilegios: Suplantación de identidad anómala de la cuenta de servicio en la actividad del administrador de IA
- Elevación de privilegios: Uso anómalo de identidad temporal como cuenta de servicio para acceso a datos de IA
- Elevación de privilegios: Delegación anómala de cuentas de servicio de varios pasos para actividades de administrador de IA
- Elevación de privilegios: Delegación anómala de cuentas de servicio de varios pasos para el acceso a los datos de IA
- Elevación de privilegios: Uso anómalo de identidad temporal como cuenta de servicio para actividades de administrador de IA
- Acceso inicial: Actividad de la cuenta de servicio inactiva en el servicio de IA
- Persistencia: Otorgamiento anómalo de IAM a la identidad de agente
- Acceso a credenciales: Credencial de identidad de agente usada fuera de Google Cloud
- Persistencia: Se agregó un permiso de IA sensible al rol personalizado
- Persistencia: Rol sensible otorgado por el agente de IA
- Persistencia: Se otorgó un rol sensible a un agente de IA externo
- Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel de proyecto al agente de IA
- Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel de carpeta al agente de IA
- Evasión de defensa: Se otorgó el rol de Creador de tokens a nivel de la organización al agente de IA
Para obtener una lista completa de los hallazgos de Event Threat Detection que se aplican a los recursos de IA, consulta Servicios de detección.
Detección de amenazas de Agent Platform para Agent Runtime
La Detección de amenazas de Agent Platform proporciona detección de amenazas en el entorno de ejecución para los agentes implementados en Agent Runtime. Supervisa los agentes en ejecución en busca de posibles ataques y genera hallazgos en Security Command Center.
La Detección de amenazas de Agent Platform puede generar hallazgos para Agent Runtime, incluidas las siguientes categorías:
- Comando y control: Se detectó una herramienta de esteganografía
- Acceso a credenciales: Buscar Google Cloud credenciales
- Acceso a credenciales: Reconocimiento de claves GPG
- Acceso a las credenciales: Busca claves privadas o contraseñas
- Evasión de defensa: Línea de comandos de archivo ELF en Base64
- Evasión de defensa: Se ejecutó una secuencia de comandos de Python codificada en Base64
- Evasión de defensa: Se ejecutó una secuencia de comandos de shell codificada en Base64
- Evasión de defensa: Iniciar la herramienta de compilador de código en el contenedor
- Ejecución: Se detectó la ejecución remota de código de Netcat en un contenedor
- Ejecución: Posible ejecución de comandos arbitrarios con CUPS (CVE-2024-47177)
- Ejecución: Se detectó una posible ejecución remota de comandos
- Ejecución: Se detectó la ejecución del programa con entorno de proxy HTTP no permitido
- Ejecución: Se detectó una shell inversa de Socat
- Ejecución: Se cargó un objeto compartido de OpenSSL sospechoso
- Robo de datos: Se detectó el lanzamiento de herramientas de copia remota de archivos en el contenedor
- Impacto: Detecta líneas de comandos maliciosas
- Impacto: Quita datos masivos del disco
- Impacto: Actividad de minería de criptomonedas sospechosa con el protocolo Stratum
- Elevación de privilegios: Abuso de sudo para la elevación de privilegios (CVE-2019-14287)
- Elevación de privilegios: Vulnerabilidad de elevación de privilegios locales de Polkit (CVE-2021-4034)
- Elevación de privilegios: Se detectó una posible elevación de privilegios con sudo (CVE-2021-3156)
- Ejecución: Se ejecutó un código de Python malicioso
- Ejecución: Escape del contenedor
- Ejecución: Se detectó la ejecución de la herramienta de ataque de Kubernetes
- Ejecución: Se detectó la ejecución de la herramienta de reconocimiento local
- Impacto: Secuencia de comandos maliciosa ejecutada
- Impacto: Se detectó una URL maliciosa
- Ejecución: Shell secundaria inesperada
Para obtener una lista completa de los hallazgos de la Detección de amenazas de Agent Platform, consulta Servicios de detección.
Framework de AI Protection
AI Protection usa un framework de seguridad que consta de controles de la nube que se implementan automáticamente en modo de detección. En el modo de detección, el sistema aplica controles de la nube a los recursos definidos para fines de supervisión. Si el sistema detecta alguna violación, genera alertas.
Framework predeterminado
AI Protection incluye un framework predeterminado que define los controles de referencia recomendados. Cuando habilitas AI Protection, el default framework se aplica automáticamente a tu Google Cloud organización o proyecto.
Para obtener más información sobre los controles de la nube que usa el framework predeterminado, consulta Google Recommended Nociones básicas de la IA - Vertex AI.
Frameworks personalizados
Si necesitas personalizar estos requisitos, puedes crear frameworks personalizados haciendo copias del framework predeterminado:
- Personalización: Puedes agregar o quitar controles de la nube en tus frameworks personalizados para que coincidan con tus políticas de seguridad.
- Aplicación segmentada: Puedes aplicar frameworks personalizados a organizaciones, carpetas o proyectos específicos. Por ejemplo, puedes aplicar controles jurisdiccionales específicos a carpetas específicas para garantizar que los datos permanezcan dentro de una región geográfica en particular.
- Limitación: No puedes asignar frameworks de AI Protection a las aplicaciones.
Áreas funcionales compatibles con AI Protection
En esta sección, se definen las áreas funcionales que AI Protection puede ayudar a proteger.
- Cargas de trabajo de IA: Las cargas de trabajo de aplicaciones de IA abarcan desde herramientas internas destinadas a mejorar la productividad de los empleados hasta soluciones para el consumidor diseñadas para mejorar la experiencia del usuario y generar negocios. Algunos ejemplos son los agentes de IA, los asistentes virtuales, los chatbots de IA conversacional y las recomendaciones personalizadas.
- Agentes de IA: Los agentes de IA son sistemas de IA que pueden percibir su entorno, tomar decisiones y realizar acciones para lograr objetivos específicos.
- Modelos de IA: Los modelos de IA se clasifican en modelos de IA de base, modelos de IA ajustados, modelos de IA estándar de origen y modelos de IA personalizados. Algunos ejemplos son Gemini, Llama, modelos de traducción, y modelos personalizados para tareas específicas.
- Recursos de IA: Los recursos de IA contribuyen a las canalizaciones de operaciones de aprendizaje automático
y son utilizados por las cargas de trabajo de IA. Entre los tipos de recursos de IA, se incluyen los siguientes:
- Recursos de IA declarativos: Las herramientas de administración del ciclo de vida de la IA, como Gemini Enterprise Agent Platform, hacen un seguimiento de estos recursos.
- Recursos de IA inferidos: Recursos de uso general, como recursos de procesamiento y almacenamiento, que se usan para procesar datos o cargas de trabajo de IA.
- Modelo como servicio (solo API): Recursos que tienen llamadas programáticas a modelos de IA de origen o de terceros.
- Recursos de IA no autorizados: Recursos y cargas de trabajo de IA no autorizados o no administrados. Los recursos de IA no autorizados no son compatibles con Security Command Center en la Google Cloud consola de.