Los modelos de IA generativa, como Gemini, requieren medidas de seguridad sólidas para mitigar riesgos, como la generación de contenido dañino, la filtración de información sensible o el uso inadecuado. Gemini Enterprise Agent Platform de Google Cloud proporciona un conjunto de herramientas y prácticas para implementar una seguridad integral en tus modelos de Gemini.
Posibles riesgos de seguridad y estrategias de mitigación
Cuando implementas modelos de Gemini, es fundamental identificar y mitigar varios riesgos potenciales. Un enfoque proactivo para comprender estos riesgos permite una implementación más eficaz de las medidas de seguridad. Un enfoque de seguridad de varias capas es fundamental, ya que puede mitigar o prevenir lo siguiente:
- Riesgos de contenido: Estos pueden incluir contenido dañino, lenguaje obsceno y sexualización, y contenido violento y sangriento.
- Riesgos para la seguridad de la marca: Es posible que el contenido generado no se alinee con el tono o los valores de tu marca, que respalde a la competencia o a productos inapropiados, o que genere contenido que pueda dañar la reputación.
- Riesgos de alineación: El contenido generado puede ser irrelevante o impreciso.
- Riesgos de seguridad y privacidad: El contenido generado puede filtrar datos o instrucciones de entrenamiento sensibles, o bien los usuarios adversarios pueden intentar forzar al modelo a anular los protocolos de seguridad o a comportarse de formas no deseadas.
Nuestros modelos implementados ofrecen varias funciones para abordar estos posibles problemas:
- El modelo predeterminado y los filtros no configurables proporcionan una red de seguridad general.
- Las instrucciones del sistema proporcionan orientación directa al modelo sobre el comportamiento preferido y los temas que se deben evitar.
- Los filtros de contenido te permiten establecer umbrales específicos para los tipos de daño comunes.
- Gemini como filtro ofrece un punto de control avanzado y personalizable para problemas de seguridad complejos o con matices que podrían pasar por alto las capas anteriores o que requieren una evaluación más consciente del contexto.
- Model Armor proporciona protección de nivel empresarial contra la inyección de instrucciones y los jailbreaks, los daños en el contenido, la protección de datos sensibles, la detección de malware y la navegación segura.
- La DLP aborda específicamente el riesgo crítico de filtración de datos sensibles, en caso de que el modelo tenga acceso a datos sensibles. También permite crear listas de bloqueo personalizadas.
- Las Content Credentials agregan metadatos de C2PA firmados criptográficamente a las imágenes generadas con el modelo Gemini 3 Pro Image, lo que indica que se generaron con IA y proporciona un historial verificable de su origen.
Herramientas de seguridad disponibles en Gemini Enterprise Agent Platform para Gemini
Gemini Enterprise Agent Platform ofrece varias herramientas para administrar la seguridad de tus modelos de Gemini. Comprender cómo funciona cada uno, sus consideraciones y los casos de uso ideales te ayudará a crear una solución de seguridad personalizada.
| Enfoque | Cómo funciona | Protección proporcionada | Riesgos | Cuándo usar |
|---|---|---|---|---|
| Configuración predeterminada: Gemini y filtros no configurables | Los modelos de Gemini están diseñados de forma inherente teniendo en cuenta la seguridad y la equidad, incluso cuando se enfrentan a instrucciones adversas. Google invirtió en evaluaciones de seguridad integrales, incluidas las de sesgo y toxicidad. La configuración predeterminada incluye una capa de protección independiente diseñada para evitar la generación de contenido relacionado con material de abuso sexual infantil (CSAM) o contenido protegido por derechos de autor (recitación). | Protección de referencia contra el material de abuso sexual infantil y los derechos de autor (recitación) | Es posible que la seguridad predeterminada de Gemini no satisfaga las necesidades de tu organización. El modelo puede alucinar o no seguir las instrucciones. Es posible que los atacantes motivados logren realizar jailbreaks y ataques de inyección de instrucciones. | Workflows en los que no se esperan entradas maliciosas |
| Filtros configurables |
Los filtros de contenido prediseñados de Gemini proporcionan protección adicional contra
varias categorías de contenido dañino, como el contenido sexual, de odio, de hostigamiento o
peligroso. Puedes configurar umbrales de bloqueo para cada categoría de daño
(p.ej., BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE,
BLOCK_ONLY_HIGH) según la probabilidad o la gravedad del contenido
dañino. Estas son una capa independiente del modelo, por lo que son sólidas contra
los jailbreaks.
|
Sólido contra infracciones de categorías predefinidas, sensibilidad ajustable | Carece de personalización detallada más allá de la configuración de umbrales para las categorías predefinidas. En ocasiones, es posible que bloqueen contenido benigno (falsos positivos) o que no detecten contenido dañino (falsos negativos). Solo está disponible para el filtrado de respuestas, no para el de instrucciones. | Proporciona un nivel básico de seguridad para las aplicaciones o los agentes orientados al usuario. Si tu objetivo es garantizar la seguridad del contenido y de la marca, los filtros de contenido deben vincularse con las instrucciones del sistema. |
| Instrucciones del sistema | Puedes indicarle al modelo tus normas de seguridad de marca y contenido a través de instrucciones del sistema o preámbulos. Por ejemplo, puedes indicarle al modelo que "no responda preguntas relacionadas con la política" o que se adhiera a los lineamientos específicos de voz y tono de la marca. Las instrucciones del sistema guían directamente el comportamiento del modelo. | Se puede personalizar para la seguridad del contenido y de la marca, y puede ser muy eficaz. | El modelo puede alucinar o no seguir las instrucciones. Es posible que los atacantes motivados logren realizar jailbreaks y ataques de inyección de instrucciones | Aplicaciones o agentes que requieren el cumplimiento de lineamientos de la marca específicos o políticas de contenido con matices. Si tu objetivo es garantizar la seguridad del contenido y de la marca, las instrucciones del sistema deben vincularse con filtros de contenido. |
| Model Armor | Model Armor es un servicio de Google Cloud diseñado para mejorar la seguridad de tus aplicaciones de IA. Funciona analizando de forma proactiva las instrucciones y respuestas de los LLM, protegiendo contra diversos riesgos y garantizando prácticas de IA responsable. Ya sea que implementes IA en Google Cloud o en otros proveedores de servicios en la nube, Model Armor puede ayudarte a evitar entradas maliciosas, verificar la seguridad del contenido, proteger datos sensibles, mantener el cumplimiento y aplicar tus políticas de seguridad de la IA de manera coherente en todas tus aplicaciones de IA. | Filtrado de inyección de instrucciones y jailbreak, filtros de contenido, protección de datos sensibles, detección de malware y Navegación segura. | Costo y latencia | Oferta pagada para clientes con necesidades empresariales. |
| DLP para listas de bloqueo personalizadas y Sensitive Data Protection | La API de DLP puede inspeccionar texto para identificar y clasificar información sensible en función de una amplia variedad de detectores de Infotipo predefinidos y personalizados. Una vez identificados, puede aplicar técnicas de desidentificación, como ocultamiento, enmascaramiento o asignación de tokens. La API de DLP también se puede usar para bloquear palabras clave. Protección de entradas: Antes de enviar instrucciones o datos de usuarios a Gemini, puedes pasar el texto por la API de DLP para ocultar o enmascarar cualquier información sensible. Esto evita que el modelo procese o registre datos sensibles. Protección de resultados: Si existe el riesgo de que Gemini genere o revele información sensible de forma involuntaria (p.ej., si resume documentos de origen que contienen información de identificación personal), la API de DLP puede analizar el resultado del modelo antes de enviarlo al usuario. | Filtrado sólido de lenguaje obsceno o palabras personalizadas Filtrado sólido para datos sensibles. | Agrega latencia. Puede provocar un bloqueo excesivo. | Protección contra la pérdida de datos para los agentes que tienen acceso a datos sensibles. |
| Gemini como filtro | Puedes usar Gemini para filtrar las instrucciones y respuestas de tu agente o app. Esto implica realizar una segunda llamada a un modelo de Gemini rápido y rentable (como Gemini Flash o Flash Lite) para evaluar si la entrada de un usuario o una herramienta, o el resultado de tu modelo de Gemini principal, es seguro. El modelo de filtro recibe instrucciones para decidir si el contenido es seguro o no en función de las políticas que definas, incluidas la seguridad del contenido, la seguridad de la marca y la desalineación del agente. Esto ofrece una protección sólida y altamente personalizable contra las infracciones de seguridad del contenido, los problemas de seguridad de la marca, la desviación del modelo y las alucinaciones, y puede analizar texto, imágenes, video y audio para obtener una comprensión integral. | Muy sólida y personalizable para la seguridad de la marca y el contenido, la desviación y la alucinación; comprensión multimodal. | Costo y latencia adicionales. Existe la posibilidad de que se produzcan falsos negativos muy poco frecuentes. | Proporciona un nivel de seguridad personalizado para los agentes o las aplicaciones para el usuario |
| Enfoque de varias capas: filtros configurables + instrucciones del sistema + DLP + Gemini como filtro | Muy sólida y personalizable para la seguridad del contenido y de la marca, la desviación y la alucinación; comprensión multimodal | Costo y latencia adicionales. | Proporcionar un nivel de seguridad sólido para las aplicaciones o los agentes para el usuario, en especial cuando se espera un uso malicioso y de confrontación | |
| Content Credentials de la C2PA | En el caso de los modelos compatibles, Gemini Enterprise Agent Platform agrega automáticamente Content Credentials firmadas criptográficamente a las imágenes generadas, lo que indica que se crearon con IA y proporciona un historial verificable de su origen según el estándar de la C2PA. Para obtener más información, consulta Content Credentials. | Transparencia sobre el origen del contenido; ayuda a los usuarios a identificar las imágenes generadas por IA. | El uso de herramientas que no cumplen con los requisitos puede comprometer la autenticidad de los archivos y no garantiza la confiabilidad de la fuente de contenido multimedia. | Casos de uso de generación de contenido multimedia, en los que la transparencia sobre el origen y el historial del archivo es importante para la confianza del usuario |
Evaluación continua de la seguridad
La evaluación continua de la seguridad es fundamental para los sistemas de IA, ya que el panorama de la IA y los métodos de uso inadecuado evolucionan constantemente. Las evaluaciones periódicas ayudan a identificar vulnerabilidades, evaluar la eficacia de la mitigación, adaptarse a los riesgos en evolución, garantizar la alineación con las políticas y los valores, generar confianza y mantener el cumplimiento. Varios tipos de evaluación, incluidas las evaluaciones de desarrollo, las evaluaciones de garantía, los ejercicios de equipo rojo, las evaluaciones externas y las pruebas de comparativas, ayudan a lograrlo. El alcance de la evaluación debe abarcar la seguridad del contenido, la seguridad de la marca, la relevancia, el sesgo y la equidad, la veracidad y la solidez ante los ataques adversarios. Herramientas como el servicio de evaluación de IA generativa de Gemini Enterprise Agent Platform pueden ayudar en estos esfuerzos, lo que enfatiza que las mejoras iterativas basadas en los hallazgos de la evaluación son esenciales para el desarrollo IA responsable.