Seguridad (IA responsable)

Los modelos de IA generativa, como Gemini, requieren medidas de seguridad sólidas para mitigar riesgos, como la generación de contenido dañino, la filtración de información sensible o el uso inadecuado. Gemini Enterprise Agent Platform proporciona un conjunto de herramientas y prácticas para implementar una seguridad integral en tus modelos de Gemini.

Posibles riesgos de seguridad y estrategias de mitigación

Cuando implementas modelos de Gemini, es fundamental identificar y mitigar varios riesgos potenciales. Un enfoque proactivo para comprender estos riesgos permite una implementación más eficaz de las medidas de seguridad. Un enfoque de seguridad de varias capas es fundamental, ya que puede mitigar o prevenir lo siguiente:

  • Riesgos de contenido: Pueden incluir contenido dañino, lenguaje obsceno y sexualización, y contenido violento y sangriento.
  • Riesgos para la seguridad de la marca: Es posible que el contenido generado no se alinee con el tono o los valores de tu marca, que promocione a la competencia o productos inapropiados, o que genere contenido que pueda dañar la reputación.
  • Riesgos de alineación: El contenido generado puede ser irrelevante o impreciso.
  • Riesgos de seguridad y privacidad: El contenido generado puede filtrar datos de entrenamiento o instrucciones sensibles, o bien los usuarios adversarios pueden intentar forzar al modelo a anular los protocolos de seguridad o comportarse de formas no deseadas.

Nuestros modelos implementados ofrecen varias funciones para abordar estos posibles problemas:

  • El modelo predeterminado y los filtros no configurables proporcionan una red de seguridad general.
  • Las instrucciones del sistema proporcionan orientación directa al modelo sobre el comportamiento preferido y los temas que se deben evitar.
  • Los filtros de contenido te permiten establecer umbrales específicos para los tipos de daño comunes.
  • Gemini como filtro ofrece un punto de control avanzado y personalizable para problemas de seguridad complejos o con matices que las capas anteriores podrían pasar por alto o que requieren una evaluación más atenta al contexto.
  • Sensitive Data Protection aborda específicamente el riesgo crítico de la filtración de datos sensibles, en caso de que el modelo tenga acceso a datos sensibles. También permite crear listas de bloqueo personalizadas.
  • Model Armor proporciona protección de nivel empresarial contra la inyección de instrucciones y los jailbreaks, los daños en el contenido, la exposición de datos sensibles y la detección de malware.
  • Las Content Credentials agregan metadatos de C2PA firmados criptográficamente a las imágenes generadas con el modelo Gemini 3 Pro Image, lo que indica que se generaron con IA y proporciona un historial verificable de su origen.

Herramientas de seguridad disponibles en Agent Platform para Gemini

Agent Platform ofrece varias herramientas para administrar la seguridad de tus modelos de Gemini. Comprender cómo funciona cada uno, sus consideraciones y los casos de uso ideales te ayudará a crear una solución de seguridad personalizada.

Enfoque Cómo funciona Protección proporcionada Riesgos Cuándo usar
Configuración predeterminada: Gemini y filtros no configurables Los modelos de Gemini están diseñados de forma inherente teniendo en cuenta la seguridad y la equidad, incluso cuando se enfrentan a instrucciones adversas. Google invirtió en evaluaciones de seguridad integrales, incluidas las de sesgo y toxicidad. La configuración predeterminada incluye una capa de protección independiente diseñada para evitar la generación de contenido relacionado con material de abuso sexual infantil (CSAM) o contenido protegido por derechos de autor (recitación). Protección de referencia contra el material de abuso sexual infantil y los derechos de autor (recitación) Es posible que la seguridad predeterminada de Gemini no satisfaga las necesidades de tu organización. El modelo puede alucinar o no seguir las instrucciones. Es posible que los atacantes motivados logren realizar jailbreaks y ataques de inyección de instrucciones. Workflows en los que no se esperan entradas maliciosas
Filtros configurables Los filtros de contenido prediseñados de Gemini proporcionan protección adicional contra varias categorías de contenido dañino, como el contenido sexual, de odio, de hostigamiento o peligroso. Puedes configurar umbrales de bloqueo para cada categoría de daño (p.ej., BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) según la probabilidad o la gravedad del contenido dañino. Estas son una capa independiente del modelo, por lo que son sólidas contra los jailbreaks. Sólido contra los incumplimientos de las categorías predefinidas, sensibilidad ajustable No ofrece una personalización detallada más allá de la configuración de umbrales para las categorías predefinidas. En ocasiones, puede bloquear contenido benigno (falsos positivos) o no detectar contenido dañino (falsos negativos). Solo está disponible para el filtrado de respuestas, no para el filtrado de instrucciones. Proporciona un nivel básico de seguridad para las aplicaciones o los agentes orientados al usuario. Si tu objetivo es garantizar la seguridad del contenido y de la marca, los filtros de contenido deben vincularse con instrucciones del sistema.
Instrucciones del sistema Puedes indicarle al modelo tus normas de seguridad de marca y contenido a través de instrucciones o preámbulos del sistema. Por ejemplo, puedes indicarle al modelo que "no responda preguntas relacionadas con la política" o que se adhiera a los lineamientos específicos de voz y tono de la marca. Las instrucciones del sistema guían directamente el comportamiento del modelo. Se puede personalizar para la seguridad del contenido y de la marca, y puede ser muy eficaz. El modelo puede alucinar o no seguir las instrucciones. Es posible que los atacantes motivados logren realizar jailbreaks y ataques de inyección de instrucciones. Aplicaciones o agentes que requieren el cumplimiento de lineamientos de la marca específicos o políticas de contenido con matices. Si tu objetivo es garantizar la seguridad del contenido y de la marca, las instrucciones del sistema deben vincularse con filtros de contenido.
Sensitive Data Protection para listas de bloqueo personalizadas La API de DLP puede inspeccionar texto para identificar y clasificar información sensible en función de una amplia variedad de detectores de Infotipo predefinidos y personalizados. Una vez identificados, puede aplicar técnicas de desidentificación, como ocultamiento, enmascaramiento o asignación de tokens. La API de DLP también se puede usar para bloquear palabras clave.

Protección de entradas: Antes de enviar instrucciones o datos de los usuarios a Gemini, puedes pasar el texto por la API de DLP para ocultar o enmascarar cualquier información sensible. Esto evita que el modelo procese o registre datos sensibles.

Protección de resultados: Si existe el riesgo de que Gemini genere o revele información sensible de forma involuntaria (p.ej., si resume documentos de origen que contienen IIP), la API de DLP puede analizar el resultado del modelo antes de enviarlo al usuario.

Filtrado sólido de lenguaje obsceno o palabras personalizadas Filtrado sólido para datos sensibles. Agrega latencia. Puede provocar un bloqueo excesivo. Sensitive Data Protection para los agentes que tienen acceso a datos sensibles.
Model Armor Model Armor es un servicio de Google Cloud diseñado para mejorar la seguridad de tus aplicaciones de IA. Funciona analizando de forma proactiva las instrucciones y respuestas de los LLM, protegiendo contra diversos riesgos y garantizando prácticas de IA responsable. Ya sea que implementes IA en Google Cloud o en otros proveedores de servicios en la nube, Model Armor puede ayudarte a evitar entradas maliciosas, verificar la seguridad del contenido, proteger datos sensibles, mantener el cumplimiento y aplicar tus políticas de seguridad de la IA de manera coherente en todas tus aplicaciones de IA. Filtrado de inyección de instrucciones y jailbreak, filtros de contenido, protección de datos sensibles, detección de malware y Navegación segura. Costo y latencia Oferta pagada para clientes con necesidades empresariales.
Gemini como filtro Puedes usar Gemini para filtrar instrucciones y respuestas para tu agente o app. Esto implica realizar una segunda llamada a un modelo de Gemini rápido y rentable (como Gemini Flash o Gemini Flash-Lite) para evaluar si la entrada de un usuario o una herramienta, o el resultado de tu modelo de Gemini principal, es seguro. El modelo de filtro recibe instrucciones para decidir si el contenido es seguro o no en función de las políticas que definas, incluidas la seguridad del contenido, la seguridad de la marca y la desalineación del agente. Esto ofrece una protección sólida y altamente personalizable contra incumplimientos de seguridad del contenido, problemas de seguridad de la marca, desvío de modelos y alucinaciones, y puede analizar texto, imágenes, video y audio para obtener una comprensión integral. Muy sólida y personalizable para la seguridad de la marca y el contenido, la desviación y la alucinación; comprensión multimodal. Costo y latencia adicionales Existe la posibilidad de que se produzcan falsos negativos muy poco frecuentes. Proporciona un nivel de seguridad personalizado para los agentes o las aplicaciones para el usuario.
Enfoque combinado: filtros configurables + instrucciones del sistema + Sensitive Data Protection + Gemini como filtro Combina varias capas de protección: ocultación de datos de entrada y salida con Sensitive Data Protection, instrucciones del sistema para lineamientos de marca y tema, filtros de seguridad configurables para daños predefinidos y una inspección secundaria con Gemini como filtro. Muy sólida y personalizable para la seguridad de la marca y el contenido, la desviación y la alucinación; comprensión multimodal. Costo y latencia adicionales Proporcionar un nivel de seguridad sólido para las aplicaciones o los agentes para el usuario, en especial cuando se espera un uso malicioso y de confrontación
Content Credentials de la C2PA En el caso de los modelos compatibles, Gemini Enterprise Agent Platform agrega automáticamente Content Credentials firmadas de forma criptográfica a las imágenes generadas, lo que indica que se crearon con IA y proporciona un historial verificable de su origen según el estándar de la C2PA. Para obtener más información, consulta Content Credentials. Transparencia sobre el origen del contenido; ayuda a los usuarios a identificar las imágenes generadas por IA. El uso de herramientas que no cumplen con los requisitos puede comprometer la autenticidad de los archivos y no garantiza la confiabilidad de la fuente de contenido multimedia. Casos de uso de generación de contenido multimedia, en los que la transparencia sobre el origen y el historial del archivo es importante para la confianza del usuario.

Evaluación continua de la seguridad

La evaluación continua de la seguridad es fundamental para los sistemas de IA. El panorama de la IA y los métodos de uso inadecuado evolucionan constantemente, por lo que estas evaluaciones son esenciales.

Las evaluaciones periódicas ofrecen varios beneficios clave. Te ayudan a identificar vulnerabilidades, evaluar la eficacia de la mitigación, adaptarte a los riesgos en evolución, garantizar la alineación con las políticas y los valores, generar confianza y mantener el cumplimiento.

Para obtener estos beneficios, puedes realizar varios tipos de evaluaciones:

  • Evaluaciones de desarrollo
  • Evaluaciones de garantía
  • Formación de equipos rojos
  • Evaluaciones externas
  • Pruebas comparativas

El alcance de tu evaluación debe abarcar varias áreas fundamentales:

  • Seguridad del contenido
  • Seguridad de la marca
  • Relevancia
  • Sesgo y equidad
  • Veracidad
  • Solidez ante ataques adversarios

Herramientas como el servicio de evaluación de IA generativa de Agent Platform pueden ayudar en estos esfuerzos. Recuerda que las mejoras iterativas, basadas en los hallazgos de la evaluación, son esenciales para el desarrollo IA responsable.

¿Qué sigue?

Descripción general

Obtén una descripción general de cómo los administradores de seguridad pueden definir, aplicar y administrar políticas que rigen las interacciones de los agentes.

Guía

Obtén información sobre los controles de seguridad de Google Agent Platform.

Guía

Crear e implementar un agente básico, y usar Gen AI Evaluation Service para evaluarlo