Integra Model Armor con Apigee

Puedes mejorar la seguridad de tus aplicaciones de IA integrando Model Armor con Apigee. Si usas Apigee como API Gateway frente a tus aplicaciones de IA, puedes usar las capacidades de Model Armor para filtrar y limpiar tanto las entradas enviadas a tu aplicación como las respuestas recibidas.

Descripción general

Puedes integrar políticas de Model Armor en tus proxies de API de Apigee para proporcionar mayor control y protección a tus aplicaciones de IA. Por ejemplo, puedes usar Apigee para aplicar cuotas a nivel del token y limitar la cantidad máxima de tokens por día que puede usar un usuario o una aplicación. Usa LLMTokenQuota y PromptTokenLimit para controlar con precisión el uso de tokens. Estas políticas ayudan a administrar los costos, detener el abuso y estabilizar el tráfico, ya que evitan los aumentos repentinos en el consumo.

Limitaciones

Ten en cuenta las siguientes limitaciones cuando integres Model Armor con Apigee:

  • Disponibilidad regional: Model Armor no está disponible en todas las regiones. Asegúrate de que Apigee y Model Armor estén configurados en la misma región. Si bien es posible configurar Apigee y Model Armor en diferentes regiones, usar regiones distintas podría generar latencia adicional debido al recorrido de la red entre regiones. Para obtener un rendimiento óptimo, configúralos en la misma región.
  • Quota: Es posible que el tráfico de gran volumen requiera un aumento de la cuota para Model Armor. Para solicitar un ajuste, consulta Solicita un ajuste de cuota. Si necesitas más cuota que la predeterminada, comunícate con Atención al cliente de Cloud. Para obtener información sobre las cuotas relacionadas con las integraciones de Model Armor con otros servicios, consulta Administra la cuota.
  • Límites de tokens: Model Armor tiene límites de tokens para procesar instrucciones y respuestas, que varían según el filtro. Es posible que no se analice por completo el contenido que supere estos límites.

Antes de comenzar

Cómo funciona

La integración usa dos políticas principales de Apigee:

  • SanitizeUserPrompt: Agrega esta política al flujo de solicitudes de tu proxy de API. Intercepta todas las solicitudes entrantes y las envía a Model Armor para su inspección antes de que lleguen a tu aplicación de IA. Para obtener más información, consulta la política de SanitizeUserPrompt.
  • SanitizeModelResponse: Agrega esta política al flujo de respuesta. Intercepta la respuesta de la aplicación de IA y la envía a Model Armor para su inspección antes de enviarla al cliente. Para obtener más información, consulta la política de SanitizeModelResponse.

Model Armor evalúa el contenido según las reglas definidas en tu plantilla activa de Model Armor. Según los resultados y el tipo de aplicación de la política establecido, Apigee permite, bloquea o edita la solicitud o la respuesta. Si la solicitud o la respuesta están censuradas, extrae los datos censurados con variables de flujo y pásalos al LLM.

Para comenzar, usa la plantilla de proxy Proxy with Model Armor integrada en la consola de Apigee. Esta plantilla agrega automáticamente configuraciones opcionales de SanitizeUserPrompt y SanitizeModelResponse.

Crea un proxy de API de Apigee con políticas de Model Armor

  1. Crea una cuenta de servicio para implementar el proxy de API.
  2. Crea un proxy de API de Apigee.
  3. Edita el XML de SanitizeUserPrompt y SanitizeModelResponse. Debes editar el código XML de estas políticas para que Model Armor funcione.
  4. Agrega la autenticación de Google al proxy de API.
  5. Implementa el proxy de API.
  6. Probar las políticas de Model Armor

Para obtener más detalles sobre la configuración y el uso, consulta Comienza a usar las políticas de Apigee Model Armor.