Model Armor se puede integrar en Google Kubernetes Engine (GKE) a través de Service Extensions. Service Extensions permiten agregar lógica personalizada a las rutas de procesamiento del tráfico de red. Las extensiones de tráfico son un tipo específico de extensiones de servicio que permiten integrar servicios externos para procesar tráfico. Estas extensiones se pueden conectar a varios servicios de Google Cloud , incluidos los balanceadores de cargas. Puedes configurar una extensión de servicio en los balanceadores de cargas de aplicaciones, incluidas las puertas de enlace de inferencia de GKE, para filtrar el tráfico que fluye desde y hacia un clúster de GKE. Esto garantiza que Model Armor proteja todas las interacciones con los modelos de IA. Para obtener más información, consulta Configura una extensión de tráfico para llamar a un servicio de Model Armor.
Cómo funciona
- Puedes configurar una extensión de servicio en un balanceador de cargas que enruta el tráfico a un LLM alojado en tu clúster de GKE. Esta configuración especifica que se debe usar Model Armor para filtrar los prompts y las respuestas.
- Cuando los prompts y las respuestas llegan al balanceador de cargas, la extensión de servicio llama al servicio de Model Armor.
- Luego, Model Armor aplica políticas de seguridad a los prompts y las respuestas identificando y bloqueando todo el contenido dañino o malicioso.
- Solo se permiten los prompts y las respuestas que superan las comprobaciones de Model Armor en el clúster de GKE o de vuelta a ti.