Redes para la entrega de modelos de inferencia de IA en GKE

Last reviewed 2026-11-12 UTC

En este documento, se proporciona una arquitectura de referencia para crear un servicio de inferencia de varios modelos con Google Kubernetes Engine (GKE). En la arquitectura, los grupos de inferencia alojados en GKE se colocan detrás de una puerta de enlace de inferencia de GKE. Esta arquitectura ofrece los siguientes beneficios:

  • Una sola interfaz para todas tus solicitudes de inferencia.
  • Enrutamiento inteligente para cada solicitud al modelo y al servidor de inferencia que pueda procesarla de la manera más eficiente.
  • Autorización, seguridad y otros servicios centralizados.

Este documento está dirigido a los arquitectos de redes que se encargan de unificar la implementación de los servidores de inferencia que se ejecutan en GKE. Si no todos tus servidores de inferencia están alojados en GKE, consulta Herramientas de redes para la entrega de modelos de inferencia de IA en todos los backends. En este documento, no se proporciona guía sobre cómo diseñar una aplicación o implementar un modelo de IA generativa individual. Para obtener orientación sobre cómo implementar un modelo, consulta Crea e implementa modelos de IA generativa y aprendizaje automático en una empresa.

Esta arquitectura funciona con arquitecturas de redes de aplicaciones, como Red Multinube para aplicaciones distribuidas y otros diseños.

Arquitectura

En el siguiente diagrama, se muestra una arquitectura que contiene una puerta de enlace de inferencia frente a los servidores de inferencia alojados en GKE. La puerta de enlace proporciona servicios consolidados para todos los modelos alojados.

Descripción general de alto nivel de las redes para la inferencia de IA.

La arquitectura del diagrama incluye los siguientes componentes:

  • Extremo de inferencia de Private Service Connect: Es un extremo unificado para todos los modelos alojados. El usuario final envía solicitudes de inferencia a la dirección IP del extremo. En el diagrama, se muestra un extremo de Private Service Connect en una sola red de nube privada virtual (VPC) de consumidor. Puedes alojar extremos en varias redes de VPC o en una red de VPC de servicios compartidos.
  • Inference Gateway: Inference Gateway mejora GKE Gateway para optimizar la forma en que GKE entrega aplicaciones y cargas de trabajo de IA generativa. Enruta el tráfico a los grupos de inferencia de las réplicas de modelos según el nombre del modelo. Dentro de cada grupo, el Endpoint Picker (EPP) de llm-d asigna puntuaciones a las réplicas con indicadores del servidor de modelos en tiempo real. Estos indicadores incluyen el estado de coincidencia de la caché de prefijos, el uso de la caché de pares clave-valor (KV), la longitud de la lista de solicitudes pendientes y la afinidad activa del adaptador de LoRA. Según la puntuación combinada, el EPP selecciona la réplica óptima para cada solicitud. En esta arquitectura, la aplicación orientada al cliente realiza llamadas a la API de OpenAI para acceder a los modelos a través de la puerta de enlace. La puerta de enlace se implementa en función de un balanceador de cargas de aplicaciones interno regional (gke-l7-rilb), por lo que no se puede acceder a ella directamente desde Internet.
    • Administración de APIs: Un administrador de APIs proporciona autenticación, seguridad, límite de frecuencia, seguimiento de cuotas y otros servicios de administración de APIs. Esta arquitectura usa Apigee, pero admite otras opciones. Para llamar a Apigee desde el balanceador de cargas, la arquitectura y la implementación de Terraform usan una extensión de tráfico de Service Extensions para llamar al procesador de extensiones de Apigee.
    • Model Armor: Es un sistema de protecciones de IA que realiza verificaciones de seguridad en las instrucciones de inferencia antes de que lleguen al servidor de inferencia. Luego, realiza verificaciones de seguridad en las respuestas salientes. Esta arquitectura usa Model Armor para las barreras de seguridad de la IA, pero también admite otras opciones, como las barreras de seguridad de NVIDIA NeMo. La implementación de Terraform que se proporciona con esta arquitectura de referencia incluye una configuración básica de Model Armor.
  • Grupos de inferencia: Un grupo de inferencia contiene réplicas del mismo modelo. Cuando la puerta de enlace recibe una instrucción, usa una búsqueda de HTTPRoute para seleccionar un grupo de inferencia según el identificador del modelo. Los grupos tienen un tamaño inicial, pero se pueden configurar para que se ajusten automáticamente.
  • Conjuntos de réplicas de modelos: Una réplica de modelo es una copia de un servidor de inferencia que se implementa en una o más GPU o TPU. Una réplica de modelo puede ser de un solo nodo o de varios nodos. Un conjunto de réplicas es un grupo uniforme de réplicas de modelos que está precedido por un balanceador de cargas. Si el conjunto de réplicas es de varios nodos, las GPU se conectan entre sí a través de una red de VPC de RDMA de backend. La red proporciona redes entre GPU encarriladas, de gran ancho de banda y baja latencia.

Flujo de solicitud

El sistema enruta las solicitudes de inferencia de la siguiente manera:

  1. Un usuario final envía una solicitud a la API de OpenAI al extremo de Private Service Connect. Esta solicitud contiene lo siguiente:
    • La instrucción.
    • Es el nombre del modelo, que debe coincidir con el nombre del modelo de uno de los servidores de inferencia alojados.
  2. El extremo de Private Service Connect reenvía la solicitud a la versión del balanceador de cargas de aplicaciones interno regional de la puerta de enlace de inferencia.
  3. La puerta de enlace extrae el nombre del modelo del cuerpo de la solicitud y lo inserta en el encabezado de la solicitud con el enrutamiento basado en el cuerpo.
  4. La puerta de enlace reenvía la solicitud al sistema de administración de APIs para los servicios de administración de APIs que se necesitan.
  5. La puerta de enlace envía la instrucción a Model Armor para su análisis.
    • Si la instrucción contiene información sensible que no se puede ocultar, se bloquea y Model Armor devuelve una respuesta para indicar que se encontró un incumplimiento de política.
    • Si la instrucción contiene información sensible que se puede ocultar o si no tiene ningún problema, Model Armor oculta cualquier información sensible y reenvía la instrucción.
  6. La puerta de enlace consulta el recurso HTTPRoute para los backends InferencePool que coinciden con el modelo de la solicitud. Si coinciden varios grupos, la puerta de enlace selecciona uno con los pesos de tráfico configurados.
  7. La puerta de enlace llama al EPP, que evalúa el estado de la caché de prefijos y la carga actual en las réplicas del grupo para elegir una réplica.
  8. La réplica procesa la solicitud y la envía de vuelta a la puerta de enlace.
  9. La puerta de enlace envía la respuesta a Model Armor para su aprobación o rechazo.
  10. La puerta de enlace envía la respuesta de vuelta al extremo de Private Service Connect y, luego, al usuario final.

En el siguiente diagrama, se muestra una vista de enrutamiento de una implementación de ejemplo.

Flujo de instrucciones para conjuntos de réplicas de muestra.

En este ejemplo, las instrucciones se controlan según el modelo que selecciona el usuario:

  • Llama: El sistema divide estos mensajes en una proporción de 90/10 entre dos conjuntos de réplicas de InferencePool en GKE que entregan el modelo de Llama. Estos grupos pueden usar diferentes configuraciones de nodos o aceleradores de GKE, o bien pueden ejecutar un lanzamiento canary de una nueva versión del modelo (llama-new).
  • LoRA-1-gemma o LoRA-2-gemma: El sistema envía todas las instrucciones al mismo conjunto de réplicas, que puede controlar ambos modelos.

En todos los casos, el EPP combina la afinidad de la caché de prefijos, los indicadores de carga y el estado del adaptador de LoRA para elegir una réplica en el grupo seleccionado.

Productos usados

En esta arquitectura de referencia, se usan los siguientes productos de Google Cloud:

  • Google Kubernetes Engine (GKE): Un servicio de Kubernetes que puedes usar para implementar y operar aplicaciones en contenedores a gran escala con la infraestructura de Google.
  • GKE Inference Gateway: Es una extensión de la puerta de enlace de Google Kubernetes Engine que proporciona enrutamiento y balanceo de cargas optimizados para entregar cargas de trabajo de IA generativa. Simplifica la implementación, la administración y la observabilidad de las cargas de trabajo de inferencia de IA.
  • Nube privada virtual (VPC): Es un sistema virtual que proporciona funcionalidad de red global y escalable para tus cargas de trabajo de Google Cloud . La VPC incluye el intercambio de tráfico entre redes de VPC, Private Service Connect, el acceso privado a servicios y la VPC compartida.
  • Private Service Connect: Es una función que permite a los consumidores acceder a los servicios administrados de forma privada desde su red de VPC.
  • Cloud Run: Es una plataforma de computación sin servidores que te permite ejecutar contenedores directamente sobre la infraestructura escalable de Google.
  • Apigee: Es una herramienta de administración de APIs que te brinda un control detallado sobre cómo se accede a tus APIs y cómo se usan. Proporciona seguridad, límite de frecuencia, aplicación de cuotas y estadísticas.
  • Model Armor: Es un servicio que protege tus recursos de IA generativa y agéntica contra la inyección de instrucciones, las filtraciones de datos sensibles y el contenido dañino.

Alternativas de diseño

En esta sección, se describen alternativas a algunas de las suposiciones básicas de esta arquitectura.

Barreras de seguridad de la IA

Usa Model Armor para las barreras de seguridad de la IA. Para centralizar la administración, llama a Model Armor directamente desde el balanceador de cargas, como se muestra en esta arquitectura. También puedes implementar Model Armor de las siguientes maneras alternativas:

  • Usa una política de gestión de API para llamar a Model Armor.
  • Implementar Model Armor solo en la réplica

Si implementas barreras de seguridad de la IA en otra capa, puedes desactivar Model Armor en el balanceador de cargas de frontend. Si no quieres usar Model Armor, puedes usar extensiones de tráfico para integrar otras ofertas de barreras de seguridad, como NVIDIA NeMo Guardrails.

Gestión de API

La arquitectura de este documento usa Apigee para la gestión de API, que se implementa con una extensión de tráfico de Service Extensions. Si Apigee no satisface tus necesidades, puedes usar las extensiones de servicio para implementar un servicio de administración de APIs diferente.

Si implementar la gestión de API con Service Extensions no satisface tus necesidades, es posible que debas implementar una red orientada al cliente y una red orientada a la API. En esta situación, el servicio de administración de APIs actúa como un puente entre las dos redes. Para obtener información sobre cómo implementar esto en Apigee, consulta Opciones de red de Apigee.

Conexión a otras redes

La arquitectura de este documento usa una sola red de VPC del consumidor. Sin embargo, puedes compartir el extremo de Private Service Connect con muchas otras redes usando una red de VPC de acceso a servicios en una implementación de Red Multinube.

Consideraciones del diseño

En esta sección, se describen los factores de diseño, las prácticas recomendadas y las recomendaciones de acuerdo con el Framework de buena arquitectura deGoogle Cloud . Ten en cuenta esta información cuando uses esta arquitectura de referencia para desarrollar una topología que cumpla con tus requisitos específicos de seguridad, confiabilidad, optimización de costos, eficiencia operativa y rendimiento.

Security, privacy, and compliance

La arquitectura de referencia aísla el tráfico de inferencia en redes privadas y analiza las instrucciones con Model Armor. Para endurecer aún más tu topología de inferencia de GKE y cumplir con los requisitos de privacidad y cumplimiento, ten en cuenta las siguientes recomendaciones:

  • Protección de perímetro y de capa de aplicación: Para agregar protección contra denegación de servicio distribuido (DSD), reglas de firewall de aplicación web (WAF) y una inspección de direcciones IP, adjunta una política de seguridad de Cloud Armor a tu balanceador de cargas de aplicaciones interno regional de frontend.
  • Encriptación de TLS de extremo a extremo:
    • Para encriptar el tráfico de cliente a puerta de enlace, finaliza HTTPS en el objeto de escucha de Inference Gateway con el Administrador de certificados.
    • Para encriptar y autenticar el tráfico de la puerta de enlace a los Pods del servidor de modelos, adjunta un recurso BackendTLSPolicy a cada backend de InferencePool.
  • Controles perimetrales y de acceso de confianza cero:
  • Plantillas de instrucciones y respuestas personalizadas:
    • Para ajustar los umbrales de seguridad de diferentes perfiles de riesgo, configura plantillas de Model Armor independientes para las instrucciones de los usuarios y las respuestas del modelo.
    • Para detectar y desidentificar la información de identificación personal (IIP) específica de la región, integra las plantillas de Sensitive Data Protection con Model Armor.

Confiabilidad

La arquitectura de referencia implementa una puerta de enlace de inferencia regional frente a los backends de ajuste de escala automático de InferencePool. Para mejorar la disponibilidad durante los aumentos repentinos de tráfico, los lanzamientos de modelos y las interrupciones regionales o de clústeres, ten en cuenta las siguientes recomendaciones:

  • Conmutación por error multirregional y de varios clústeres:
    • Para protegerte contra las interrupciones regionales, replica tu implementación en una segunda región con el arquetipo de implementación multirregional deGoogle Cloud .
    • Para agrupar la capacidad del acelerador y conmutar por error en varios clústeres de GKE en la misma red de VPC, considera la puerta de enlace de inferencia de varios clústeres. Debido a que las puertas de enlace de varios clústeres no admiten las extensiones de Model Armor ni de Apigee Gateway, cuando uses el enrutamiento de varios clústeres, aplica esos controles en una capa ascendente.
  • Priorización de solicitudes y reducción de carga: Para proteger el tráfico sensible a la latencia durante los aumentos repentinos de capacidad, define niveles numéricos de Priority en tus recursos de InferenceObjective. Cuando un backend de InferencePool se sobrecarga, Inference Gateway descarta primero las solicitudes por lotes con prioridad negativa.
  • Lanzamientos graduales y reversiones: Para actualizar el hardware de los nodos, los controladores de aceleradores o los modelos base con una interrupción mínima, implementa un backend InferencePool paralelo y cambia el tráfico de forma incremental con HTTPRouteponderaciones. Mantén activo el backend de InferencePool original durante la validación para que puedas revertir rápidamente si aumentan los errores.

Optimización de costos

El procesamiento de aceleradores suele representar la mayor parte de los costos de inferencia de IA en GKE. Para maximizar el uso de aceleradores y equilibrar los costos de capacidad en el tráfico de referencia y de aumento repentino, ten en cuenta las siguientes recomendaciones:

Eficiencia operativa

Para operar una plataforma de inferencia multimodelo, se requiere visibilidad del enrutamiento de la puerta de enlace, la saturación de la caché de KV y las redes de aceleradores. Para optimizar la supervisión, la solución de problemas y el aprovisionamiento de clústeres del día 2 en GKE, ten en cuenta las siguientes recomendaciones:

  • Observabilidad y alertas de inferencia unificadas: Supervisa la capacidad de procesamiento de solicitudes, la latencia, las tasas de error, la profundidad de la cola y la saturación de la caché de KV con el panel de descripción general de llm-d en Google Cloud Managed Service para Prometheus.
    • Para capturar metadatos detallados de solicitudes y respuestas con el objetivo de solucionar problemas, habilita el registro de acceso HTTP de GCPBackendPolicy en Cloud Logging.
    • Para detectar picos de latencia o el agotamiento de la caché de KV con anticipación, configura las políticas de alertas de Cloud Monitoring.
  • Herramientas de redes y comparativas de aceleradores automatizadas:

Optimización del rendimiento

La latencia y la capacidad de procesamiento de la inferencia dependen del ajuste del servidor de modelos y de cómo Inference Gateway programa las solicitudes entre las réplicas. Para reducir el tiempo hasta el primer token (TTFT) y aumentar la capacidad de procesamiento de entrega en GKE, ten en cuenta las siguientes recomendaciones:

Implementación

Para implementar una implementación de muestra de esta arquitectura, usa la muestra de código de Herramientas de redes para la entrega de modelos de inferencia de IA que está disponible en GitHub.

¿Qué sigue?

Colaboradores

Autor: Victor Moreno | Gerente de producto, Herramientas de redes de Cloud

Otros colaboradores: