En este documento, se proporciona una arquitectura de referencia para crear un servicio de inferencia de varios modelos con Google Kubernetes Engine (GKE). En la arquitectura, los grupos de inferencia alojados en GKE se colocan detrás de una puerta de enlace de inferencia de GKE. Esta arquitectura ofrece los siguientes beneficios:
- Una sola interfaz para todas tus solicitudes de inferencia.
- Enrutamiento inteligente para cada solicitud al modelo y al servidor de inferencia que pueda procesarla de la manera más eficiente.
- Autorización, seguridad y otros servicios centralizados.
Este documento está dirigido a los arquitectos de redes que se encargan de unificar la implementación de los servidores de inferencia que se ejecutan en GKE. Si no todos tus servidores de inferencia están alojados en GKE, consulta Herramientas de redes para la entrega de modelos de inferencia de IA en todos los backends. En este documento, no se proporciona guía sobre cómo diseñar una aplicación o implementar un modelo de IA generativa individual. Para obtener orientación sobre cómo implementar un modelo, consulta Crea e implementa modelos de IA generativa y aprendizaje automático en una empresa.
Esta arquitectura funciona con arquitecturas de redes de aplicaciones, como Red Multinube para aplicaciones distribuidas y otros diseños.
Arquitectura
En el siguiente diagrama, se muestra una arquitectura que contiene una puerta de enlace de inferencia frente a los servidores de inferencia alojados en GKE. La puerta de enlace proporciona servicios consolidados para todos los modelos alojados.
La arquitectura del diagrama incluye los siguientes componentes:
- Extremo de inferencia de Private Service Connect: Es un extremo unificado para todos los modelos alojados. El usuario final envía solicitudes de inferencia a la dirección IP del extremo. En el diagrama, se muestra un extremo de Private Service Connect en una sola red de nube privada virtual (VPC) de consumidor. Puedes alojar extremos en varias redes de VPC o en una red de VPC de servicios compartidos.
- Inference Gateway: Inference Gateway
mejora GKE Gateway
para optimizar la forma en que GKE entrega aplicaciones y
cargas de trabajo de IA generativa. Enruta el tráfico a los grupos de inferencia de las réplicas de modelos según el
nombre del modelo. Dentro de cada grupo, el Endpoint
Picker (EPP) de llm-d
asigna puntuaciones a las réplicas con indicadores del servidor de modelos en tiempo real. Estos indicadores
incluyen el estado de coincidencia de la caché de prefijos, el uso de la caché de pares clave-valor (KV), la longitud de la lista de solicitudes pendientes
y la afinidad activa del adaptador de LoRA. Según la puntuación combinada, el EPP selecciona la réplica óptima para cada solicitud. En esta
arquitectura, la aplicación orientada al cliente realiza llamadas a la API de OpenAI para
acceder a los modelos a través de la puerta de enlace. La puerta de enlace se implementa en función de un
balanceador de cargas de aplicaciones interno regional (
gke-l7-rilb), por lo que no se puede acceder a ella directamente desde Internet.- Administración de APIs: Un administrador de APIs proporciona autenticación, seguridad, límite de frecuencia, seguimiento de cuotas y otros servicios de administración de APIs. Esta arquitectura usa Apigee, pero admite otras opciones. Para llamar a Apigee desde el balanceador de cargas, la arquitectura y la implementación de Terraform usan una extensión de tráfico de Service Extensions para llamar al procesador de extensiones de Apigee.
- Model Armor: Es un sistema de protecciones de IA que realiza verificaciones de seguridad en las instrucciones de inferencia antes de que lleguen al servidor de inferencia. Luego, realiza verificaciones de seguridad en las respuestas salientes. Esta arquitectura usa Model Armor para las barreras de seguridad de la IA, pero también admite otras opciones, como las barreras de seguridad de NVIDIA NeMo. La implementación de Terraform que se proporciona con esta arquitectura de referencia incluye una configuración básica de Model Armor.
- Grupos de inferencia: Un grupo de inferencia contiene réplicas del mismo modelo.
Cuando la puerta de enlace recibe una instrucción, usa una
búsqueda de
HTTPRoutepara seleccionar un grupo de inferencia según el identificador del modelo. Los grupos tienen un tamaño inicial, pero se pueden configurar para que se ajusten automáticamente. - Conjuntos de réplicas de modelos: Una réplica de modelo es una copia de un servidor de inferencia que se implementa en una o más GPU o TPU. Una réplica de modelo puede ser de un solo nodo o de varios nodos. Un conjunto de réplicas es un grupo uniforme de réplicas de modelos que está precedido por un balanceador de cargas. Si el conjunto de réplicas es de varios nodos, las GPU se conectan entre sí a través de una red de VPC de RDMA de backend. La red proporciona redes entre GPU encarriladas, de gran ancho de banda y baja latencia.
Flujo de solicitud
El sistema enruta las solicitudes de inferencia de la siguiente manera:
- Un usuario final envía una solicitud a la API de OpenAI al
extremo de Private Service Connect. Esta solicitud contiene lo siguiente:
- La instrucción.
- Es el nombre del modelo, que debe coincidir con el nombre del modelo de uno de los servidores de inferencia alojados.
- El extremo de Private Service Connect reenvía la solicitud a la versión del balanceador de cargas de aplicaciones interno regional de la puerta de enlace de inferencia.
- La puerta de enlace extrae el nombre del modelo del cuerpo de la solicitud y lo inserta en el encabezado de la solicitud con el enrutamiento basado en el cuerpo.
- La puerta de enlace reenvía la solicitud al sistema de administración de APIs para los servicios de administración de APIs que se necesitan.
- La puerta de enlace envía la instrucción a Model Armor para su análisis.
- Si la instrucción contiene información sensible que no se puede ocultar, se bloquea y Model Armor devuelve una respuesta para indicar que se encontró un incumplimiento de política.
- Si la instrucción contiene información sensible que se puede ocultar o si no tiene ningún problema, Model Armor oculta cualquier información sensible y reenvía la instrucción.
- La puerta de enlace consulta el recurso
HTTPRoutepara los backendsInferencePoolque coinciden con el modelo de la solicitud. Si coinciden varios grupos, la puerta de enlace selecciona uno con los pesos de tráfico configurados. - La puerta de enlace llama al EPP, que evalúa el estado de la caché de prefijos y la carga actual en las réplicas del grupo para elegir una réplica.
- La réplica procesa la solicitud y la envía de vuelta a la puerta de enlace.
- La puerta de enlace envía la respuesta a Model Armor para su aprobación o rechazo.
- La puerta de enlace envía la respuesta de vuelta al extremo de Private Service Connect y, luego, al usuario final.
En el siguiente diagrama, se muestra una vista de enrutamiento de una implementación de ejemplo.
En este ejemplo, las instrucciones se controlan según el modelo que selecciona el usuario:
- Llama: El sistema divide estos mensajes en una proporción de 90/10 entre dos
conjuntos de réplicas de
InferencePoolen GKE que entregan el modelo de Llama. Estos grupos pueden usar diferentes configuraciones de nodos o aceleradores de GKE, o bien pueden ejecutar un lanzamiento canary de una nueva versión del modelo (llama-new). - LoRA-1-gemma o LoRA-2-gemma: El sistema envía todas las instrucciones al mismo conjunto de réplicas, que puede controlar ambos modelos.
En todos los casos, el EPP combina la afinidad de la caché de prefijos, los indicadores de carga y el estado del adaptador de LoRA para elegir una réplica en el grupo seleccionado.
Productos usados
En esta arquitectura de referencia, se usan los siguientes productos de Google Cloud:
- Google Kubernetes Engine (GKE): Un servicio de Kubernetes que puedes usar para implementar y operar aplicaciones en contenedores a gran escala con la infraestructura de Google.
- GKE Inference Gateway: Es una extensión de la puerta de enlace de Google Kubernetes Engine que proporciona enrutamiento y balanceo de cargas optimizados para entregar cargas de trabajo de IA generativa. Simplifica la implementación, la administración y la observabilidad de las cargas de trabajo de inferencia de IA.
- Nube privada virtual (VPC): Es un sistema virtual que proporciona funcionalidad de red global y escalable para tus cargas de trabajo de Google Cloud . La VPC incluye el intercambio de tráfico entre redes de VPC, Private Service Connect, el acceso privado a servicios y la VPC compartida.
- Private Service Connect: Es una función que permite a los consumidores acceder a los servicios administrados de forma privada desde su red de VPC.
- Cloud Run: Es una plataforma de computación sin servidores que te permite ejecutar contenedores directamente sobre la infraestructura escalable de Google.
- Apigee: Es una herramienta de administración de APIs que te brinda un control detallado sobre cómo se accede a tus APIs y cómo se usan. Proporciona seguridad, límite de frecuencia, aplicación de cuotas y estadísticas.
- Model Armor: Es un servicio que protege tus recursos de IA generativa y agéntica contra la inyección de instrucciones, las filtraciones de datos sensibles y el contenido dañino.
Alternativas de diseño
En esta sección, se describen alternativas a algunas de las suposiciones básicas de esta arquitectura.
Barreras de seguridad de la IA
Usa Model Armor para las barreras de seguridad de la IA. Para centralizar la administración, llama a Model Armor directamente desde el balanceador de cargas, como se muestra en esta arquitectura. También puedes implementar Model Armor de las siguientes maneras alternativas:
- Usa una política de gestión de API para llamar a Model Armor.
- Implementar Model Armor solo en la réplica
Si implementas barreras de seguridad de la IA en otra capa, puedes desactivar Model Armor en el balanceador de cargas de frontend. Si no quieres usar Model Armor, puedes usar extensiones de tráfico para integrar otras ofertas de barreras de seguridad, como NVIDIA NeMo Guardrails.
Gestión de API
La arquitectura de este documento usa Apigee para la gestión de API, que se implementa con una extensión de tráfico de Service Extensions. Si Apigee no satisface tus necesidades, puedes usar las extensiones de servicio para implementar un servicio de administración de APIs diferente.
Si implementar la gestión de API con Service Extensions no satisface tus necesidades, es posible que debas implementar una red orientada al cliente y una red orientada a la API. En esta situación, el servicio de administración de APIs actúa como un puente entre las dos redes. Para obtener información sobre cómo implementar esto en Apigee, consulta Opciones de red de Apigee.
Conexión a otras redes
La arquitectura de este documento usa una sola red de VPC del consumidor. Sin embargo, puedes compartir el extremo de Private Service Connect con muchas otras redes usando una red de VPC de acceso a servicios en una implementación de Red Multinube.
Consideraciones del diseño
En esta sección, se describen los factores de diseño, las prácticas recomendadas y las recomendaciones de acuerdo con el Framework de buena arquitectura deGoogle Cloud . Ten en cuenta esta información cuando uses esta arquitectura de referencia para desarrollar una topología que cumpla con tus requisitos específicos de seguridad, confiabilidad, optimización de costos, eficiencia operativa y rendimiento.
Security, privacy, and compliance
La arquitectura de referencia aísla el tráfico de inferencia en redes privadas y analiza las instrucciones con Model Armor. Para endurecer aún más tu topología de inferencia de GKE y cumplir con los requisitos de privacidad y cumplimiento, ten en cuenta las siguientes recomendaciones:
- Protección de perímetro y de capa de aplicación: Para agregar protección contra denegación de servicio distribuido (DSD), reglas de firewall de aplicación web (WAF) y una inspección de direcciones IP, adjunta una política de seguridad de Cloud Armor a tu balanceador de cargas de aplicaciones interno regional de frontend.
- Encriptación de TLS de extremo a extremo:
- Para encriptar el tráfico de cliente a puerta de enlace, finaliza HTTPS en el objeto de escucha de Inference Gateway con el Administrador de certificados.
- Para encriptar y autenticar el tráfico de la puerta de enlace a los Pods del servidor de modelos, adjunta un
recurso
BackendTLSPolicya cada backend deInferencePool.
- Controles perimetrales y de acceso de confianza cero:
- Para autenticar y autorizar solicitudes antes de que lleguen a tus backends de inferencia, habilita Identity-Aware Proxy (IAP) en la puerta de enlace.
- Para ayudar a evitar el robo de datos y modelos en todos los proyectos, coloca tu red de VPC de productor dentro de un perímetro de servicio de los Controles del servicio de VPC. Cuando accedas a los extremos regionales de Model Armor desde un perímetro, crea un extremo regional de Private Service Connect para las APIs de Model Armor.
- Plantillas de instrucciones y respuestas personalizadas:
- Para ajustar los umbrales de seguridad de diferentes perfiles de riesgo, configura plantillas de Model Armor independientes para las instrucciones de los usuarios y las respuestas del modelo.
- Para detectar y desidentificar la información de identificación personal (IIP) específica de la región, integra las plantillas de Sensitive Data Protection con Model Armor.
Confiabilidad
La arquitectura de referencia implementa una puerta de enlace de inferencia
regional frente a los backends de ajuste de escala automático de InferencePool. Para mejorar la disponibilidad durante los aumentos repentinos de tráfico, los lanzamientos de modelos y
las interrupciones regionales o de clústeres, ten en cuenta las siguientes recomendaciones:
- Conmutación por error multirregional y de varios clústeres:
- Para protegerte contra las interrupciones regionales, replica tu implementación en una segunda región con el arquetipo de implementación multirregional deGoogle Cloud .
- Para agrupar la capacidad del acelerador y conmutar por error en varios clústeres de GKE en la misma red de VPC, considera la puerta de enlace de inferencia de varios clústeres. Debido a que las puertas de enlace de varios clústeres no admiten las extensiones de Model Armor ni de Apigee Gateway, cuando uses el enrutamiento de varios clústeres, aplica esos controles en una capa ascendente.
- Priorización de solicitudes y reducción de carga: Para proteger el tráfico sensible a la latencia
durante los aumentos repentinos de capacidad, define niveles numéricos de
Priorityen tus recursos deInferenceObjective. Cuando un backend deInferencePoolse sobrecarga, Inference Gateway descarta primero las solicitudes por lotes con prioridad negativa. - Lanzamientos graduales y reversiones: Para actualizar el hardware de los nodos, los controladores de aceleradores o los modelos base con una interrupción mínima, implementa un backend
InferencePoolparalelo y cambia el tráfico de forma incremental conHTTPRouteponderaciones. Mantén activo el backend deInferencePooloriginal durante la validación para que puedas revertir rápidamente si aumentan los errores.
Optimización de costos
El procesamiento de aceleradores suele representar la mayor parte de los costos de inferencia de IA en GKE. Para maximizar el uso de aceleradores y equilibrar los costos de capacidad en el tráfico de referencia y de aumento repentino, ten en cuenta las siguientes recomendaciones:
- Administración de costos de clústeres: Para obtener orientación general sobre el ahorro de costos de GKE, consulta Prácticas recomendadas para ejecutar aplicaciones de Kubernetes con optimización de costos en GKE.
- Multiplexación dinámica de LoRA y escalado automático de inferencias:
- Para reducir la cantidad
de aceleradores que se requieren para los modelos con ajuste fino, entrega varios adaptadores de LoRA
dinámicos
en un modelo base compartido y un recurso de
InferencePool. - Para escalar las réplicas según la demanda de inferencia real, configura políticas de Horizontal Pod Autoscaler (HPA) que realicen un seguimiento del uso de la caché de KV para GPU y TPU.
- Para reducir la cantidad
de aceleradores que se requieren para los modelos con ajuste fino, entrega varios adaptadores de LoRA
dinámicos
en un modelo base compartido y un recurso de
- Aprovisionamiento de aceleradores por niveles: Para equilibrar la disponibilidad y el costo de los aceleradores, define clases de procesamiento personalizadas de GKE con perfiles de resguardo priorizados. Si necesitas capacidad predecible o si tienes cargas de trabajo de inferencia de ráfagas, usa reservas de capacidad para la entrega de referencia, el Programador dinámico de cargas de trabajo para el escalamiento flexible en el tiempo y las VMs Spot para los grupos de ráfagas interrumpibles.
Eficiencia operativa
Para operar una plataforma de inferencia multimodelo, se requiere visibilidad del enrutamiento de la puerta de enlace, la saturación de la caché de KV y las redes de aceleradores. Para optimizar la supervisión, la solución de problemas y el aprovisionamiento de clústeres del día 2 en GKE, ten en cuenta las siguientes recomendaciones:
- Observabilidad y alertas de inferencia unificadas: Supervisa la capacidad de procesamiento de solicitudes,
la latencia, las tasas de error, la profundidad de la cola y la saturación de la caché de KV con el
panel de descripción general de
llm-d
en Google Cloud Managed Service para Prometheus.
- Para capturar metadatos detallados de solicitudes y respuestas
con el objetivo de solucionar problemas, habilita el registro de acceso HTTP de
GCPBackendPolicyen Cloud Logging. - Para detectar picos de latencia o el agotamiento de la caché de KV con anticipación, configura las políticas de alertas de Cloud Monitoring.
- Para capturar metadatos detallados de solicitudes y respuestas
con el objetivo de solucionar problemas, habilita el registro de acceso HTTP de
- Herramientas de redes y comparativas de aceleradores automatizadas:
- Para simplificar la configuración de VPC de RDMA y multi-NIC en los grupos de nodos de aceleradores, usa las redes automatizadas para las VMs de aceleradores.
- Para asignar de forma dinámica interfaces de red de RDMA a Pods de inferencia de varios nodos, usa DRANET administrado por GKE.
- Para generar manifiestos de entrega comparativos y umbrales de HPA para tu modelo y acelerador, usa la Guía de inicio rápido de inferencia de GKE.
Optimización del rendimiento
La latencia y la capacidad de procesamiento de la inferencia dependen del ajuste del servidor de modelos y de cómo Inference Gateway programa las solicitudes entre las réplicas. Para reducir el tiempo hasta el primer token (TTFT) y aumentar la capacidad de procesamiento de entrega en GKE, ten en cuenta las siguientes recomendaciones:
- Ajuste de la entrega de inferencias: Sigue las recomendaciones de la Descripción general de las prácticas recomendadas de inferencia en GKE. Para aumentar la capacidad de procesamiento y reducir la latencia en las GPU, aplica la cuantización, el paralelismo de tensores y el ajuste de la caché de KV, como se describe en Prácticas recomendadas para optimizar la inferencia de LLM con GPU.
- Enrutamiento basado en la latencia prevista y entrega de varios puertos: Si un backend
homogéneo de
InferencePoolentrega instrucciones de longitudes muy variables o aplica SLO de latencia por solicitud, considera habilitar el enrutamiento basado en la latencia prevista. Para los servidores de modelos que requieren varios puertos por Pod, como las implementaciones de atención paralela de datos, configura recursos deInferencePoolcon varios puertos dentro del límite de 50 servicios de backend de NEG.
Implementación
Para implementar una implementación de muestra de esta arquitectura, usa la muestra de código de Herramientas de redes para la entrega de modelos de inferencia de IA que está disponible en GitHub.
¿Qué sigue?
- Para obtener información sobre cómo agregar la generación aumentada por recuperación (RAG) a tu implementación, consulta Conectividad privada para aplicaciones de IA generativa compatibles con RAG.
- Para obtener más información sobre las arquitecturas de referencia, los diagramas y las prácticas recomendadas, explora Cloud Architecture Center.
Colaboradores
Autor: Victor Moreno | Gerente de producto, Herramientas de redes de Cloud
Otros colaboradores:
- Mark Schlagenhauf | Escritor técnico, Herramientas de redes
- James Duncan | Gerente de producto de soluciones
- Ammett Williams | Ingeniero de relaciones con desarrolladores