Las plantillas de inferencia previamente entrenadas de IA en Application Design Center te permiten aprovisionar la infraestructura de Google Kubernetes Engine (GKE) y, además, implementar cargas de trabajo de entrega de modelos. Puedes usar la plantilla Clúster de GKE de inferencia previamente entrenada de IA para configurar un clúster de GKE privado y seguro para la inferencia de alto rendimiento. Luego, puedes usar la plantilla AI Pre-trained Inference GKE workload (versión preliminar) para implementar un modelo de Gemma previamente entrenado con un gráfico de Helm y el motor de entrega de vLLM. La carga de trabajo configura las solicitudes de recursos de GPU y un Horizontal Pod Autoscaler (HPA) que escala según el uso de CPU.
Por ejemplo, puedes implementar las plantillas de clúster y carga de trabajo para satisfacer las siguientes necesidades empresariales:
| Ejemplo | Necesidad empresarial | Implementación |
|---|---|---|
| Análisis de videos en tiempo real | Una empresa de seguridad necesita procesar transmisiones de video de cientos de cámaras para detectar anomalías o objetos específicos en tiempo real. | Implementa modelos de procesamiento de video en el grupo de nodos habilitado para GPU. Las GPUs pueden procesar las demandas de alta capacidad de procesamiento y baja latencia de las transmisiones de video simultáneas. |
| Procesamiento de documentos especializado | Una empresa de seguros necesita extraer automáticamente información de miles de formularios de reclamación diarios, que contienen diversos diseños y escritura a mano. | Usa el clúster de GKE para alojar modelos personalizados y garantizar que los datos nunca salgan del entorno seguro durante el procesamiento. |
| Motor de recomendaciones de alto volumen | Una plataforma de comercio electrónico necesita entregar recomendaciones de productos personalizadas a los usuarios durante los eventos de compras de temporada alta. | Usa la API de puerta de enlace de Google Kubernetes Engine para enrutar grandes volúmenes de tráfico de usuarios a los modelos de recomendación. La API de Gateway puede controlar aumentos repentinos de tráfico sin que se degrade la latencia. |
Arquitectura
En la siguiente imagen, se muestran los componentes y las conexiones de la plantilla:
A continuación, se describen las configuraciones de los componentes de esta plantilla:
Clúster de GKE Standard: Es un clúster seguro y privado en el que se ejecuta tu carga de trabajo de IA.
En la siguiente tabla, se describe la configuración del clúster en esta plantilla:
Configuración Objetivo node_locationsse establece como["us-central1-a", "us-central1-b", "us-central1-c"].Garantiza una alta disponibilidad y resiliencia, ya que distribuye los nodos del clúster en tres zonas de la región us-central1.enable_intranode_visibilityse establece comotrue.Habilita la visibilidad del tráfico de Pod a Pod en el mismo nodo en los registros de flujo de VPC. Esta visibilidad es necesaria para la supervisión de la red, la solución de problemas y el análisis de seguridad. gateway_api_configse habilita con{"channel":"CHANNEL_STANDARD"}.La API de GKE Inference Gateway te ayuda a administrar el tráfico de entrada a tus servicios de Kubernetes. La API te ayuda a configurar el enrutamiento detallado, el balanceo de cargas avanzado y el adjunto de políticas centralizado. private_cluster_config.enable_private_endpointse establece comofalse.private_cluster_config.enable_private_nodesestrue.control_plane_endpoints_config.dns_endpoint_config.allow_external_trafficse establece comotrue.Garantiza que los nodos trabajadores en los que se ejecutan tus modelos de IA tengan direcciones IP privadas. Esto aísla tus nodos de la Internet pública. El plano de control de GKE está configurado para que sea de acceso público y puedas administrar el clúster fuera de tu red de nube privada virtual (VPC). release_channelse establece como{"channel":"REGULAR"}.Garantiza que tu clúster de GKE reciba actualizaciones estables y predecibles, lo que proporciona un equilibrio entre las funciones nuevas y la confiabilidad. Grupo de nodos de GKE: Es un grupo de nodos trabajadores que ejecutan los contenedores de la aplicación.
En la siguiente tabla, se describen los parámetros de configuración del grupo de nodos en esta plantilla:
Configuración Objetivo autoscaling.min_node_countse establece como0.autoscaling.max_node_countse establece en3(el valor predeterminado es100).El grupo de nodos puede reducir la escala verticalmente por completo cuando no hay cargas de trabajo de IA en ejecución, lo que reduce los costos durante los períodos de inactividad. El límite superior para el escalado ayuda a controlar los costos y el consumo de recursos. Se agrega el parámetro node_config.guest_accelerator.gpu_driver_installation_config.gpu_driver_version:se establece como"LATEST".gpu_sharing_configestá habilitado conTIME_SHARING.max_shared_clients_per_gpu:se establece como2.Especifica el uso de las GPU NVIDIA L4 para las tareas de inferencia de IA. Los controladores de GPU necesarios se instalan automáticamente. Varias cargas de trabajo más pequeñas pueden compartir una sola GPU. node_config.machine_typecambió a"g2-standard-8".El tipo de máquina está diseñado específicamente para complementar las GPU L4. Las CPU virtuales (8) y la memoria (32 GB) se crean para admitir la GPU y ejecutar tus aplicaciones de inferencia de IA. node_config.oauth_scopesincluyehttps://www.googleapis.com/auth/cloud-platform.La cuenta de servicio del nodo tiene un amplio acceso a los servicios de Google Cloud , lo que habilita la interacción con la API para tareas como el registro, la supervisión y la extracción de imágenes de contenedor. node_config.shielded_instance_config.enable_secure_bootse establece comotrue.El Inicio seguro ayuda a proteger tus nodos del software malicioso a nivel de inicio, ya que verifica las firmas criptográficas del cargador de arranque y del kernel antes de que se ejecuten.
Configuración del gráfico de Helm
En la siguiente tabla, se enumeran los parámetros de configuración del gráfico de Helm, que se personalizaron para implementar y escalar un servicio de inferencia de IA en GKE.
| Configuración | Objetivo |
|---|---|
replicaCount: 1 |
Crea una sola réplica inicial. |
image.repository: vllm/vllm-openai |
Usa una imagen de vLLM, una biblioteca optimizada para la inferencia de modelos de lenguaje grandes (LLM), expuesta con una API compatible con OpenAI. |
model.id: google/gemma-7b-it |
Define el modelo Gemma 7B ajustado por instrucciones como el modelo que se entregará. |
model.hfSecret: hf-secret |
Indica que el modelo requiere autenticación con un Secret de Kubernetes para la administración segura de credenciales. |
resources.limits y requests para nvidia.com/gpu: "1" |
Garantiza que cada Pod obtenga una GPU dedicada. |
nodeSelector.cloud.google.com/gke-accelerator: nvidia-l4 |
Garantiza que los Pods de tu modelo de IA se programen exclusivamente en nodos de GKE Standard equipados con GPUs NVIDIA L4, que son ideales para la inferencia rentable y de alto rendimiento. |
hpa.enabled: true |
Habilita el Horizontal Pod Autoscaler, que permite que la aplicación escale automáticamente la cantidad de Pods (entre minReplicas: 1 y maxReplicas: 10) según targetCPUUtilizationPercentage: 80%. Garantiza el rendimiento durante las cargas máximas y la rentabilidad durante el uso bajo. |
tensorParallelSize: 1 |
Indica que el modelo no se divide entre varias GPU dentro de un solo Pod. |
maxModelLen: 512 |
Controla la longitud máxima de la secuencia que puede procesar el modelo Gemma 7B. |
service.type: ClusterIP |
El Service se configura para el acceso interno dentro del clúster. |
pdb.enabled: true y minAvailable: 1 |
Se habilita un presupuesto de interrupción de Pods para garantizar la alta disponibilidad. Al menos una réplica de tu modelo de IA permanece disponible durante las interrupciones voluntarias, como el mantenimiento de nodos. |
Crea tu aplicación de IA
Usa las plantillas de clúster y carga de trabajo de clúster de GKE de inferencia previamente entrenada de IA para implementar tu aplicación de IA.
Implementa tu infraestructura de IA
Configura e implementa la plantilla del clúster de GKE de inferencia previamente entrenada de IA para crear la infraestructura básica en la que se ejecuta tu carga de trabajo de IA.
Duplica e implementa la plantilla del clúster de GKE de inferencia preentrenada de IA como una aplicación.
Se crea un clúster de GKE en el proyecto de implementación que elijas.
Configura los componentes. Para obtener más información, consulta lo siguiente:
Haz clic en Implementar. La aplicación se implementará después de varios minutos.
En el panel Detalles de la aplicación, haz clic en la pestaña Resultados.
Identifica el cluster_id de tu aplicación. Usarás esta información cuando implementes tu gráfico de Helm.
Implementa tu carga de trabajo de IA
Usa la plantilla Carga de trabajo de GKE de inferencia previamente entrenada de IA para implementar tu carga de trabajo de IA en el clúster que creaste. Implementarás un gráfico de Helm que incluye la configuración de tu carga de trabajo de IA.
En la página Plantillas de Google, en la plantilla Carga de trabajo de GKE de inferencia previamente entrenada de IA, haz clic en Crear aplicación nueva.
En el campo Nombre, ingresa un nombre único para tu aplicación.
En el área Destino de implementación de GKE, haz lo siguiente:
En la lista Proyecto, selecciona el proyecto en el que implementaste el clúster de GKE desde la aplicación AI Pre-trained Inference GKE cluster.
En la lista Región, selecciona la región en la que implementaste el clúster de GKE.
En la lista Clústeres, selecciona el clúster de GKE implementado.
En el campo Espacio de nombres, ingresa el espacio de nombres de tu carga de trabajo. Si no cambiaste el nombre, ingresa
default.Haz clic en Crear aplicación.
Se creará la aplicación y se mostrarán los archivos de configuración.
En el panel Gráfico de Helm, haz lo siguiente:
Revisa los detalles de la configuración.
Opcional: Personaliza la configuración para satisfacer tus necesidades específicas.
Para implementar el gráfico de Helm en tu clúster, haz clic en Implementar.
Para obtener pasos detallados, consulta Implementa aplicaciones.
Después de varios minutos, la configuración del gráfico de Helm se implementa en tu clúster de GKE.
¿Qué sigue?
- Para aprender a duplicar y personalizar plantillas, consulta la Guía de inicio rápido: Personaliza e implementa una plantilla de Google.
- Define tus propias configuraciones diseñando plantillas de aplicaciones.
- Identificar las prácticas recomendadas generales sobre arquitectura con el framework de arquitectura deGoogle Cloud