En este documento, se proporciona una descripción general de cómo escalar la capacidad de procesamiento y obtener recursos de hardware en Google Cloud para mantener el rendimiento, controlar los costos y evitar el tiempo de inactividad. Para controlar la demanda variable, puedes aplicar el ajuste de escala automático a las instancias de Compute Engine, organizar contenedores en Google Kubernetes Engine (GKE) o cargas de trabajo en clústeres, reservar capacidad con anticipación y distribuir el tráfico entre los recursos.
Las recomendaciones de este documento se aplican a todas las opciones de procesamiento disponibles, excepto Cloud Run y Batch, que administran y escalan la infraestructura de procesamiento por ti. Para obtener más información sobre las opciones de procesamiento que puedes usar en Google Cloud antes de escalar, consulta Elige las opciones de procesamiento.
Opciones de escalamiento de la infraestructura de procesamiento
Para escalar tu capacidad de procesamiento y mejorar la obtención de recursos, elige entre las funciones que admite tu servicio de procesamiento. Puedes combinar varias funciones, como reservas, escaladores automáticos y balanceadores de cargas, para satisfacer los requisitos de tu carga de trabajo. Si deseas evaluar estas funciones de forma comparativa en función de su propósito, las opciones de procesamiento compatibles, los activadores y los casos de uso, consulta Compara las opciones de escalamiento en este documento.
Cada servicio de procesamiento escala la capacidad y te ayuda a obtener recursos con las siguientes opciones:
Todas las opciones de procesamiento: En todos los servicios de procesamiento, excepto Cloud Run para reservas, puedes tener un alto nivel de garantía de disponibilidad de hardware por adelantado y enrutar las solicitudes de los usuarios a través de backends en buen estado. Puedes usar las siguientes opciones de productos cruzados:
Reservas: Solicita capacidad en una zona específica para usarla de inmediato o en una fecha futura. Las reservas no son un escalador automático, pero proporcionan un alto nivel de garantía de que el hardware, como las unidades de procesamiento gráfico (GPU), las unidades de procesamiento tensorial (TPU) y los discos SSD locales, esté disponible cuando tus cargas de trabajo se escalen horizontalmente.
Distribución del tráfico con Cloud Load Balancing: distribuye las solicitudes entrantes entre instancias de procesamiento, grupos de nodos o contenedores en buen estado, y enruta el tráfico a recursos nuevos a medida que se escala la capacidad.
Compute Engine: Escalas la capacidad cuando creas instancias de máquina virtual (VM) o de equipos físicos, o cuando usas grupos de instancias administrados (MIG). Un MIG administra un grupo de instancias de procesamiento como una sola entidad y puede agregar o quitar capacidad según la carga, los programas o la disponibilidad del hardware. Para las cargas de trabajo que requieren aislamiento de hardware, también puedes ajustar la escala automáticamente de los grupos de nodos de usuario único en servidores físicos dedicados. Puedes usar las siguientes opciones:
Ajuste de escala automático de MIG: Agrega o quita instancias de procesamiento en un MIG según el uso de CPU, la capacidad del balanceador de cargas, las métricas de Cloud Monitoring, los programas o las previsiones predictivas.
Flexibilidad de instancias de MIG: Clasifica varios tipos de máquinas en un MIG para mejorar la obtención de recursos.
Modo masivo y solicitudes de cambio de tamaño en MIGs: agrega todas las instancias de procesamiento solicitadas en un MIG al mismo tiempo cuando la capacidad completa esté disponible, incluidas las GPUs, las TPUs y las instancias H4D con VMs de inicio flexible.
Grupos en espera en MIGs: Mantén un grupo en espera de instancias de procesamiento suspendidas o detenidas preconfiguradas en un MIG para acelerar el escalamiento horizontal. Cuando aumenta el tráfico o el uso de CPU, el MIG reanuda o inicia las instancias de procesamiento en lugar de crear otras nuevas.
Creación de instancias de procesamiento masivas: Crea varias instancias de procesamiento en una sola solicitud a la API con selección automática de zona y tipo de máquina.
Ajuste de escala automático de grupos de nodos de usuario único: Agrega o quita nodos de usuario único físicos dedicados según la demanda de instancias de procesamiento invitadas para mantener el aislamiento del hardware y optimizar los costos de las licencias adquiridas por el usuario.
Organizador personalizado: Llama a la API de Compute Engine desde tus propios programadores o los de código abierto para crear, cambiar el tamaño y borrar instancias de procesamiento según las colas de trabajos personalizadas o las reglas empresariales.
Cluster Director: Google implementa clústeres administrados para cargas de trabajo de inteligencia artificial (IA), aprendizaje automático (ML) y computación de alto rendimiento (HPC) que usan la organización de Slurm o la organización de cómputo administrada respaldada por MIG zonales. En los clústeres de Slurm, el programador de Slurm crea nodos de procesamiento dinámicos cuando los trabajos en cola superan los nodos de referencia estáticos y los apaga después de cinco minutos de inactividad. En los clústeres de procesamiento administrados, ejecutas cargas de trabajo a través de SSH o integras tu propio programador, y escalas la capacidad cuando ajustas los tamaños de destino de los MIG. Puedes usar las siguientes opciones:
Organización de clústeres: Escala de forma automática los nodos de procesamiento dinámicos dentro de las particiones de Slurm administradas según la demanda de la cola de trabajos o aprovisiona clústeres de procesamiento administrados respaldados por MIG zonales para ejecutar cargas de trabajo a través de SSH o integrar tu propio programador.
Modificación de clústeres en vivo: Actualiza un clúster activo para aumentar los recuentos de nodos estáticos o dinámicos máximos, cambiar el tamaño o agregar MIG, agregar parámetros de configuración de recursos de procesamiento o agregar particiones y conjuntos de nodos sin interrumpir los trabajos activos.
Opciones de consumo de capacidad: Obtén nodos de procesamiento de clústeres a través de reservas futuras para bloques de capacidad, reservas futuras en modo Calendario, VMs de inicio flexible, VMs Spot o instancias de procesamiento on demand.
Cluster Toolkit: Defines clústeres de IA, AA y HPC autoadministrados como código con planos de YAML y módulos de Terraform organizados por Slurm o GKE. La capacidad se escala según las colas de trabajos de Slurm o la demanda de Pods de Kubernetes, o cuando editas y vuelves a implementar el esquema del clúster. Puede utilizar las siguientes opciones:
Conjuntos de nodos dinámicos de Slurm: configura el módulo
slurm-nodeset-dynamicpara que Slurm cree y borre instancias de procesamiento efímeras según los trabajos en cola.Ajuste de escala automático del grupo de nodos de GKE: Establece los recuentos de nodos mínimos y máximos en tu plano con el módulo
gke-node-poolpara que GKE agregue o quite nodos a medida que cambia la demanda de Pods.Reconfiguración de planos en vivo: Actualiza y vuelve a implementar planos para agregar o cambiar el tamaño de las particiones y los nodos estáticos en un clúster de Slurm activo o para cambiar el tamaño de los grupos de nodos en un clúster de GKE implementado.
Particiones de Slurm con varias reservas: Agrupa varios conjuntos de nodos respaldados por reservas en una partición de Slurm para que los trabajos grandes abarquen la capacidad en reservas separadas.
GKE: La capacidad se escala en dos capas. Los escaladores automáticos de cargas de trabajo ajustan los recuentos de réplicas de Pods o las solicitudes de CPU y memoria de los contenedores a medida que cambia la demanda. Los escaladores automáticos de infraestructura agregan o quitan nodos y grupos de nodos subyacentes. Google administra la capacidad de los nodos por ti en el modo Autopilot, mientras que tú configuras el escalador automático del clúster, la creación automática de grupos de nodos y los recursos personalizados de
ComputeClassen el modo Standard. Los aceleradores de inicio también reducen el tiempo que necesitan los Pods nuevos antes de entregar tráfico. Puede utilizar las siguientes opciones:Capacidad de nodos y clústeres: Ajusta los recuentos de nodos, crea grupos de nodos y obtén hardware con las siguientes características:
ComputeClasses personalizadas: Definen reglas de resguardo de hardware priorizadas, preferencias de VMs Spot o inicio flexible, consumo de reservas, migración activa a hardware de mayor prioridad y creación automática de grupos de nodos a nivel de la carga de trabajo.
Escalador automático de clústeres: Agrega o quita nodos en grupos de nodos existentes en modo Standard cuando los Pods esperan recursos o cuando los nodos están infrautilizados.
Creación automática de grupos de nodos: Crea y borra grupos de nodos en paralelo según los requisitos de CPU, memoria, GPU, TPU o zona de los Pods pendientes.
Aprovisionamiento de inicio flexible: Obtén GPU, TPU y nodos H4D por hasta siete días, ya sea nodo por nodo o todos a la vez a través del aprovisionamiento en cola, y reemplaza los nodos que vencen a través de ComputeClasses.
Búferes de capacidad: Aprovisiona previamente nodos en espera activos o suspendidos, incluidos los búferes activos que se alinean con las prioridades de
ComputeClass, para que los Pods pendientes se programen sin esperar nodos nuevos.Plataforma de procesamiento optimizada para contenedores: Acelera la asignación de nodos y la ubicación de Pods con ComputeClasses
BalancedyScale-Outpara clústeres de Autopilot y cargas de trabajo en modo Autopilot en clústeres de Standard.Nodos de usuario único en GKE: Ejecuta grupos de nodos en modo Standard en servidores físicos dedicados para cumplir con los requisitos de aislamiento o licencia.
Capacidad de Pods y cargas de trabajo: Ajusta las réplicas de Pods, los tamaños de los contenedores y las colas de lotes con las siguientes funciones:
Escalado automático horizontal de Pods (HPA): Agrega o quita réplicas de Pods según el uso de CPU, el uso de memoria o las métricas personalizadas.
Ajuste de escala automático vertical de Pods (VPA): Ajusta las solicitudes y los límites de CPU y memoria de los contenedores en función del uso histórico.
Ajuste de escala automático multidimensional de Pods (MPA): Combina el HPA en la CPU y el VPA en la memoria para la misma carga de trabajo al mismo tiempo.
Métricas personalizadas y externas: Activa las decisiones de escalamiento de HPA a partir de métricas de aplicaciones o servicios externos, como Pub/Sub y Cloud Load Balancing.
Reducción de escala a cero: Reduce la escala de los Pods y los grupos de nodos inactivos a cero réplicas y actívalos cuando se reanude la demanda en las métricas personalizadas y externas del HPA o en los activadores de Kubernetes Event-driven Autoscaling (KEDA).
Colas de trabajos de Kueue: Pon en cola las cargas de trabajo por lotes y de IA, comparte las cuotas de recursos entre los equipos y coordina la asignación simultánea de nodos.
Aceleración del inicio: Acorta los tiempos de inicialización del contenedor y de carga del modelo durante el escalamiento horizontal con las siguientes funciones:
Cloud Storage FUSE con transmisión paralela: Activa buckets de Cloud Storage como sistemas de archivos locales con lecturas paralelas y cachés de archivos.
Aumento de CPU de inicio: Otorga CPU adicional temporal a los contenedores mientras se inicializan y, luego, devuelve las solicitudes de CPU a los valores de referencia.
Transmisión de imágenes: Transmite bloques de imágenes de contenedor según demanda desde Artifact Registry para que los Pods se inicien sin esperar a que se descargue toda la imagen.
Discos de arranque secundarios: conecta volúmenes de Persistent Disk precargados con imágenes de contenedor o datos de modelos a los nodos en paralelo durante el inicio del nodo.
Cambio de tamaño de Pods en el lugar: actualiza las asignaciones de CPU y memoria en contenedores activos sin reiniciar los Pods.
Instantáneas de Pods: Restablece las réplicas de Pods desde los puntos de control guardados de la memoria y del sistema de archivos en lugar de un inicio en frío.
Run:ai Model Streamer: Transmite pesos de modelos de IA en formato
safetensorsdesde Cloud Storage o volúmenes persistentes en paralelo a la memoria de la GPU o TPU.Volume Populator: Carga previamente los volúmenes de Google Cloud Hyperdisk ML con pesos de modelos y conjuntos de datos de Cloud Storage antes de que se inicien los Pods.
Google Cloud VMware Engine: Google administra clústeres de nubes privadas de VMware dedicados, en los que la capacidad se expande o se reduce a medida que los hosts de ESXi físicos se unen al clúster o lo abandonan. Para agregar o quitar hosts de ESXi cuando el uso continuo de CPU, memoria o uso del almacenamiento de vSAN supere los umbrales configurados, usa políticas de ajuste de escala automático.
Compara las opciones de escalamiento
Para seleccionar la opción de escalamiento o de obtención de recursos que coincida con tus requisitos operativos, compara las funciones en la siguiente tabla:
| Opción de escalamiento | Propósito principal | Opciones de procesamiento admitidas | Opciones de escalamiento compatibles | Activador de escalamiento | Casos de uso |
|---|---|---|---|---|---|
| Reservas | Reserva capacidad de zona para usarla de inmediato o en una fecha futura con un alto nivel de garantía de disponibilidad | Todas las opciones de procesamiento, excepto Cloud Run | Todas las opciones de escalamiento | Solicitud de reserva manual o de calendario; no es un escalador automático |
|
| Distribución del tráfico con Cloud Load Balancing | Distribuye el tráfico entrante entre instancias de procesamiento, grupos de nodos o contenedores en buen estado | Todas las opciones de procesamiento | Todas las opciones de escalamiento | Solicitudes entrantes de usuarios y verificaciones de estado de backends |
|
| Ajuste de escala automático de MIG | Agrega o quita instancias de procesamiento en un MIG para la demanda de carga de trabajo variable | Compute Engine | Reservas, flexibilidad de instancias de MIG, grupos en espera en MIG, ajuste de escala automático de grupos de nodos de usuario único y organizador personalizado | Uso de CPU, capacidad del balanceador de cargas, métricas de Cloud Monitoring, programas o previsiones predictivas |
|
| Flexibilidad de instancias del MIG | Clasifica varios tipos de máquinas en un MIG para mejorar la disponibilidad de recursos | Compute Engine | Ajuste de escala automático de MIG, reservas y VMs Spot | Cuando los tipos de máquinas principales no tienen capacidad durante la creación de instancias de MIG o el escalamiento horizontal |
|
| Modo masivo y solicitudes de cambio de tamaño en MIG | Agrega todas las instancias de procesamiento solicitadas en un MIG al mismo tiempo cuando la capacidad total esté disponible | Compute Engine y Cluster Director | Reservas, modificación de clústeres en vivo y organizador personalizado | Tamaño objetivo establecido en modo masivo o creación de una solicitud de cambio de tamaño, que se completa cuando está disponible la capacidad total de hardware |
|
| Grupos en espera en MIGs | Mantén un grupo en espera de instancias de procesamiento suspendidas o detenidas preconfiguradas listas para acelerar el escalamiento horizontal de MIG | Compute Engine | Ajuste de escala automático de MIG, reservas | Cambio de tamaño manual o demanda de escalamiento horizontal de MIG que reanuda o inicia instancias de procesamiento agrupadas |
|
| Creación masiva de instancias de procesamiento | Crea varias instancias de procesamiento en una solicitud a la API con selección automática de zona y máquina | Compute Engine | Reservas, VMs Spot y un organizador personalizado | Solicitud de inserción masiva de una sola API o de Google Cloud CLI |
|
| Ajuste de escala automático de grupos de nodos de usuario único | Ajusta automáticamente la escala de los servidores físicos dedicados para las cargas de trabajo aisladas | Compute Engine y GKE | Reservas, ajuste de escala automático de MIG, organizador personalizado, escalador automático de clústeres | Demanda de recursos de las instancias de procesamiento de invitados |
|
| Organizador personalizado | Controla la creación de instancias de procesamiento, el tamaño de destino del MIG y la eliminación desde tu propio programador, como Ray, SkyPilot o HTCondor | Compute Engine y Cluster Director | Reservas, ajuste de escala automático de MIG, modo masivo y solicitudes de cambio de tamaño en MIG, creación de instancias de procesamiento masivas, ajuste de escala automático de grupos de nodos de usuario único, modificación de clústeres en vivo | Métricas empresariales personalizadas o colas del programador externo |
|
| Organización de Slurm y nodos dinámicos | Ajusta la escala automáticamente de los nodos de procesamiento dinámicos en las particiones de Slurm para trabajos por lotes, de IA y de HPC | Cluster Director y Cluster Toolkit | Reservas, VMs de inicio flexible, VMs Spot, modificación de clústeres en vivo y reconfiguración de planos en vivo | Trabajos de Slurm en cola y tiempos de espera de inactividad de los nodos |
|
| Modificación de clústeres en vivo | Agrega o cambia el tamaño de las particiones, los conjuntos de nodos, los MIG o los límites de nodos estáticos y dinámicos en un clúster activo | Cluster Director | Organización de Slurm y nodos dinámicos, modo masivo y solicitudes de cambio de tamaño en MIG, organizador personalizado y reservas | Solicitud de actualización de un clúster activo |
|
| Reconfiguración de planos en vivo | Actualiza y vuelve a implementar planos para agregar o cambiar el tamaño de las particiones de Slurm, los nodos estáticos o los grupos de nodos de GKE en un clúster activo | Cluster Toolkit | Orquestación de Slurm y nodos dinámicos, escalador automático de clústeres, reservas | Actualización y nueva implementación del plano en un clúster activo |
|
| ComputeClasses personalizadas | Define reglas de resguardo de hardware priorizadas, consumo de capacidad y migración de nodos | GKE en los modos Standard y Autopilot | Escalador automático de clústeres, creación automática de grupos de nodos, aprovisionamiento de inicio flexible en GKE, reservas y búferes de capacidad | Pods pendientes que coinciden con un selector ComputeClass o
con la disponibilidad de hardware de mayor prioridad |
|
| Escalador automático del clúster | Agrega o quita nodos en grupos de nodos existentes | GKE en modo Standard y planos de GKE de Cluster Toolkit | ComputeClasses personalizadas, reservas, ajuste de escala automático de grupos de nodos de usuario único, HPA, VPA, búferes de capacidad, reducción de escala a cero | Pods pendientes o infrautilización de nodos |
|
| Creación automática de grupos de nodos | Crear y borrar grupos de nodos en paralelo para que coincidan con los requisitos de hardware de los Pods | GKE: administrado en modo Autopilot; configurable en modo Standard | ComputeClasses personalizadas, reservas, aprovisionamiento de inicio flexible en GKE, HPA, VPA y búferes de capacidad | Pods pendientes que requieren series de máquinas, aceleradores o zonas que no están presentes en los grupos de nodos existentes |
|
| Aprovisionamiento de inicio flexible en GKE | Obtén GPU, TPU y nodos H4D a medida que se abre la capacidad, por nodo o todos a la vez con el aprovisionamiento en cola | GKE en los modos Standard y Autopilot | ComputeClasses personalizadas, creación automática de grupos de nodos, escalador automático de clústeres, colas de trabajos de Kueue | Pods pendientes o de objetos ProvisioningRequest en cola cuando
se abre la capacidad de hardware |
|
| Búferes de capacidad | Aprovisiona previamente nodos en espera activos o suspendidos para una ubicación y obtención rápidas de Pods | GKE en los modos Standard y Autopilot | ComputeClasses personalizadas, escalador automático de clústeres, creación automática de grupos de nodos, HPA y reservas | Consumo de la capacidad de nodos almacenados en búfer por parte de los Pods programados |
|
| Plataforma de procesamiento optimizada para contenedores | Acelera la preparación de los nodos y la ubicación de los Pods con la infraestructura administrada
y las ComputeClasses Balanced o Scale-Out |
GKE: Clústeres de Autopilot y cargas de trabajo en modo Autopilot en clústeres de Standard | Creación automática de grupos de nodos, HPA, VPA, búferes de capacidad, reservas | Pods pendientes que requieren capacidad de procesamiento adicional |
|
| HPA | Agrega o quita réplicas de Pods para satisfacer la demanda de la carga de trabajo | GKE en los modos Standard y Autopilot | Escalador automático de clústeres, creación automática de grupos de nodos, MPA, métricas personalizadas y externas, reducción de escala a cero | Uso de CPU, uso de memoria o métricas personalizadas y externas |
|
| VPA | Ajusta las solicitudes y los límites de CPU y memoria del contenedor según el uso | GKE en los modos Standard y Autopilot | Escalador automático de clústeres, creación automática de grupos de nodos, MPA, cambio de tamaño de Pods en el lugar, reservas | Uso histórico de CPU y memoria del contenedor |
|
| MPA | Escala réplicas de Pods en solicitudes de memoria de contenedores y CPU al mismo tiempo | GKE en los modos Standard y Autopilot | Escalador automático del clúster, creación automática de grupos de nodos, métricas personalizadas y externas | Cambios simultáneos en la demanda de CPU y en el uso de memoria de los contenedores |
|
| Métricas personalizadas y externas | Escala réplicas de Pods según los indicadores de la aplicación o del servicio externo | GKE en los modos Standard y Autopilot | HPA, MPA, reducción de escala a cero, escalador automático de clústeres y creación automática de grupos de nodos | Métricas de la aplicación o métricas de tráfico y de colas externas |
|
| Reducción de escala a cero | Reduce la escala de los Pods y los grupos de nodos inactivos a cero y actívalos según la demanda o los eventos | GKE en los modos Standard y Autopilot | HPA, métricas personalizadas y externas, escalador automático de clústeres, creación automática de grupos de nodos | Ausencia de demanda o demanda nueva en métricas personalizadas y externas de HPA o activadores de KEDA |
|
| Colas de trabajos de Kueue | Poner en cola trabajos por lotes, aplicar cuotas de equipo y coordinar la asignación simultánea de nodos | GKE en los modos Standard y Autopilot | Aprovisionamiento de inicio flexible en GKE, ComputeClasses personalizadas, escalador automático de clústeres y creación automática de grupos de nodos | Admite trabajos por lotes cuando se abren la cuota del clúster y la capacidad del hardware. |
|
| Cloud Storage FUSE con transmisión paralela | Activa buckets de Cloud Storage como sistemas de archivos con lecturas y cachés paralelas | GKE en los modos Standard y Autopilot | HPA, escalador automático de clústeres, creación automática de grupos de nodos y instantáneas de Pods | Inicio de Pods y lecturas de archivos secuenciales desde buckets activados |
|
| Aumento de CPU de inicio | Otorga CPU adicional temporal a los contenedores durante la inicialización | GKE en los modos Standard y Autopilot | HPA, VPA, escalador automático de clústeres y creación automática de grupos de nodos | Fase de inicio e inicialización del contenedor |
|
| Transmisión de imágenes | Transmite bloques de imágenes de contenedor a pedido desde Artifact Registry durante el inicio del Pod | GKE en los modos Standard y Autopilot | HPA, escalador automático de clústeres, creación automática de grupos de nodos y búferes de capacidad | Extracción de imágenes de contenedor de Artifact Registry cuando se inicia un Pod |
|
| Discos de arranque secundarios | Adjunta volúmenes de Persistent Disk precargados con imágenes de contenedor o datos de modelos en el inicio del nodo | GKE en los modos Standard y Autopilot | ComputeClasses personalizadas, HPA, escalador automático de clústeres, creación automática de grupos de nodos y búferes de capacidad | Inicio de nodos en un grupo de nodos configurado con imágenes de disco de arranque secundario |
|
| Cambio de tamaño de Pods in situ | Actualiza las asignaciones de CPU y memoria de los contenedores activos sin reiniciar los Pods | GKE en los modos Standard y Autopilot | VPA, escalador automático de clústeres y creación automática de grupos de nodos | Se actualizaron las solicitudes y los límites de CPU o memoria del contenedor |
|
| Instantáneas de Pods | Restablece réplicas de Pods desde puntos de control guardados de la memoria y el sistema de archivos | GKE en los modos Standard y Autopilot | HPA, escalador automático de clústeres, creación automática de grupos de nodos y búferes de capacidad | Creación de réplicas de Pods a partir de una instantánea guardada |
|
| Run:ai Model Streamer | Transmite tensores de modelos en paralelo a la memoria de la GPU o TPU | GKE en los modos Standard y Autopilot | HPA, escalador automático de clústeres, creación automática de grupos de nodos y Volume Populator | Inicio del servidor de inferencia de IA y solicitudes de carga de modelos |
|
| Volume Populator | Carga previamente volúmenes de Hyperdisk ML con datos de Cloud Storage | GKE en los modos Standard y Autopilot | HPA, escalador automático de clústeres, creación automática de grupos de nodos y instantáneas de Pods | Creación de PersistentVolumeClaim que hace referencia a un recurso
GCPDataSource |
|
| Políticas de ajuste de escala automático | Agrega o quita hosts de ESXi en un clúster de nube privada de VMware | VMware Engine | Cloud Load Balancing | Uso sostenido de CPU, memoria o almacenamiento de vSAN |
|
Prácticas recomendadas para la escalabilidad
Para diseñar una infraestructura que escale sin cuellos de botella ni escasez de capacidad, aplica las prácticas recomendadas de esta sección en la capacidad de procesamiento, el diseño de redes y la arquitectura de las aplicaciones.
Planifica la capacidad de procesamiento y la disponibilidad
Para preparar tu infraestructura para el crecimiento de la demanda y mejorar la obtención de hardware, aplica las siguientes prácticas:
Estima las necesidades de tu carga de trabajo: Antes de configurar los escaladores automáticos, mide el uso de referencia y las fluctuaciones máximas. Para inspeccionar el uso histórico, prever la demanda y establecer límites mínimos y máximos precisos de instancias de procesamiento, usa el Planificador de capacidad.
Diseña para obtener recursos: Cuando solicites hardware escaso, como GPU o TPU, optimiza el aprovisionamiento de procesamiento en las siguientes tres dimensiones:
Flexibilidad de ubicación: Distribuye las cargas de trabajo entre zonas con MIG regionales.
Flexibilidad de tipos de máquinas: Permite varias series de máquinas a través de la flexibilidad de instancias de MIG o las ComputeClasses personalizadas de GKE.
Flexibilidad de tiempo: Usa el aprovisionamiento de inicio flexible cuando los trabajos puedan esperar la capacidad.
Usa reservas para garantizar una alta capacidad: Para el tráfico de referencia, los eventos de escala máxima o las GPU y TPU escasas, reserva capacidad con anticipación. Las reservas proporcionan un nivel alto de seguridad de que los recursos están disponibles en tu zona de destino cuando tus cargas de trabajo se escalan horizontalmente. Si un solo trabajo de Slurm supera una reserva, extiende las particiones de Cluster Toolkit a varias reservas.
Prepara la capacidad de reserva para las cargas de trabajo sensibles a la latencia: Si tu aplicación no puede esperar a que se aprovisionen nuevas instancias de procesamiento durante los aumentos repentinos de tráfico, mantén la capacidad de reserva lista para usar. Configura búferes de capacidad de GKE para aprovisionar previamente nodos activos o en espera, o usa grupos en espera en los MIG de Compute Engine para reanudar las instancias de procesamiento suspendidas sin demoras en el inicio completo del sistema operativo.
Diseña redes para el escalamiento
Para mover datos entre recursos escalados sin demoras ni agotamiento de direcciones, aplica las siguientes prácticas de red:
Asigna suficientes direcciones IP: Verifica que tus subredes tengan suficientes direcciones IP libres para la cantidad máxima de instancias o nodos en los límites del escalador automático. En GKE, también verifica los rangos de IP secundarios para Pods y Services. Si una subred se queda sin direcciones IP, los escaladores automáticos no pueden crear instancias de procesamiento o Pods nuevos.
Elige interfaces de red de alta capacidad de procesamiento: Para las cargas de trabajo que transfieren conjuntos de datos grandes o pesos de modelos entre nodos, selecciona controladores de interfaz de red de ancho de banda alto, como la tarjeta de interfaz de red virtual de Google o el acceso remoto directo a memoria. Estas interfaces reducen la sobrecarga de CPU y aumentan el ancho de banda entre las instancias de procesamiento escaladas.
Optimiza la ubicación de las instancias: Para el entrenamiento de IA de varios nodos o los trabajos de HPC, agrupa las instancias de procesamiento en servidores físicos cercanos con políticas de posición compacta o ubicación adaptada a la topología en Cluster Director y Cluster Toolkit. La ubicación física cercana reduce los saltos de red y la latencia en los nodos escalados. En el caso de los servicios web tolerantes a errores, distribuye las instancias de procesamiento entre las zonas para que una interrupción en una sola zona no interrumpa el tráfico.
Diseña aplicaciones para escalar
Para permitir que tus aplicaciones escalen horizontalmente sin interrupciones para los usuarios, aplica las siguientes prácticas de arquitectura:
Mantén los niveles de la aplicación sin estado: almacena los datos de la sesión del usuario, los puntos de control y los archivos compartidos en bases de datos o almacenamiento externo, en lugar de en discos de instancias locales. Este diseño permite que los escaladores automáticos agreguen o quiten instancias de procesamiento y Pods en cualquier momento sin pérdida de datos.
Desvincula componentes con colas y microservicios: Divide las cargas de trabajo monolíticas en servicios independientes conectados por balanceadores de cargas o colas de mensajes, como Pub/Sub. Esta arquitectura te permite escalar cada servicio según su propia demanda, incluso hasta cero con escaladores automáticos controlados por eventos, y absorber ráfagas de tráfico sin sobrecargar los backends downstream.
Acorta los tiempos de inicio del contenedor y de carga del modelo: Reduce la demora entre la creación de recursos y la preparación del tráfico para que la capacidad escalada atienda las solicitudes de inmediato. En GKE, transmite o precarga imágenes de contenedor y usa el aumento de CPU de inicio o las instantáneas de Pods para acelerar la inicialización del entorno de ejecución. Para las cargas de trabajo de IA, transmite los pesos de los modelos de IA desde Cloud Storage FUSE, Run.ai Model Streamer o volúmenes prepropagados.