Descripción general del escalamiento de la demanda

En este documento, se proporciona una descripción general de cómo escalar la capacidad de procesamiento y obtener recursos de hardware en Google Cloud para mantener el rendimiento, controlar los costos y evitar el tiempo de inactividad. Para controlar la demanda variable, puedes aplicar el ajuste de escala automático a las instancias de Compute Engine, organizar contenedores en Google Kubernetes Engine (GKE) o cargas de trabajo en clústeres, reservar capacidad con anticipación y distribuir el tráfico entre los recursos.

Las recomendaciones de este documento se aplican a todas las opciones de procesamiento disponibles, excepto Cloud Run y Batch, que administran y escalan la infraestructura de procesamiento por ti. Para obtener más información sobre las opciones de procesamiento que puedes usar en Google Cloud antes de escalar, consulta Elige las opciones de procesamiento.

Opciones de escalamiento de la infraestructura de procesamiento

Para escalar tu capacidad de procesamiento y mejorar la obtención de recursos, elige entre las funciones que admite tu servicio de procesamiento. Puedes combinar varias funciones, como reservas, escaladores automáticos y balanceadores de cargas, para satisfacer los requisitos de tu carga de trabajo. Si deseas evaluar estas funciones de forma comparativa en función de su propósito, las opciones de procesamiento compatibles, los activadores y los casos de uso, consulta Compara las opciones de escalamiento en este documento.

Cada servicio de procesamiento escala la capacidad y te ayuda a obtener recursos con las siguientes opciones:

  • Todas las opciones de procesamiento: En todos los servicios de procesamiento, excepto Cloud Run para reservas, puedes tener un alto nivel de garantía de disponibilidad de hardware por adelantado y enrutar las solicitudes de los usuarios a través de backends en buen estado. Puedes usar las siguientes opciones de productos cruzados:

    • Reservas: Solicita capacidad en una zona específica para usarla de inmediato o en una fecha futura. Las reservas no son un escalador automático, pero proporcionan un alto nivel de garantía de que el hardware, como las unidades de procesamiento gráfico (GPU), las unidades de procesamiento tensorial (TPU) y los discos SSD locales, esté disponible cuando tus cargas de trabajo se escalen horizontalmente.

    • Distribución del tráfico con Cloud Load Balancing: distribuye las solicitudes entrantes entre instancias de procesamiento, grupos de nodos o contenedores en buen estado, y enruta el tráfico a recursos nuevos a medida que se escala la capacidad.

  • Compute Engine: Escalas la capacidad cuando creas instancias de máquina virtual (VM) o de equipos físicos, o cuando usas grupos de instancias administrados (MIG). Un MIG administra un grupo de instancias de procesamiento como una sola entidad y puede agregar o quitar capacidad según la carga, los programas o la disponibilidad del hardware. Para las cargas de trabajo que requieren aislamiento de hardware, también puedes ajustar la escala automáticamente de los grupos de nodos de usuario único en servidores físicos dedicados. Puedes usar las siguientes opciones:

    • Ajuste de escala automático de MIG: Agrega o quita instancias de procesamiento en un MIG según el uso de CPU, la capacidad del balanceador de cargas, las métricas de Cloud Monitoring, los programas o las previsiones predictivas.

    • Flexibilidad de instancias de MIG: Clasifica varios tipos de máquinas en un MIG para mejorar la obtención de recursos.

    • Modo masivo y solicitudes de cambio de tamaño en MIGs: agrega todas las instancias de procesamiento solicitadas en un MIG al mismo tiempo cuando la capacidad completa esté disponible, incluidas las GPUs, las TPUs y las instancias H4D con VMs de inicio flexible.

    • Grupos en espera en MIGs: Mantén un grupo en espera de instancias de procesamiento suspendidas o detenidas preconfiguradas en un MIG para acelerar el escalamiento horizontal. Cuando aumenta el tráfico o el uso de CPU, el MIG reanuda o inicia las instancias de procesamiento en lugar de crear otras nuevas.

    • Creación de instancias de procesamiento masivas: Crea varias instancias de procesamiento en una sola solicitud a la API con selección automática de zona y tipo de máquina.

    • Ajuste de escala automático de grupos de nodos de usuario único: Agrega o quita nodos de usuario único físicos dedicados según la demanda de instancias de procesamiento invitadas para mantener el aislamiento del hardware y optimizar los costos de las licencias adquiridas por el usuario.

    • Organizador personalizado: Llama a la API de Compute Engine desde tus propios programadores o los de código abierto para crear, cambiar el tamaño y borrar instancias de procesamiento según las colas de trabajos personalizadas o las reglas empresariales.

  • Cluster Director: Google implementa clústeres administrados para cargas de trabajo de inteligencia artificial (IA), aprendizaje automático (ML) y computación de alto rendimiento (HPC) que usan la organización de Slurm o la organización de cómputo administrada respaldada por MIG zonales. En los clústeres de Slurm, el programador de Slurm crea nodos de procesamiento dinámicos cuando los trabajos en cola superan los nodos de referencia estáticos y los apaga después de cinco minutos de inactividad. En los clústeres de procesamiento administrados, ejecutas cargas de trabajo a través de SSH o integras tu propio programador, y escalas la capacidad cuando ajustas los tamaños de destino de los MIG. Puedes usar las siguientes opciones:

    • Organización de clústeres: Escala de forma automática los nodos de procesamiento dinámicos dentro de las particiones de Slurm administradas según la demanda de la cola de trabajos o aprovisiona clústeres de procesamiento administrados respaldados por MIG zonales para ejecutar cargas de trabajo a través de SSH o integrar tu propio programador.

    • Modificación de clústeres en vivo: Actualiza un clúster activo para aumentar los recuentos de nodos estáticos o dinámicos máximos, cambiar el tamaño o agregar MIG, agregar parámetros de configuración de recursos de procesamiento o agregar particiones y conjuntos de nodos sin interrumpir los trabajos activos.

    • Opciones de consumo de capacidad: Obtén nodos de procesamiento de clústeres a través de reservas futuras para bloques de capacidad, reservas futuras en modo Calendario, VMs de inicio flexible, VMs Spot o instancias de procesamiento on demand.

  • Cluster Toolkit: Defines clústeres de IA, AA y HPC autoadministrados como código con planos de YAML y módulos de Terraform organizados por Slurm o GKE. La capacidad se escala según las colas de trabajos de Slurm o la demanda de Pods de Kubernetes, o cuando editas y vuelves a implementar el esquema del clúster. Puede utilizar las siguientes opciones:

    • Conjuntos de nodos dinámicos de Slurm: configura el módulo slurm-nodeset-dynamic para que Slurm cree y borre instancias de procesamiento efímeras según los trabajos en cola.

    • Ajuste de escala automático del grupo de nodos de GKE: Establece los recuentos de nodos mínimos y máximos en tu plano con el módulo gke-node-pool para que GKE agregue o quite nodos a medida que cambia la demanda de Pods.

    • Reconfiguración de planos en vivo: Actualiza y vuelve a implementar planos para agregar o cambiar el tamaño de las particiones y los nodos estáticos en un clúster de Slurm activo o para cambiar el tamaño de los grupos de nodos en un clúster de GKE implementado.

    • Particiones de Slurm con varias reservas: Agrupa varios conjuntos de nodos respaldados por reservas en una partición de Slurm para que los trabajos grandes abarquen la capacidad en reservas separadas.

  • GKE: La capacidad se escala en dos capas. Los escaladores automáticos de cargas de trabajo ajustan los recuentos de réplicas de Pods o las solicitudes de CPU y memoria de los contenedores a medida que cambia la demanda. Los escaladores automáticos de infraestructura agregan o quitan nodos y grupos de nodos subyacentes. Google administra la capacidad de los nodos por ti en el modo Autopilot, mientras que tú configuras el escalador automático del clúster, la creación automática de grupos de nodos y los recursos personalizados de ComputeClass en el modo Standard. Los aceleradores de inicio también reducen el tiempo que necesitan los Pods nuevos antes de entregar tráfico. Puede utilizar las siguientes opciones:

    • Capacidad de nodos y clústeres: Ajusta los recuentos de nodos, crea grupos de nodos y obtén hardware con las siguientes características:

      • ComputeClasses personalizadas: Definen reglas de resguardo de hardware priorizadas, preferencias de VMs Spot o inicio flexible, consumo de reservas, migración activa a hardware de mayor prioridad y creación automática de grupos de nodos a nivel de la carga de trabajo.

      • Escalador automático de clústeres: Agrega o quita nodos en grupos de nodos existentes en modo Standard cuando los Pods esperan recursos o cuando los nodos están infrautilizados.

      • Creación automática de grupos de nodos: Crea y borra grupos de nodos en paralelo según los requisitos de CPU, memoria, GPU, TPU o zona de los Pods pendientes.

      • Aprovisionamiento de inicio flexible: Obtén GPU, TPU y nodos H4D por hasta siete días, ya sea nodo por nodo o todos a la vez a través del aprovisionamiento en cola, y reemplaza los nodos que vencen a través de ComputeClasses.

      • Búferes de capacidad: Aprovisiona previamente nodos en espera activos o suspendidos, incluidos los búferes activos que se alinean con las prioridades de ComputeClass, para que los Pods pendientes se programen sin esperar nodos nuevos.

      • Plataforma de procesamiento optimizada para contenedores: Acelera la asignación de nodos y la ubicación de Pods con ComputeClasses Balanced y Scale-Out para clústeres de Autopilot y cargas de trabajo en modo Autopilot en clústeres de Standard.

      • Nodos de usuario único en GKE: Ejecuta grupos de nodos en modo Standard en servidores físicos dedicados para cumplir con los requisitos de aislamiento o licencia.

    • Capacidad de Pods y cargas de trabajo: Ajusta las réplicas de Pods, los tamaños de los contenedores y las colas de lotes con las siguientes funciones:

    • Aceleración del inicio: Acorta los tiempos de inicialización del contenedor y de carga del modelo durante el escalamiento horizontal con las siguientes funciones:

      • Cloud Storage FUSE con transmisión paralela: Activa buckets de Cloud Storage como sistemas de archivos locales con lecturas paralelas y cachés de archivos.

      • Aumento de CPU de inicio: Otorga CPU adicional temporal a los contenedores mientras se inicializan y, luego, devuelve las solicitudes de CPU a los valores de referencia.

      • Transmisión de imágenes: Transmite bloques de imágenes de contenedor según demanda desde Artifact Registry para que los Pods se inicien sin esperar a que se descargue toda la imagen.

      • Discos de arranque secundarios: conecta volúmenes de Persistent Disk precargados con imágenes de contenedor o datos de modelos a los nodos en paralelo durante el inicio del nodo.

      • Cambio de tamaño de Pods en el lugar: actualiza las asignaciones de CPU y memoria en contenedores activos sin reiniciar los Pods.

      • Instantáneas de Pods: Restablece las réplicas de Pods desde los puntos de control guardados de la memoria y del sistema de archivos en lugar de un inicio en frío.

      • Run:ai Model Streamer: Transmite pesos de modelos de IA en formato safetensors desde Cloud Storage o volúmenes persistentes en paralelo a la memoria de la GPU o TPU.

      • Volume Populator: Carga previamente los volúmenes de Google Cloud Hyperdisk ML con pesos de modelos y conjuntos de datos de Cloud Storage antes de que se inicien los Pods.

  • Google Cloud VMware Engine: Google administra clústeres de nubes privadas de VMware dedicados, en los que la capacidad se expande o se reduce a medida que los hosts de ESXi físicos se unen al clúster o lo abandonan. Para agregar o quitar hosts de ESXi cuando el uso continuo de CPU, memoria o uso del almacenamiento de vSAN supere los umbrales configurados, usa políticas de ajuste de escala automático.

Compara las opciones de escalamiento

Para seleccionar la opción de escalamiento o de obtención de recursos que coincida con tus requisitos operativos, compara las funciones en la siguiente tabla:

Opción de escalamiento Propósito principal Opciones de procesamiento admitidas Opciones de escalamiento compatibles Activador de escalamiento Casos de uso
Reservas Reserva capacidad de zona para usarla de inmediato o en una fecha futura con un alto nivel de garantía de disponibilidad Todas las opciones de procesamiento, excepto Cloud Run Todas las opciones de escalamiento Solicitud de reserva manual o de calendario; no es un escalador automático
  • Eventos de crecimiento planificado y de escalamiento máximo
  • Migraciones grandes
  • Copia de seguridad y recuperación ante desastres
  • Recursos de alta demanda, como GPU y TPU
Distribución del tráfico con Cloud Load Balancing Distribuye el tráfico entrante entre instancias de procesamiento, grupos de nodos o contenedores en buen estado Todas las opciones de procesamiento Todas las opciones de escalamiento Solicitudes entrantes de usuarios y verificaciones de estado de backends
  • Aplicaciones web y APIs con mucho tráfico
  • Disponibilidad multizona y multirregión
  • Escalamiento horizontal sin tiempo de inactividad
Ajuste de escala automático de MIG Agrega o quita instancias de procesamiento en un MIG para la demanda de carga de trabajo variable Compute Engine Reservas, flexibilidad de instancias de MIG, grupos en espera en MIG, ajuste de escala automático de grupos de nodos de usuario único y organizador personalizado Uso de CPU, capacidad del balanceador de cargas, métricas de Cloud Monitoring, programas o previsiones predictivas
  • Servicios web y APIs
  • Cargas de trabajo por lotes paralelas
  • Alta disponibilidad multizona
  • Microservicios sin estado
Flexibilidad de instancias del MIG Clasifica varios tipos de máquinas en un MIG para mejorar la disponibilidad de recursos Compute Engine Ajuste de escala automático de MIG, reservas y VMs Spot Cuando los tipos de máquinas principales no tienen capacidad durante la creación de instancias de MIG o el escalamiento horizontal
  • Mayor disponibilidad de instancias de procesamiento
  • Equilibrio entre costo y rendimiento en las series de máquinas
  • Cargas de trabajo web y por lotes sin estado
Modo masivo y solicitudes de cambio de tamaño en MIG Agrega todas las instancias de procesamiento solicitadas en un MIG al mismo tiempo cuando la capacidad total esté disponible Compute Engine y Cluster Director Reservas, modificación de clústeres en vivo y organizador personalizado Tamaño objetivo establecido en modo masivo o creación de una solicitud de cambio de tamaño, que se completa cuando está disponible la capacidad total de hardware
  • Entrenamiento de modelos de IA y AA distribuido
  • Trabajos de varios nodos que requieren todas las instancias de procesamiento al mismo tiempo
  • Cargas de trabajo de GPU, TPU y H4D con flexibilidad de tiempo
Grupos en espera en MIGs Mantén un grupo en espera de instancias de procesamiento suspendidas o detenidas preconfiguradas listas para acelerar el escalamiento horizontal de MIG Compute Engine Ajuste de escala automático de MIG, reservas Cambio de tamaño manual o demanda de escalamiento horizontal de MIG que reanuda o inicia instancias de procesamiento agrupadas
  • Aplicaciones con inicialización lenta del sistema operativo o del entorno de ejecución
  • Aumentos repentinos de tráfico
  • Costo de espera más bajo que el de las instancias de procesamiento inactivas activas
Creación masiva de instancias de procesamiento Crea varias instancias de procesamiento en una solicitud a la API con selección automática de zona y máquina Compute Engine Reservas, VMs Spot y un organizador personalizado Solicitud de inserción masiva de una sola API o de Google Cloud CLI
  • Aumentos de capacidad de lotes únicos
  • Implementaciones de clústeres personalizados
  • Asignación de hardware de instancias múltiples
Ajuste de escala automático de grupos de nodos de usuario único Ajusta automáticamente la escala de los servidores físicos dedicados para las cargas de trabajo aisladas Compute Engine y GKE Reservas, ajuste de escala automático de MIG, organizador personalizado, escalador automático de clústeres Demanda de recursos de las instancias de procesamiento de invitados
  • Seguridad y cumplimiento de las normativas
  • Optimización de licencias por núcleo o por socket
  • Aislamiento del rendimiento del hardware
Organizador personalizado Controla la creación de instancias de procesamiento, el tamaño de destino del MIG y la eliminación desde tu propio programador, como Ray, SkyPilot o HTCondor Compute Engine y Cluster Director Reservas, ajuste de escala automático de MIG, modo masivo y solicitudes de cambio de tamaño en MIG, creación de instancias de procesamiento masivas, ajuste de escala automático de grupos de nodos de usuario único, modificación de clústeres en vivo Métricas empresariales personalizadas o colas del programador externo
  • Lógica de escalamiento propia
  • Migración del programador local heredado
  • Control detallado del ciclo de vida de los trabajos
Organización de Slurm y nodos dinámicos Ajusta la escala automáticamente de los nodos de procesamiento dinámicos en las particiones de Slurm para trabajos por lotes, de IA y de HPC Cluster Director y Cluster Toolkit Reservas, VMs de inicio flexible, VMs Spot, modificación de clústeres en vivo y reconfiguración de planos en vivo Trabajos de Slurm en cola y tiempos de espera de inactividad de los nodos
  • Cargas de trabajo de HPC
  • Entrenamiento de IA/AA a gran escala
  • Colas de simulación por lotes
Modificación de clústeres en vivo Agrega o cambia el tamaño de las particiones, los conjuntos de nodos, los MIG o los límites de nodos estáticos y dinámicos en un clúster activo Cluster Director Organización de Slurm y nodos dinámicos, modo masivo y solicitudes de cambio de tamaño en MIG, organizador personalizado y reservas Solicitud de actualización de un clúster activo
  • Expansión del clúster de referencia sin interrupción de los trabajos
  • Adiciones de conjuntos de nodos de GPU, TPU o CPU, y de MIG en clústeres activos
Reconfiguración de planos en vivo Actualiza y vuelve a implementar planos para agregar o cambiar el tamaño de las particiones de Slurm, los nodos estáticos o los grupos de nodos de GKE en un clúster activo Cluster Toolkit Orquestación de Slurm y nodos dinámicos, escalador automático de clústeres, reservas Actualización y nueva implementación del plano en un clúster activo
  • Expansión de clústeres de infraestructura como código sin interrupción de trabajos
  • Particiones de Slurm con varias reservas
ComputeClasses personalizadas Define reglas de resguardo de hardware priorizadas, consumo de capacidad y migración de nodos GKE en los modos Standard y Autopilot Escalador automático de clústeres, creación automática de grupos de nodos, aprovisionamiento de inicio flexible en GKE, reservas y búferes de capacidad Pods pendientes que coinciden con un selector ComputeClass o con la disponibilidad de hardware de mayor prioridad
  • Alta disponibilidad en las series de GPU, TPU o CPU
  • Resguardo de reservas a VM Spot o de inicio flexible
  • Migración activa de vuelta al hardware preferido
Escalador automático del clúster Agrega o quita nodos en grupos de nodos existentes GKE en modo Standard y planos de GKE de Cluster Toolkit ComputeClasses personalizadas, reservas, ajuste de escala automático de grupos de nodos de usuario único, HPA, VPA, búferes de capacidad, reducción de escala a cero Pods pendientes o infrautilización de nodos
  • Cargas de trabajo alojadas en contenedores con tráfico variable
  • Aumentos repentinos en la demanda
Creación automática de grupos de nodos Crear y borrar grupos de nodos en paralelo para que coincidan con los requisitos de hardware de los Pods GKE: administrado en modo Autopilot; configurable en modo Standard ComputeClasses personalizadas, reservas, aprovisionamiento de inicio flexible en GKE, HPA, VPA y búferes de capacidad Pods pendientes que requieren series de máquinas, aceleradores o zonas que no están presentes en los grupos de nodos existentes
  • Diversas demandas de cargas de trabajo de GPU, TPU o CPU
  • Clústeres multiusuario que crean varios grupos de nodos en paralelo
Aprovisionamiento de inicio flexible en GKE Obtén GPU, TPU y nodos H4D a medida que se abre la capacidad, por nodo o todos a la vez con el aprovisionamiento en cola GKE en los modos Standard y Autopilot ComputeClasses personalizadas, creación automática de grupos de nodos, escalador automático de clústeres, colas de trabajos de Kueue Pods pendientes o de objetos ProvisioningRequest en cola cuando se abre la capacidad de hardware
  • Entrenamiento y ajuste de modelos de IA/AA
  • Cargas de trabajo de inferencia por lotes
  • Asignación simultánea de aceleradores de varios nodos
Búferes de capacidad Aprovisiona previamente nodos en espera activos o suspendidos para una ubicación y obtención rápidas de Pods GKE en los modos Standard y Autopilot ComputeClasses personalizadas, escalador automático de clústeres, creación automática de grupos de nodos, HPA y reservas Consumo de la capacidad de nodos almacenados en búfer por parte de los Pods programados
  • Aplicaciones sensibles a la latencia
  • Inferencia de IA y cargas de trabajo de agentes
  • Aumentos repentinos de tráfico
Plataforma de procesamiento optimizada para contenedores Acelera la preparación de los nodos y la ubicación de los Pods con la infraestructura administrada y las ComputeClasses Balanced o Scale-Out GKE: Clústeres de Autopilot y cargas de trabajo en modo Autopilot en clústeres de Standard Creación automática de grupos de nodos, HPA, VPA, búferes de capacidad, reservas Pods pendientes que requieren capacidad de procesamiento adicional
  • Escalamiento horizontal rápido de clústeres
  • Cargas de trabajo con demanda de recursos variable
  • Operaciones de infraestructura administrada
HPA Agrega o quita réplicas de Pods para satisfacer la demanda de la carga de trabajo GKE en los modos Standard y Autopilot Escalador automático de clústeres, creación automática de grupos de nodos, MPA, métricas personalizadas y externas, reducción de escala a cero Uso de CPU, uso de memoria o métricas personalizadas y externas
  • Aplicaciones sin estado
  • Servicios web y APIs
  • Volumen de solicitudes variable
VPA Ajusta las solicitudes y los límites de CPU y memoria del contenedor según el uso GKE en los modos Standard y Autopilot Escalador automático de clústeres, creación automática de grupos de nodos, MPA, cambio de tamaño de Pods en el lugar, reservas Uso histórico de CPU y memoria del contenedor
  • Aplicaciones con estado
  • Cargas de trabajo con necesidades de recursos inciertas
  • Optimización de recursos de contenedores
MPA Escala réplicas de Pods en solicitudes de memoria de contenedores y CPU al mismo tiempo GKE en los modos Standard y Autopilot Escalador automático del clúster, creación automática de grupos de nodos, métricas personalizadas y externas Cambios simultáneos en la demanda de CPU y en el uso de memoria de los contenedores
  • Servicios sin estado con tráfico variable y necesidades de memoria cambiantes
Métricas personalizadas y externas Escala réplicas de Pods según los indicadores de la aplicación o del servicio externo GKE en los modos Standard y Autopilot HPA, MPA, reducción de escala a cero, escalador automático de clústeres y creación automática de grupos de nodos Métricas de la aplicación o métricas de tráfico y de colas externas
  • Trabajadores basados en colas, como los consumidores de Pub/Sub
  • APIs web vinculadas a la latencia
  • Objetivos de capacidad de procesamiento de inferencia de IA
Reducción de escala a cero Reduce la escala de los Pods y los grupos de nodos inactivos a cero y actívalos según la demanda o los eventos GKE en los modos Standard y Autopilot HPA, métricas personalizadas y externas, escalador automático de clústeres, creación automática de grupos de nodos Ausencia de demanda o demanda nueva en métricas personalizadas y externas de HPA o activadores de KEDA
  • Cargas de trabajo intermitentes o con aumentos repentinos de actividad
  • Trabajos por lotes controlados por eventos
  • Costo de procesamiento inactivo nulo
Colas de trabajos de Kueue Poner en cola trabajos por lotes, aplicar cuotas de equipo y coordinar la asignación simultánea de nodos GKE en los modos Standard y Autopilot Aprovisionamiento de inicio flexible en GKE, ComputeClasses personalizadas, escalador automático de clústeres y creación automática de grupos de nodos Admite trabajos por lotes cuando se abren la cuota del clúster y la capacidad del hardware.
  • Administración de cuotas de GPU y TPU para varios equipos
  • Trabajos por lotes y de entrenamiento de IA en cola
Cloud Storage FUSE con transmisión paralela Activa buckets de Cloud Storage como sistemas de archivos con lecturas y cachés paralelas GKE en los modos Standard y Autopilot HPA, escalador automático de clústeres, creación automática de grupos de nodos y instantáneas de Pods Inicio de Pods y lecturas de archivos secuenciales desde buckets activados
  • Entrenamiento e inferencia de IA de alta capacidad de procesamiento desde Cloud Storage
  • Acceso a puntos de control de varios nodos
Aumento de CPU de inicio Otorga CPU adicional temporal a los contenedores durante la inicialización GKE en los modos Standard y Autopilot HPA, VPA, escalador automático de clústeres y creación automática de grupos de nodos Fase de inicio e inicialización del contenedor
  • Aplicaciones con altas necesidades de CPU durante el inicio, como el calentamiento de la máquina virtual de Java
  • Escalamiento horizontal de APIs sensibles a la latencia
Transmisión de imágenes Transmite bloques de imágenes de contenedor a pedido desde Artifact Registry durante el inicio del Pod GKE en los modos Standard y Autopilot HPA, escalador automático de clústeres, creación automática de grupos de nodos y búferes de capacidad Extracción de imágenes de contenedor de Artifact Registry cuando se inicia un Pod
  • Imágenes de contenedor de IA/AA grandes
  • Escalamiento horizontal rápido de microservicios
Discos de arranque secundarios Adjunta volúmenes de Persistent Disk precargados con imágenes de contenedor o datos de modelos en el inicio del nodo GKE en los modos Standard y Autopilot ComputeClasses personalizadas, HPA, escalador automático de clústeres, creación automática de grupos de nodos y búferes de capacidad Inicio de nodos en un grupo de nodos configurado con imágenes de disco de arranque secundario
  • Pesos de modelos o conjuntos de datos precargados en los nodos
  • Almacenamiento en caché de la capa de imagen de contenedor base
Cambio de tamaño de Pods in situ Actualiza las asignaciones de CPU y memoria de los contenedores activos sin reiniciar los Pods GKE en los modos Standard y Autopilot VPA, escalador automático de clústeres y creación automática de grupos de nodos Se actualizaron las solicitudes y los límites de CPU o memoria del contenedor
  • Aplicaciones con estado o de larga duración
  • Escala verticalmente sin interrupciones de conexión ni pérdida de estado
Instantáneas de Pods Restablece réplicas de Pods desde puntos de control guardados de la memoria y el sistema de archivos GKE en los modos Standard y Autopilot HPA, escalador automático de clústeres, creación automática de grupos de nodos y búferes de capacidad Creación de réplicas de Pods a partir de una instantánea guardada
  • Servidores de inferencia de IA con tiempos de carga de modelos prolongados
  • Aplicaciones con un calentamiento lento del entorno de ejecución
  • Escalamiento horizontal rápido durante los aumentos repentinos de la demanda
Run:ai Model Streamer Transmite tensores de modelos en paralelo a la memoria de la GPU o TPU GKE en los modos Standard y Autopilot HPA, escalador automático de clústeres, creación automática de grupos de nodos y Volume Populator Inicio del servidor de inferencia de IA y solicitudes de carga de modelos
  • Inferencia de modelos de lenguaje grandes con vLLM
  • Escalamiento horizontal rápido de réplicas de GPU y TPU
Volume Populator Carga previamente volúmenes de Hyperdisk ML con datos de Cloud Storage GKE en los modos Standard y Autopilot HPA, escalador automático de clústeres, creación automática de grupos de nodos y instantáneas de Pods Creación de PersistentVolumeClaim que hace referencia a un recurso GCPDataSource
  • Pesos de modelos de IA/AA precargados
  • Acceso compartido de solo lectura a conjuntos de datos en varios nodos
Políticas de ajuste de escala automático Agrega o quita hosts de ESXi en un clúster de nube privada de VMware VMware Engine Cloud Load Balancing Uso sostenido de CPU, memoria o almacenamiento de vSAN
  • Clústeres de VMware migrados con carga variable
  • Cargas de trabajo de vSphere con uso intensivo de almacenamiento o procesamiento

Prácticas recomendadas para la escalabilidad

Para diseñar una infraestructura que escale sin cuellos de botella ni escasez de capacidad, aplica las prácticas recomendadas de esta sección en la capacidad de procesamiento, el diseño de redes y la arquitectura de las aplicaciones.

Planifica la capacidad de procesamiento y la disponibilidad

Para preparar tu infraestructura para el crecimiento de la demanda y mejorar la obtención de hardware, aplica las siguientes prácticas:

  • Estima las necesidades de tu carga de trabajo: Antes de configurar los escaladores automáticos, mide el uso de referencia y las fluctuaciones máximas. Para inspeccionar el uso histórico, prever la demanda y establecer límites mínimos y máximos precisos de instancias de procesamiento, usa el Planificador de capacidad.

  • Diseña para obtener recursos: Cuando solicites hardware escaso, como GPU o TPU, optimiza el aprovisionamiento de procesamiento en las siguientes tres dimensiones:

    • Flexibilidad de ubicación: Distribuye las cargas de trabajo entre zonas con MIG regionales.

    • Flexibilidad de tipos de máquinas: Permite varias series de máquinas a través de la flexibilidad de instancias de MIG o las ComputeClasses personalizadas de GKE.

    • Flexibilidad de tiempo: Usa el aprovisionamiento de inicio flexible cuando los trabajos puedan esperar la capacidad.

  • Usa reservas para garantizar una alta capacidad: Para el tráfico de referencia, los eventos de escala máxima o las GPU y TPU escasas, reserva capacidad con anticipación. Las reservas proporcionan un nivel alto de seguridad de que los recursos están disponibles en tu zona de destino cuando tus cargas de trabajo se escalan horizontalmente. Si un solo trabajo de Slurm supera una reserva, extiende las particiones de Cluster Toolkit a varias reservas.

  • Prepara la capacidad de reserva para las cargas de trabajo sensibles a la latencia: Si tu aplicación no puede esperar a que se aprovisionen nuevas instancias de procesamiento durante los aumentos repentinos de tráfico, mantén la capacidad de reserva lista para usar. Configura búferes de capacidad de GKE para aprovisionar previamente nodos activos o en espera, o usa grupos en espera en los MIG de Compute Engine para reanudar las instancias de procesamiento suspendidas sin demoras en el inicio completo del sistema operativo.

Diseña redes para el escalamiento

Para mover datos entre recursos escalados sin demoras ni agotamiento de direcciones, aplica las siguientes prácticas de red:

  • Asigna suficientes direcciones IP: Verifica que tus subredes tengan suficientes direcciones IP libres para la cantidad máxima de instancias o nodos en los límites del escalador automático. En GKE, también verifica los rangos de IP secundarios para Pods y Services. Si una subred se queda sin direcciones IP, los escaladores automáticos no pueden crear instancias de procesamiento o Pods nuevos.

  • Elige interfaces de red de alta capacidad de procesamiento: Para las cargas de trabajo que transfieren conjuntos de datos grandes o pesos de modelos entre nodos, selecciona controladores de interfaz de red de ancho de banda alto, como la tarjeta de interfaz de red virtual de Google o el acceso remoto directo a memoria. Estas interfaces reducen la sobrecarga de CPU y aumentan el ancho de banda entre las instancias de procesamiento escaladas.

  • Optimiza la ubicación de las instancias: Para el entrenamiento de IA de varios nodos o los trabajos de HPC, agrupa las instancias de procesamiento en servidores físicos cercanos con políticas de posición compacta o ubicación adaptada a la topología en Cluster Director y Cluster Toolkit. La ubicación física cercana reduce los saltos de red y la latencia en los nodos escalados. En el caso de los servicios web tolerantes a errores, distribuye las instancias de procesamiento entre las zonas para que una interrupción en una sola zona no interrumpa el tráfico.

Diseña aplicaciones para escalar

Para permitir que tus aplicaciones escalen horizontalmente sin interrupciones para los usuarios, aplica las siguientes prácticas de arquitectura:

  • Mantén los niveles de la aplicación sin estado: almacena los datos de la sesión del usuario, los puntos de control y los archivos compartidos en bases de datos o almacenamiento externo, en lugar de en discos de instancias locales. Este diseño permite que los escaladores automáticos agreguen o quiten instancias de procesamiento y Pods en cualquier momento sin pérdida de datos.

  • Desvincula componentes con colas y microservicios: Divide las cargas de trabajo monolíticas en servicios independientes conectados por balanceadores de cargas o colas de mensajes, como Pub/Sub. Esta arquitectura te permite escalar cada servicio según su propia demanda, incluso hasta cero con escaladores automáticos controlados por eventos, y absorber ráfagas de tráfico sin sobrecargar los backends downstream.

  • Acorta los tiempos de inicio del contenedor y de carga del modelo: Reduce la demora entre la creación de recursos y la preparación del tráfico para que la capacidad escalada atienda las solicitudes de inmediato. En GKE, transmite o precarga imágenes de contenedor y usa el aumento de CPU de inicio o las instantáneas de Pods para acelerar la inicialización del entorno de ejecución. Para las cargas de trabajo de IA, transmite los pesos de los modelos de IA desde Cloud Storage FUSE, Run.ai Model Streamer o volúmenes prepropagados.