Présentation de la mise à l'échelle de la demande

Ce document explique comment faire évoluer la capacité de calcul et obtenir des ressources matérielles dans Google Cloud pour maintenir les performances, contrôler les coûts et éviter les temps d'arrêt. Pour gérer une demande variable, vous pouvez effectuer un autoscaling des instances Compute Engine, orchestrer des conteneurs dans Google Kubernetes Engine (GKE) ou des charges de travail dans des clusters, réserver de la capacité à l'avance et répartir le trafic entre les ressources.

Les recommandations de ce document s'appliquent à toutes les options de calcul disponibles, à l'exception de Cloud Run et de Batch, qui gèrent et mettent à l'échelle l'infrastructure de calcul pour vous. Pour en savoir plus sur les options de calcul que vous pouvez utiliser dans Google Cloud avant d'effectuer un scaling, consultez Choisir des options de calcul.

Options de scaling de l'infrastructure de calcul

Pour faire évoluer votre capacité de calcul et améliorer l'obtention des ressources, choisissez parmi les fonctionnalités compatibles avec votre service de calcul. Vous pouvez combiner plusieurs fonctionnalités (par exemple, des réservations, des autoscalers et des équilibreurs de charge) pour répondre aux exigences de votre charge de travail. Si vous souhaitez évaluer ces fonctionnalités côte à côte en fonction de leur objectif, des options de calcul compatibles, des déclencheurs et des cas d'utilisation, consultez la section Comparer les options de scaling de ce document.

Chaque service de calcul fait évoluer la capacité et vous aide à obtenir des ressources à l'aide des options suivantes :

  • Toutes les options de calcul : dans les services de calcul, à l'exception de Cloud Run pour les réservations, vous pouvez bénéficier d'un niveau élevé d'assurance de la disponibilité du matériel à l'avance et acheminer les requêtes des utilisateurs vers des backends opérationnels. Vous pouvez utiliser les options de produits croisés suivantes :

    • Réservations : demandez de la capacité dans une zone spécifique pour une utilisation immédiate ou à une date ultérieure. Les réservations ne sont pas un autoscaler, mais elles vous permettent d'être quasiment certain que du matériel tel que des processeurs graphiques (GPU), des Tensor Processing Units (TPU) et des disques SSD locaux est disponible lorsque vos charges de travail effectuer un scaling horizontal.

    • Répartition du trafic avec Cloud Load Balancing : répartissez les requêtes entrantes entre des instances de calcul, des pools de nœuds ou des conteneurs opérationnels, et acheminez le trafic vers de nouvelles ressources à mesure que la capacité évolue.

  • Compute Engine : vous faites évoluer la capacité lorsque vous créez des instances de machines virtuelles (VM) ou Bare Metal, ou lorsque vous utilisez des groupes d'instances gérés (MIG). Un MIG gère un groupe d'instances de calcul en tant qu'entité unique et peut ajouter ou supprimer de la capacité en fonction de la charge, des planifications ou de la disponibilité du matériel. Pour les charges de travail qui nécessitent une isolation matérielle, vous pouvez également effectuer un autoscaling des groupes de nœuds à locataire unique sur des serveurs physiques dédiés. Vous pouvez utiliser les options suivantes :

    • Autoscaling des MIG : ajoutez ou supprimez des instances de calcul dans un MIG en fonction de l'utilisation du processeur, de la capacité de l'équilibreur de charge, des métriques Cloud Monitoring, des planifications ou des prévisions.

    • Flexibilité des instances de MIG : classez plusieurs types de machines dans un MIG pour améliorer l'obtention des ressources.

    • Mode groupé et requêtes de redimensionnement dans les MIG : ajoutez toutes les instances de calcul demandées dans un MIG en même temps lorsque la capacité totale devient disponible, y compris pour les GPU, les TPU et les instances H4D avec des VM à démarrage flexible.

    • Pools de secours dans les MIG : conservez un pool de secours d'instances de calcul préconfigurées suspendues ou arrêtées dans un MIG pour accélérer le scaling horizontal. Lorsque le trafic ou l'utilisation du processeur augmente, le MIG reprend ou démarre les instances de calcul au lieu d'en créer de nouvelles.

    • Création d'instances de calcul groupées : créez plusieurs instances de calcul dans une seule requête API avec sélection automatique de la zone et du type de machine.

    • Autoscaling de groupes de nœuds à locataire unique : ajoutez ou supprimez des nœuds physiques dédiés à locataire unique en fonction de la demande d'instances de calcul invitées pour maintenir l'isolation matérielle et optimiser les coûts liés au modèle Bring Your Own License.

    • Orchestrateur personnalisé : appelez l'API Compute Engine à partir de vos propres planificateurs ou de planificateurs Open Source pour créer, redimensionner et supprimer des instances de calcul en fonction de files d'attente de jobs personnalisées ou de règles métier.

  • Cluster Director : Google déploie des clusters gérés pour les charges de travail d'intelligence artificielle (IA), de machine learning (ML) et de calcul hautes performances (HPC) qui utilisent l'orchestration Slurm ou l'orchestration de calcul gérée basée sur des MIG zonaux. Dans les clusters Slurm, le planificateur Slurm crée des nœuds de calcul dynamiques lorsque les jobs en file d'attente dépassent les nœuds de référence statiques, et les arrête après cinq minutes d'inactivité. Dans les clusters de calcul gérés, vous exécutez des charges de travail via SSH ou intégrez votre propre programmeur, et vous faites évoluer la capacité lorsque vous ajustez les tailles cibles des MIG. Vous pouvez utiliser les options suivantes :

    • Orchestration de cluster : effectuez un autoscaling des nœuds de calcul dynamiques dans les partitions Slurm gérées en fonction de la demande de la file d'attente de jobs, ou provisionnez des clusters de calcul gérés soutenus par des MIG zonaux pour exécuter des charges de travail via SSH ou intégrer votre propre programmeur.

    • Modification de cluster en direct : mettez à jour un cluster actif pour augmenter le nombre de nœuds statiques ou dynamiques maximal, redimensionnez ou ajoutez des MIG, ajoutez des configurations de ressources de calcul, ou ajoutez des partitions et des ensembles de nœuds sans interrompre les jobs actifs.

    • Options de consommation de capacité : obtenez des nœuds de calcul de cluster via des réservations futures pour des blocs de capacité, des réservations futures en mode Agenda, des VM Flex-start, des VM Spot ou des instances de calcul à la demande.

  • Cluster Toolkit : vous définissez des clusters d'IA, de ML et de HPC autogérés en tant que code avec des plans YAML et des modules Terraform orchestrés par Slurm ou GKE. La capacité évolue en fonction des files d'attente de jobs Slurm ou de la demande de pods Kubernetes, ou lorsque vous modifiez et redéployez votre plan de cluster. Vous pouvez utiliser les options suivantes :

    • Ensembles de nœuds dynamiques Slurm : configurez le module slurm-nodeset-dynamic pour que Slurm crée et supprime des instances de calcul éphémères en fonction des jobs en file d'attente.

    • Autoscaling des pools de nœuds GKE : définissez le nombre minimal et maximal de nœuds dans votre plan avec le module gke-node-pool afin que GKE ajoute ou supprime des nœuds en fonction de l'évolution de la demande de pods.

    • Reconfiguration de plan en direct : mettez à jour et redéployez des plans pour ajouter ou redimensionner des partitions et des nœuds statiques dans un cluster Slurm actif, ou pour redimensionner des pools de nœuds dans un cluster GKE déployé.

    • Partitions Slurm à réservations multiples : regroupez plusieurs ensembles de nœuds basés sur des réservations dans une partition Slurm afin que les jobs volumineux répartissent la capacité entre différentes réservations.

  • GKE : la capacité évolue sur deux couches. Les autoscalers de charge de travail ajustent le nombre d'instances répliquées de pods ou les demandes de ressources de processeur et de mémoire des conteneurs en fonction de l'évolution de la demande. Les autoscalers d'infrastructure ajoutent ou suppriment des nœuds et des pools de nœuds sous-jacents. Google gère la capacité des nœuds pour vous en mode Autopilot, tandis que vous configurez l'autoscaler de cluster, la création automatique de pools de nœuds et les ressources ComputeClass personnalisées en mode Standard. Les accélérateurs de démarrage réduisent également le temps nécessaire aux nouveaux pods avant qu'ils ne diffusent du trafic. Vous pouvez utiliser les options suivantes :

    • Capacité des nœuds et des clusters : ajustez le nombre de nœuds, créez des pools de nœuds et obtenez du matériel doté des fonctionnalités suivantes :

      • ComputeClasses personnalisées : définissez des règles de remplacement de matériel hiérarchisées, des préférences de VM Spot ou de démarrage flexible, la consommation des réservations, la migration active vers du matériel de priorité supérieure et la création automatique de pools de nœuds au niveau de la charge de travail.

      • Autoscaler de cluster : ajoute ou supprime des nœuds dans les pools de nœuds existants en mode Standard lorsque les pods attendent des ressources ou lorsque les nœuds sont sous-utilisés.

      • Création automatique de pools de nœuds : créez et supprimez des pools de nœuds en parallèle en fonction des exigences de processeur, de mémoire, de GPU, de TPU ou de zone des pods en attente.

      • Provisionnement à démarrage flexible : obtenez des GPU, des TPU et des nœuds H4D pendant sept jours maximum, nœud par nœud ou tous en même temps via le provisionnement en file d'attente, et remplacez les nœuds arrivant à expiration via ComputeClasses.

      • Tampons de capacité : préprovisionnez des nœuds de secours actifs ou en veille, y compris des tampons actifs qui s'alignent sur les priorités ComputeClass, afin que les pods en attente soient planifiés sans attendre de nouveaux nœuds.

      • Plate-forme de calcul optimisée pour les conteneurs : accélérez l'allocation des nœuds et l'emplacement des pods avec les ComputeClasses Balanced et Scale-Out pour les clusters Autopilot et les charges de travail en mode Autopilot dans les clusters standards.

      • Nœuds à locataire unique dans GKE : exécutez des pools de nœuds en mode Standard sur des serveurs physiques dédiés pour répondre aux exigences d'isolation ou de licence.

    • Capacité des pods et des charges de travail : ajustez les instances dupliquées de pods, les tailles de conteneurs et les files d'attente de traitement par lot à l'aide des fonctionnalités suivantes :

      • Autoscaling horizontal des pods (AHP) : ajoutez ou supprimez des instances répliquées de pods en fonction de l'utilisation du processeur, de l'utilisation de la mémoire ou de métriques personnalisées.

      • Autoscaling vertical des pods (VPA) : ajustez les demandes et les limites de processeur et de mémoire des conteneurs en fonction de l'historique d'utilisation.

      • Autoscaling multidimensionnel des pods (MPA) : combinez l'autoscaling horizontal des pods (AHP sur le processeur et l'autoscaling vertical des pods (VPA) sur la mémoire pour la même charge de travail en même temps.

      • Métriques personnalisées et externes : déclenchez des décisions de scaling AHP à partir de métriques d'application ou de services externes tels que Pub/Sub et Cloud Load Balancing.

      • Scaling à zéro : effectuez un scaling à la baisse des pods et des pools de nœuds inactifs jusqu'à zéro instance répliquée, puis réactivez-les lorsque la demande reprend dans les métriques personnalisées et externes de AHP;autoscaler horizontal de pods ou dans les déclencheurs de l'autoscaling Kubernetes basé sur les événements (KEDA).

      • Files d'attente de jobs Kueue : mettez en file d'attente les charges de travail par lot et d'IA, partagez les quotas de ressources entre les équipes et coordonnez l'allocation simultanée des nœuds.

    • Accélération du démarrage : réduisez les temps d'initialisation des conteneurs et de chargement des modèles lors du scaling horizontal grâce aux fonctionnalités suivantes :

      • Cloud Storage FUSE avec streaming parallèle : installez des buckets Cloud Storage en tant que systèmes de fichiers locaux avec des lectures parallèles et des caches de fichiers.

      • Optimisation du processeur au démarrage : accordez temporairement un processeur supplémentaire aux conteneurs pendant leur initialisation, puis rétablissez les valeurs de référence des requêtes de processeur.

      • Streaming d'images : diffusez des blocs d'images de conteneur à la demande depuis Artifact Registry afin que les pods démarrent sans attendre le téléchargement complet de l'image.

      • Disques de démarrage secondaires : associez des volumes Persistent Disk préchargés avec des images de conteneurs ou des données de modèle aux nœuds en parallèle lors du démarrage des nœuds.

      • Redimensionnement des pods sur place : mettez à jour les allocations de processeur et de mémoire sur les conteneurs actifs sans redémarrer les pods.

      • Instantanés de pods : restaurez les instances répliquées de pods à partir de points de contrôle de mémoire et de système de fichiers enregistrés au lieu d'un démarrage à froid.

      • Run:ai Model Streamer : diffusez les pondérations du modèle au format safetensors depuis Cloud Storage ou des volumes persistants en parallèle dans la mémoire du GPU ou du TPU.

      • Volume Populator : préchargez les volumes Google Cloud Hyperdisk ML avec des pondérations de modèle et des ensembles de données provenant de Cloud Storage avant le démarrage des pods.

  • Google Cloud VMware Engine : Google gère des clusters de cloud privé VMware dédiés dont la capacité augmente ou diminue à mesure que des hôtes ESXi physiques rejoignent ou quittent le cluster. Pour ajouter ou supprimer des hôtes ESXi lorsque l'utilisation soutenue du processeur, de la mémoire ou l'utilisation de l'espace de stockage vSAN dépasse les seuils configurés, utilisez des règles d'autoscaling.

Comparer les options de scaling

Pour sélectionner l'option de scaling ou d'obtention de ressources qui correspond à vos exigences opérationnelles, comparez les fonctionnalités dans le tableau suivant :

Option de scaling Objectif principal Options de calcul compatibles Options de scaling compatibles Déclencheur de scaling Cas d'utilisation
Réservations Réservez de la capacité de zone pour une utilisation immédiate ou pour une date ultérieure avec un niveau élevé d'assurance de disponibilité Toutes les options de calcul, sauf Cloud Run Toutes les options de scaling Demande de réservation manuelle ou par agenda ; pas un autoscaler
  • Événements de croissance planifiée et de scaling de pointe
  • des migrations volumineuses ;
  • Sauvegarde et reprise après sinistre
  • Ressources très demandées, telles que les GPU et les TPU
Répartition du trafic avec Cloud Load Balancing Répartissez le trafic entrant entre des instances de calcul, des pools de nœuds ou des conteneurs opérationnels. Toutes les options de calcul Toutes les options de scaling Requêtes utilisateur entrantes et vérifications de l'état du backend
  • Applications Web et API à fort trafic
  • Disponibilité multizone et multirégionale
  • Scaling horizontal sans temps d'arrêt
Autoscaling des MIG Ajouter ou supprimer des instances de calcul dans un MIG pour répondre à une demande de charge de travail variable Compute Engine Réservations, flexibilité des instances de MIG, pools de secours dans les MIG, autoscaling des groupes de nœuds à locataire unique, orchestrateur personnalisé Utilisation du processeur, capacité de l'équilibreur de charge, métriques Cloud Monitoring, planifications ou prévisions prédictives
  • Services Web et API
  • Charges de travail par lot parallèles
  • Haute disponibilité multizone
  • Microservices sans état
Flexibilité des instances de MIG Classer plusieurs types de machines dans un MIG pour améliorer la disponibilité des ressources Compute Engine Autoscaling des MIG, réservations, VM Spot Lorsque les types de machines principaux ne disposent pas d'une capacité suffisante lors de la création ou du scaling horizontal d'instances de MIG
  • Disponibilité accrue des instances de calcul
  • Équilibre entre coûts et performances pour les séries de machines
  • Charges de travail Web et par lot sans état
Mode groupé et requêtes de redimensionnement dans les MIG Ajouter toutes les instances de calcul demandées dans un MIG en même temps lorsque la capacité totale devient disponible Compute Engine et Cluster Director Réservations, modification de cluster en direct, orchestrateur personnalisé Taille cible définie en mode groupé ou création d'une requête de redimensionnement, traitée lorsque la capacité matérielle complète est disponible
  • Entraînement de modèles d'IA/ML distribués
  • Jobs multinœuds nécessitant toutes les instances de calcul en même temps
  • Charges de travail GPU, TPU et H4D flexibles dans le temps
Pools de secours dans les MIG Conservez un pool de secours d'instances de calcul suspendues ou arrêtées préconfigurées, prêtes à accélérer le scaling horizontal des MIG Compute Engine Autoscaling des MIG, réservations Redimensionnement manuel ou demande de scaling horizontal du MIG qui rétablit ou démarre les instances de calcul du pool
  • Applications avec initialisation lente du système d'exploitation ou de l'environnement d'exécution
  • Pics de trafic soudains
  • Coût de mise en veille inférieur à celui des instances de calcul inactives actives
Création groupée d'instances de calcul Créer plusieurs instances de calcul dans une seule requête API avec sélection automatique de la zone et de la machine Compute Engine Réservations, VM Spot, orchestrateur personnalisé Requête d'insertion groupée unique via l'API ou la Google Cloud CLI
  • Pics de capacité ponctuels pour les traitements par lot
  • Déploiements de clusters personnalisés
  • Allocation de matériel multi-instance
Autoscaling des groupes de nœuds à locataire unique Effectuer l'autoscaling de serveurs physiques dédiés pour les charges de travail isolées Compute Engine et GKE Réservations, autoscaling des MIG, orchestrateur personnalisé, autoscaler de cluster Demande de ressources des instances de calcul invitées
  • Sécurité et conformité réglementaire
  • Optimisation des licences par cœur ou par socket
  • Isolation des performances matérielles
Orchestrateur personnalisé Contrôlez la création d'instances de calcul, la taille cible du MIG et la suppression à partir de votre propre planificateur, tel que Ray, SkyPilot ou HTCondor. Compute Engine et Cluster Director Réservations, autoscaling des MIG, mode groupé et requêtes de redimensionnement dans les MIG, création d'instances de calcul groupées, autoscaling des groupes de nœuds à locataire unique, modification de cluster en direct Métriques d'entreprise personnalisées ou files d'attente du planificateur externe
  • Logique de scaling propriétaire
  • Migration de l'ancien planificateur sur site
  • Contrôle ultraprécis du cycle de vie des jobs
Orchestration Slurm et nœuds dynamiques Effectuer un autoscaling des nœuds de calcul dynamiques dans les partitions Slurm pour les jobs par lot, d'IA et HPC Cluster Director et Cluster Toolkit Réservations, VM Flex-start, VM Spot, modification de cluster en direct, reconfiguration de plan en direct Jobs Slurm en file d'attente et délais d'inactivité des nœuds
  • Charges de travail HPC
  • Entraînement IA/ML à grande échelle
  • Files d'attente de simulation par lot
Modification de cluster en direct Ajouter ou redimensionner des partitions, des ensembles de nœuds, des MIG ou des limites de nœuds statiques et dynamiques sur un cluster actif Cluster Director Orchestration Slurm et nœuds dynamiques, mode groupé et requêtes de redimensionnement dans les MIG, orchestrateur personnalisé, réservations Demande de mise à jour d'un cluster actif
  • Extension de cluster de référence sans interruption des jobs
  • Ajout de nodesets et de MIG GPU, TPU ou CPU sur des clusters actifs
Reconfiguration du plan en direct Mettre à jour et redéployer des plans pour ajouter ou redimensionner des partitions Slurm, des nœuds statiques ou des pools de nœuds GKE sur un cluster actif Cluster Toolkit Orchestration Slurm et nœuds dynamiques, autoscaler de cluster, réservations Mise à jour et redéploiement d'un plan sur un cluster actif
  • Extension de cluster Infrastructure as Code sans interruption des jobs
  • Partitions Slurm à réservations multiples
ComputeClasses personnalisées Définir des règles de remplacement matériel prioritaires, la consommation de capacité et la migration de nœuds GKE en modes Standard et Autopilot Autoscaler de cluster, création automatique de pools de nœuds, provisionnement à démarrage flexible dans GKE, réservations, tampons de capacité Pods en attente correspondant à un sélecteur ComputeClass ou disponibilité de matériel de priorité plus élevée
  • Haute disponibilité sur les séries de GPU, de TPU ou de CPU
  • Passer des réservations aux VM à démarrage flexible ou Spot
  • Migration active vers le matériel préféré
Autoscaler de cluster Ajouter ou supprimer des nœuds dans des pools de nœuds existants GKE en mode Standard et plans GKE Cluster Toolkit ComputeClasses personnalisées, réservations, autoscaling de groupe de nœuds à locataire unique, AHP, VPA, tampons de capacité, scaling à zéro Pods en attente ou sous-utilisation des nœuds
  • Charges de travail conteneurisées avec un trafic variable
  • Pics soudains de la demande
Création automatique de pools de nœuds Créer et supprimer des pools de nœuds en parallèle pour répondre aux exigences matérielles des pods GKE : géré en mode Autopilot ; configurable en mode Standard ComputeClasses personnalisées, réservations, provisionnement à démarrage flexible dans GKE, AHP, VPA, tampons de capacité Pods en attente nécessitant des séries de machines, des accélérateurs ou des zones absents des pools de nœuds existants
  • Diverses exigences de charge de travail GPU, TPU ou CPU
  • Clusters mutualisés qui créent plusieurs pools de nœuds en parallèle
Provisionnement avec démarrage flexible dans GKE Obtenez des GPU, des TPU et des nœuds H4D à mesure que la capacité se libère, par nœud ou tous en même temps, grâce au provisionnement en file d'attente GKE en modes Standard et Autopilot ComputeClasses personnalisées, création automatique de pools de nœuds, autoscaler de cluster, files d'attente de jobs Kueue Pods en attente ou objets ProvisioningRequest mis en file d'attente lorsque la capacité matérielle s'ouvre
  • Entraînement et affinage de modèles d'IA/ML
  • Charges de travail d'inférence par lot
  • Allocation simultanée d'accélérateurs multinœuds
Tampons de capacité Préprovisionnez des nœuds de secours actifs ou en veille suspendus pour un placement et une disponibilité rapides des pods. GKE en modes Standard et Autopilot ComputeClasses personnalisées, autoscaler de cluster, création automatique de pools de nœuds, AHP, réservations Consommation de la capacité de nœud mise en mémoire tampon par les pods programmés
  • Applications sensibles à la latence
  • Charges de travail d'inférence et d'agent IA
  • Pics de trafic soudains
Plate-forme de calcul optimisée pour les conteneurs Accélérez la préparation des nœuds et l'emplacement des pods avec une infrastructure gérée et des ComputeClasses Balanced ou Scale-Out GKE : clusters Autopilot et charges de travail en mode Autopilot dans les clusters Standard Création automatique de pools de nœuds, AHP, VPA, tampons de capacité, réservations Pods en attente nécessitant une capacité de calcul supplémentaire
  • Scaling horizontal rapide des clusters
  • Charges de travail avec une demande de ressources variable
  • Opérations d'infrastructure gérées
HPA Ajouter ou supprimer des instances répliquées de pods pour répondre à la demande de la charge de travail GKE en modes Standard et Autopilot Autoscaler de cluster, création automatique de pools de nœuds, MPA, métriques personnalisées et externes, scaling à zéro Utilisation du processeur, utilisation de la mémoire, ou métriques personnalisées et externes
  • Applications sans état
  • Services Web et API
  • Volume de requêtes variable
VPA Ajuster les demandes et les limites de processeur et de mémoire des conteneurs en fonction de l'utilisation GKE en modes Standard et Autopilot Autoscaler de cluster, création automatique de pools de nœuds, MPA, redimensionnement de pods sur place, réservations Historique de l'utilisation du processeur et de la mémoire du conteneur
  • Applications avec état
  • Charges de travail dont les besoins en ressources sont incertains
  • Optimisation des ressources des conteneurs
MPA Effectuer un scaling des instances répliquées de pods sur les requêtes de processeur et de mémoire de conteneur en même temps GKE en modes Standard et Autopilot Autoscaler de cluster, création automatique de pools de nœuds, métriques personnalisées et externes Changements simultanés de la demande de processeur et de l'utilisation de la mémoire du conteneur
  • Services sans état avec un trafic variable et des besoins en mémoire changeants
Métriques personnalisées et externes Scaling des instances répliquées de pods en fonction des signaux d'application ou de service externe GKE en modes Standard et Autopilot AHP, MPA, scaling à zéro, autoscaler de cluster, création automatique de pools de nœuds Métriques d'application ou métriques de file d'attente et de trafic externes
  • Workers basés sur une file d'attente, tels que les consommateurs Pub/Sub
  • API Web limitées par la latence
  • Objectifs de débit d'inférence d'IA
Scaling à zéro instance Réduisez à zéro les pods et les pools de nœuds inactifs, et réactivez-les à la demande ou lors d'événements GKE en modes Standard et Autopilot AHP, métriques personnalisées et externes, autoscaler de cluster, création automatique de pools de nœuds Absence de demande ou nouvelle demande dans les métriques personnalisées et externes HPA ou les déclencheurs KEDA
  • Charges de travail intermittentes ou intensives
  • Jobs par lot basés sur des événements
  • Aucun coût de calcul inactif
Files d'attente de jobs Kueue Mettre en file d'attente les jobs par lot, appliquer des quotas d'équipe et coordonner l'allocation simultanée de nœuds GKE en modes Standard et Autopilot Provisionnement avec démarrage flexible dans GKE, ComputeClasses personnalisées, autoscaler de cluster, création automatique de pools de nœuds Jobs par lot acceptés lorsque le quota du cluster et la capacité matérielle sont disponibles
  • Gestion des quotas de GPU et de TPU pour plusieurs équipes
  • Jobs d'entraînement d'IA et jobs par lot mis en file d'attente
Cloud Storage FUSE avec streaming parallèle Installer des buckets Cloud Storage en tant que systèmes de fichiers avec des lectures et des caches parallèles GKE en modes Standard et Autopilot AHP, autoscaler de cluster, création automatique de pools de nœuds, instantanés de pods Démarrage des pods et lectures séquentielles de fichiers à partir de buckets installés
  • Entraînement et inférence d'IA à haut débit depuis Cloud Storage
  • Accès aux points de contrôle multinœuds
Optimisation du CPU au démarrage Accorder temporairement un CPU supplémentaire aux conteneurs lors de l'initialisation GKE en modes Standard et Autopilot AHP, VPA, autoscaler de cluster, création automatique de pools de nœuds Phase de démarrage et d'initialisation du conteneur
  • Applications ayant des besoins élevés en CPU au démarrage, telles que le préchauffage de la machine virtuelle Java
  • Scaling horizontal d'API sensibles à la latence
Streaming d'images Diffuser des blocs d'images de conteneurs à la demande depuis Artifact Registry lors du démarrage du pod GKE en modes Standard et Autopilot AHP, autoscaler de cluster, création automatique de pools de nœuds, tampons de capacité Extraction d'une image de conteneur depuis Artifact Registry au démarrage d'un pod
  • Images de conteneurs d'IA/de ML volumineuses
  • Scaling horizontal rapide des microservices
Disques de démarrage secondaires Associer des volumes de disques persistants préchargés avec des images de conteneurs ou des données de modèle au démarrage du nœud GKE en modes Standard et Autopilot ComputeClasses personnalisées, AHP, autoscaler de cluster, création automatique de pools de nœuds, tampons de capacité Démarrage d'un nœud dans un pool de nœuds configuré avec des images de disque de démarrage secondaires
  • Pondérations de modèle ou ensembles de données préchargés sur les nœuds
  • Mise en cache de la couche d'image de conteneur de base
Redimensionnement des pods sur place Mettre à jour les allocations de processeur et de mémoire des conteneurs actifs sans redémarrer les pods GKE en modes Standard et Autopilot VPA, autoscaler de cluster, création automatique de pools de nœuds Mise à jour des demandes et limites de ressources mémoire ou de processeur pour les conteneurs
  • Applications avec état ou de longue durée
  • Scaling vertical sans perte de connexion ni d'état
Instantanés de pods Restaurer des instances répliquées de pods à partir de points de contrôle de mémoire et de système de fichiers enregistrés GKE en modes Standard et Autopilot AHP, autoscaler de cluster, création automatique de pools de nœuds, tampons de capacité Création d'une instance répliquée de pod à partir d'un instantané enregistré
  • Serveurs d'inférence d'IA avec des temps de chargement de modèle longs
  • Applications avec un préchauffage d'exécution lent
  • Scaling horizontal rapide lors des pics de demande
Run:ai Model Streamer Diffuser des tenseurs de modèle en parallèle dans la mémoire du GPU ou du TPU GKE en modes Standard et Autopilot AHP, autoscaler de cluster, création automatique de pools de nœuds, Volume Populator Démarrage du serveur d'inférence d'IA et requêtes de chargement de modèle
  • Inférence de grand modèle de langage avec vLLM
  • Scaling horizontal rapide des instances répliquées de GPU et de TPU
Volume Populator Précharger des volumes Hyperdisk ML avec des données provenant de Cloud Storage GKE en modes Standard et Autopilot AHP, autoscaler de cluster, création automatique de pools de nœuds, instantanés de pods Création d'un PersistentVolumeClaim qui référence une ressource GCPDataSource
  • Poids de modèle d'IA/de ML préchargés
  • Accès partagé à un ensemble de données en lecture seule sur plusieurs nœuds
Règles d'autoscaling Ajouter ou supprimer des hôtes ESXi dans un cluster de cloud privé VMware VMware Engine Cloud Load Balancing Utilisation soutenue du processeur, de la mémoire ou du stockage vSAN
  • Clusters VMware migrés avec une charge variable
  • Charges de travail vSphere nécessitant beaucoup de ressources de stockage ou de calcul

Bonnes pratiques pour l'évolutivité

Pour concevoir une infrastructure qui évolue sans goulots d'étranglement ni pénuries de capacité, appliquez les bonnes pratiques de cette section à la capacité de calcul, à la conception du réseau et à l'architecture de l'application.

Planifier la capacité de calcul et l'obtention

Pour préparer votre infrastructure à la croissance de la demande et améliorer la disponibilité du matériel, appliquez les pratiques suivantes :

  • Estimez les besoins de votre charge de travail : avant de configurer des autoscalers, mesurez votre utilisation de référence et les fluctuations de pointe. Pour inspecter l'utilisation historique, prévoir la demande et définir des limites minimales et maximales précises pour les instances de calcul, utilisez le planificateur de capacité.

  • Concevoir pour l'obtention de ressources : lorsque vous demandez du matériel rare tel que des GPU ou des TPU, optimisez le provisionnement de calcul selon les trois dimensions suivantes :

    • Flexibilité de l'emplacement : répartissez les charges de travail entre les zones avec des MIG régionaux.

    • Flexibilité des types de machines : autorisez plusieurs séries de machines grâce à la flexibilité des instances de MIG ou aux ComputeClasses personnalisées de GKE.

    • Flexibilité temporelle : utilisez le provisionnement de démarrage flexible lorsque les jobs peuvent attendre que la capacité soit disponible.

  • Utilisez des réservations pour garantir une capacité élevée : pour le trafic de référence, les événements à grande échelle ou les GPU et TPU rares, réservez de la capacité à l'avance. Les réservations offrent un niveau élevé d'assurance que les ressources sont disponibles dans votre zone cible lorsque vos charges de travail effectuer un scaling horizontal. Si un seul job Slurm dépasse une réservation, répartissez les partitions Cluster Toolkit sur plusieurs réservations.

  • Préchauffez la capacité de réserve pour les charges de travail sensibles à la latence : si votre application ne peut pas attendre que de nouvelles instances de calcul soient provisionnées lors de pics de trafic soudains, conservez une capacité de réserve prête à l'emploi. Configurez des tampons de capacité GKE pour préprovisionner des nœuds actifs ou de secours, ou utilisez des pools de secours dans les MIG Compute Engine pour reprendre les instances de calcul suspendues sans les délais de démarrage complet du système d'exploitation.

Concevoir des réseaux pour la mise à l'échelle

Pour déplacer des données entre des ressources mises à l'échelle sans délai ni épuisement des adresses, appliquez les pratiques réseau suivantes :

  • Allouez suffisamment d'adresses IP : vérifiez que vos sous-réseaux disposent de suffisamment d'adresses IP libres pour le nombre maximal d'instances ou de nœuds dans les limites de votre autoscaler. Dans GKE, vérifiez également les plages d'adresses IP secondaires pour les pods et les services. Si un sous-réseau manque d'adresses IP, les autoscalers ne parviennent pas à créer d'instances de calcul ni de pods.

  • Choisissez des interfaces réseau à haut débit : pour les charges de travail qui transfèrent de grands ensembles de données ou des pondérations de modèle entre les nœuds, sélectionnez des contrôleurs d'interface réseau à haut débit, tels que la carte d'interface réseau virtuelle Google ou l'accès direct à la mémoire à distance. Ces interfaces réduisent la surcharge du processeur et augmentent la bande passante entre les instances de calcul mises à l'échelle.

  • Optimiser l'emplacement des instances : pour les jobs d'entraînement d'IA ou HPC multinœuds, regroupez les instances de calcul sur des serveurs physiques proches les uns des autres avec des stratégies d'emplacement compact ou un emplacement basé sur la topologie dans Cluster Director et Cluster Toolkit. Un emplacement physique proche réduit les sauts réseau et la latence entre les nœuds mis à l'échelle. Pour les services Web tolérants aux pannes, répartissez plutôt les instances de calcul entre les zones afin qu'une panne d'une seule zone n'interrompe pas le trafic.

Concevoir des applications évolutives

Pour permettre à vos applications d'effectuer un scaling horizontal sans interruption pour l'utilisateur, appliquez les pratiques d'architecture suivantes :

  • Conservez les niveaux d'application sans état : stockez les données de session utilisateur, les points de contrôle et les fichiers partagés dans un espace de stockage ou des bases de données externes plutôt que sur des disques d'instances locaux. Cette conception permet aux autoscalers d'ajouter ou de supprimer des instances de calcul et des pods à tout moment sans perte de données.

  • Dissociez les composants avec des files d'attente et des microservices : divisez les charges de travail monolithiques en services indépendants connectés par des équilibreurs de charge ou des files d'attente de messages telles que Pub/Sub. Cette architecture vous permet de faire évoluer chaque service en fonction de sa propre demande (y compris jusqu'à zéro avec des autoscalers basés sur les événements) et d'absorber les pics de trafic sans surcharger les backends en aval.

  • Réduisez les temps de démarrage des conteneurs et de chargement des modèles : réduisez le délai entre la création des ressources et la disponibilité du trafic afin que la capacité mise à l'échelle réponde immédiatement aux requêtes. Dans GKE, diffusez ou préchargez des images de conteneurs, et utilisez l'accélération du démarrage du processeur ou des instantanés de pods pour accélérer l'initialisation de l'environnement d'exécution. Pour les charges de travail d'IA, diffusez les pondérations de modèles depuis Cloud Storage FUSE, Run:ai Model Streamer ou des volumes préremplis.