Ce document explique comment faire évoluer la capacité de calcul et obtenir des ressources matérielles dans Google Cloud pour maintenir les performances, contrôler les coûts et éviter les temps d'arrêt. Pour gérer une demande variable, vous pouvez effectuer un autoscaling des instances Compute Engine, orchestrer des conteneurs dans Google Kubernetes Engine (GKE) ou des charges de travail dans des clusters, réserver de la capacité à l'avance et répartir le trafic entre les ressources.
Les recommandations de ce document s'appliquent à toutes les options de calcul disponibles, à l'exception de Cloud Run et de Batch, qui gèrent et mettent à l'échelle l'infrastructure de calcul pour vous. Pour en savoir plus sur les options de calcul que vous pouvez utiliser dans Google Cloud avant d'effectuer un scaling, consultez Choisir des options de calcul.
Options de scaling de l'infrastructure de calcul
Pour faire évoluer votre capacité de calcul et améliorer l'obtention des ressources, choisissez parmi les fonctionnalités compatibles avec votre service de calcul. Vous pouvez combiner plusieurs fonctionnalités (par exemple, des réservations, des autoscalers et des équilibreurs de charge) pour répondre aux exigences de votre charge de travail. Si vous souhaitez évaluer ces fonctionnalités côte à côte en fonction de leur objectif, des options de calcul compatibles, des déclencheurs et des cas d'utilisation, consultez la section Comparer les options de scaling de ce document.
Chaque service de calcul fait évoluer la capacité et vous aide à obtenir des ressources à l'aide des options suivantes :
Toutes les options de calcul : dans les services de calcul, à l'exception de Cloud Run pour les réservations, vous pouvez bénéficier d'un niveau élevé d'assurance de la disponibilité du matériel à l'avance et acheminer les requêtes des utilisateurs vers des backends opérationnels. Vous pouvez utiliser les options de produits croisés suivantes :
Réservations : demandez de la capacité dans une zone spécifique pour une utilisation immédiate ou à une date ultérieure. Les réservations ne sont pas un autoscaler, mais elles vous permettent d'être quasiment certain que du matériel tel que des processeurs graphiques (GPU), des Tensor Processing Units (TPU) et des disques SSD locaux est disponible lorsque vos charges de travail effectuer un scaling horizontal.
Répartition du trafic avec Cloud Load Balancing : répartissez les requêtes entrantes entre des instances de calcul, des pools de nœuds ou des conteneurs opérationnels, et acheminez le trafic vers de nouvelles ressources à mesure que la capacité évolue.
Compute Engine : vous faites évoluer la capacité lorsque vous créez des instances de machines virtuelles (VM) ou Bare Metal, ou lorsque vous utilisez des groupes d'instances gérés (MIG). Un MIG gère un groupe d'instances de calcul en tant qu'entité unique et peut ajouter ou supprimer de la capacité en fonction de la charge, des planifications ou de la disponibilité du matériel. Pour les charges de travail qui nécessitent une isolation matérielle, vous pouvez également effectuer un autoscaling des groupes de nœuds à locataire unique sur des serveurs physiques dédiés. Vous pouvez utiliser les options suivantes :
Autoscaling des MIG : ajoutez ou supprimez des instances de calcul dans un MIG en fonction de l'utilisation du processeur, de la capacité de l'équilibreur de charge, des métriques Cloud Monitoring, des planifications ou des prévisions.
Flexibilité des instances de MIG : classez plusieurs types de machines dans un MIG pour améliorer l'obtention des ressources.
Mode groupé et requêtes de redimensionnement dans les MIG : ajoutez toutes les instances de calcul demandées dans un MIG en même temps lorsque la capacité totale devient disponible, y compris pour les GPU, les TPU et les instances H4D avec des VM à démarrage flexible.
Pools de secours dans les MIG : conservez un pool de secours d'instances de calcul préconfigurées suspendues ou arrêtées dans un MIG pour accélérer le scaling horizontal. Lorsque le trafic ou l'utilisation du processeur augmente, le MIG reprend ou démarre les instances de calcul au lieu d'en créer de nouvelles.
Création d'instances de calcul groupées : créez plusieurs instances de calcul dans une seule requête API avec sélection automatique de la zone et du type de machine.
Autoscaling de groupes de nœuds à locataire unique : ajoutez ou supprimez des nœuds physiques dédiés à locataire unique en fonction de la demande d'instances de calcul invitées pour maintenir l'isolation matérielle et optimiser les coûts liés au modèle Bring Your Own License.
Orchestrateur personnalisé : appelez l'API Compute Engine à partir de vos propres planificateurs ou de planificateurs Open Source pour créer, redimensionner et supprimer des instances de calcul en fonction de files d'attente de jobs personnalisées ou de règles métier.
Cluster Director : Google déploie des clusters gérés pour les charges de travail d'intelligence artificielle (IA), de machine learning (ML) et de calcul hautes performances (HPC) qui utilisent l'orchestration Slurm ou l'orchestration de calcul gérée basée sur des MIG zonaux. Dans les clusters Slurm, le planificateur Slurm crée des nœuds de calcul dynamiques lorsque les jobs en file d'attente dépassent les nœuds de référence statiques, et les arrête après cinq minutes d'inactivité. Dans les clusters de calcul gérés, vous exécutez des charges de travail via SSH ou intégrez votre propre programmeur, et vous faites évoluer la capacité lorsque vous ajustez les tailles cibles des MIG. Vous pouvez utiliser les options suivantes :
Orchestration de cluster : effectuez un autoscaling des nœuds de calcul dynamiques dans les partitions Slurm gérées en fonction de la demande de la file d'attente de jobs, ou provisionnez des clusters de calcul gérés soutenus par des MIG zonaux pour exécuter des charges de travail via SSH ou intégrer votre propre programmeur.
Modification de cluster en direct : mettez à jour un cluster actif pour augmenter le nombre de nœuds statiques ou dynamiques maximal, redimensionnez ou ajoutez des MIG, ajoutez des configurations de ressources de calcul, ou ajoutez des partitions et des ensembles de nœuds sans interrompre les jobs actifs.
Options de consommation de capacité : obtenez des nœuds de calcul de cluster via des réservations futures pour des blocs de capacité, des réservations futures en mode Agenda, des VM Flex-start, des VM Spot ou des instances de calcul à la demande.
Cluster Toolkit : vous définissez des clusters d'IA, de ML et de HPC autogérés en tant que code avec des plans YAML et des modules Terraform orchestrés par Slurm ou GKE. La capacité évolue en fonction des files d'attente de jobs Slurm ou de la demande de pods Kubernetes, ou lorsque vous modifiez et redéployez votre plan de cluster. Vous pouvez utiliser les options suivantes :
Ensembles de nœuds dynamiques Slurm : configurez le module
slurm-nodeset-dynamicpour que Slurm crée et supprime des instances de calcul éphémères en fonction des jobs en file d'attente.Autoscaling des pools de nœuds GKE : définissez le nombre minimal et maximal de nœuds dans votre plan avec le module
gke-node-poolafin que GKE ajoute ou supprime des nœuds en fonction de l'évolution de la demande de pods.Reconfiguration de plan en direct : mettez à jour et redéployez des plans pour ajouter ou redimensionner des partitions et des nœuds statiques dans un cluster Slurm actif, ou pour redimensionner des pools de nœuds dans un cluster GKE déployé.
Partitions Slurm à réservations multiples : regroupez plusieurs ensembles de nœuds basés sur des réservations dans une partition Slurm afin que les jobs volumineux répartissent la capacité entre différentes réservations.
GKE : la capacité évolue sur deux couches. Les autoscalers de charge de travail ajustent le nombre d'instances répliquées de pods ou les demandes de ressources de processeur et de mémoire des conteneurs en fonction de l'évolution de la demande. Les autoscalers d'infrastructure ajoutent ou suppriment des nœuds et des pools de nœuds sous-jacents. Google gère la capacité des nœuds pour vous en mode Autopilot, tandis que vous configurez l'autoscaler de cluster, la création automatique de pools de nœuds et les ressources
ComputeClasspersonnalisées en mode Standard. Les accélérateurs de démarrage réduisent également le temps nécessaire aux nouveaux pods avant qu'ils ne diffusent du trafic. Vous pouvez utiliser les options suivantes :Capacité des nœuds et des clusters : ajustez le nombre de nœuds, créez des pools de nœuds et obtenez du matériel doté des fonctionnalités suivantes :
ComputeClasses personnalisées : définissez des règles de remplacement de matériel hiérarchisées, des préférences de VM Spot ou de démarrage flexible, la consommation des réservations, la migration active vers du matériel de priorité supérieure et la création automatique de pools de nœuds au niveau de la charge de travail.
Autoscaler de cluster : ajoute ou supprime des nœuds dans les pools de nœuds existants en mode Standard lorsque les pods attendent des ressources ou lorsque les nœuds sont sous-utilisés.
Création automatique de pools de nœuds : créez et supprimez des pools de nœuds en parallèle en fonction des exigences de processeur, de mémoire, de GPU, de TPU ou de zone des pods en attente.
Provisionnement à démarrage flexible : obtenez des GPU, des TPU et des nœuds H4D pendant sept jours maximum, nœud par nœud ou tous en même temps via le provisionnement en file d'attente, et remplacez les nœuds arrivant à expiration via ComputeClasses.
Tampons de capacité : préprovisionnez des nœuds de secours actifs ou en veille, y compris des tampons actifs qui s'alignent sur les priorités
ComputeClass, afin que les pods en attente soient planifiés sans attendre de nouveaux nœuds.Plate-forme de calcul optimisée pour les conteneurs : accélérez l'allocation des nœuds et l'emplacement des pods avec les ComputeClasses
BalancedetScale-Outpour les clusters Autopilot et les charges de travail en mode Autopilot dans les clusters standards.Nœuds à locataire unique dans GKE : exécutez des pools de nœuds en mode Standard sur des serveurs physiques dédiés pour répondre aux exigences d'isolation ou de licence.
Capacité des pods et des charges de travail : ajustez les instances dupliquées de pods, les tailles de conteneurs et les files d'attente de traitement par lot à l'aide des fonctionnalités suivantes :
Autoscaling horizontal des pods (AHP) : ajoutez ou supprimez des instances répliquées de pods en fonction de l'utilisation du processeur, de l'utilisation de la mémoire ou de métriques personnalisées.
Autoscaling vertical des pods (VPA) : ajustez les demandes et les limites de processeur et de mémoire des conteneurs en fonction de l'historique d'utilisation.
Autoscaling multidimensionnel des pods (MPA) : combinez l'autoscaling horizontal des pods (AHP sur le processeur et l'autoscaling vertical des pods (VPA) sur la mémoire pour la même charge de travail en même temps.
Métriques personnalisées et externes : déclenchez des décisions de scaling AHP à partir de métriques d'application ou de services externes tels que Pub/Sub et Cloud Load Balancing.
Scaling à zéro : effectuez un scaling à la baisse des pods et des pools de nœuds inactifs jusqu'à zéro instance répliquée, puis réactivez-les lorsque la demande reprend dans les métriques personnalisées et externes de AHP;autoscaler horizontal de pods ou dans les déclencheurs de l'autoscaling Kubernetes basé sur les événements (KEDA).
Files d'attente de jobs Kueue : mettez en file d'attente les charges de travail par lot et d'IA, partagez les quotas de ressources entre les équipes et coordonnez l'allocation simultanée des nœuds.
Accélération du démarrage : réduisez les temps d'initialisation des conteneurs et de chargement des modèles lors du scaling horizontal grâce aux fonctionnalités suivantes :
Cloud Storage FUSE avec streaming parallèle : installez des buckets Cloud Storage en tant que systèmes de fichiers locaux avec des lectures parallèles et des caches de fichiers.
Optimisation du processeur au démarrage : accordez temporairement un processeur supplémentaire aux conteneurs pendant leur initialisation, puis rétablissez les valeurs de référence des requêtes de processeur.
Streaming d'images : diffusez des blocs d'images de conteneur à la demande depuis Artifact Registry afin que les pods démarrent sans attendre le téléchargement complet de l'image.
Disques de démarrage secondaires : associez des volumes Persistent Disk préchargés avec des images de conteneurs ou des données de modèle aux nœuds en parallèle lors du démarrage des nœuds.
Redimensionnement des pods sur place : mettez à jour les allocations de processeur et de mémoire sur les conteneurs actifs sans redémarrer les pods.
Instantanés de pods : restaurez les instances répliquées de pods à partir de points de contrôle de mémoire et de système de fichiers enregistrés au lieu d'un démarrage à froid.
Run:ai Model Streamer : diffusez les pondérations du modèle au format
safetensorsdepuis Cloud Storage ou des volumes persistants en parallèle dans la mémoire du GPU ou du TPU.Volume Populator : préchargez les volumes Google Cloud Hyperdisk ML avec des pondérations de modèle et des ensembles de données provenant de Cloud Storage avant le démarrage des pods.
Google Cloud VMware Engine : Google gère des clusters de cloud privé VMware dédiés dont la capacité augmente ou diminue à mesure que des hôtes ESXi physiques rejoignent ou quittent le cluster. Pour ajouter ou supprimer des hôtes ESXi lorsque l'utilisation soutenue du processeur, de la mémoire ou l'utilisation de l'espace de stockage vSAN dépasse les seuils configurés, utilisez des règles d'autoscaling.
Comparer les options de scaling
Pour sélectionner l'option de scaling ou d'obtention de ressources qui correspond à vos exigences opérationnelles, comparez les fonctionnalités dans le tableau suivant :
| Option de scaling | Objectif principal | Options de calcul compatibles | Options de scaling compatibles | Déclencheur de scaling | Cas d'utilisation |
|---|---|---|---|---|---|
| Réservations | Réservez de la capacité de zone pour une utilisation immédiate ou pour une date ultérieure avec un niveau élevé d'assurance de disponibilité | Toutes les options de calcul, sauf Cloud Run | Toutes les options de scaling | Demande de réservation manuelle ou par agenda ; pas un autoscaler |
|
| Répartition du trafic avec Cloud Load Balancing | Répartissez le trafic entrant entre des instances de calcul, des pools de nœuds ou des conteneurs opérationnels. | Toutes les options de calcul | Toutes les options de scaling | Requêtes utilisateur entrantes et vérifications de l'état du backend |
|
| Autoscaling des MIG | Ajouter ou supprimer des instances de calcul dans un MIG pour répondre à une demande de charge de travail variable | Compute Engine | Réservations, flexibilité des instances de MIG, pools de secours dans les MIG, autoscaling des groupes de nœuds à locataire unique, orchestrateur personnalisé | Utilisation du processeur, capacité de l'équilibreur de charge, métriques Cloud Monitoring, planifications ou prévisions prédictives |
|
| Flexibilité des instances de MIG | Classer plusieurs types de machines dans un MIG pour améliorer la disponibilité des ressources | Compute Engine | Autoscaling des MIG, réservations, VM Spot | Lorsque les types de machines principaux ne disposent pas d'une capacité suffisante lors de la création ou du scaling horizontal d'instances de MIG |
|
| Mode groupé et requêtes de redimensionnement dans les MIG | Ajouter toutes les instances de calcul demandées dans un MIG en même temps lorsque la capacité totale devient disponible | Compute Engine et Cluster Director | Réservations, modification de cluster en direct, orchestrateur personnalisé | Taille cible définie en mode groupé ou création d'une requête de redimensionnement, traitée lorsque la capacité matérielle complète est disponible |
|
| Pools de secours dans les MIG | Conservez un pool de secours d'instances de calcul suspendues ou arrêtées préconfigurées, prêtes à accélérer le scaling horizontal des MIG | Compute Engine | Autoscaling des MIG, réservations | Redimensionnement manuel ou demande de scaling horizontal du MIG qui rétablit ou démarre les instances de calcul du pool |
|
| Création groupée d'instances de calcul | Créer plusieurs instances de calcul dans une seule requête API avec sélection automatique de la zone et de la machine | Compute Engine | Réservations, VM Spot, orchestrateur personnalisé | Requête d'insertion groupée unique via l'API ou la Google Cloud CLI |
|
| Autoscaling des groupes de nœuds à locataire unique | Effectuer l'autoscaling de serveurs physiques dédiés pour les charges de travail isolées | Compute Engine et GKE | Réservations, autoscaling des MIG, orchestrateur personnalisé, autoscaler de cluster | Demande de ressources des instances de calcul invitées |
|
| Orchestrateur personnalisé | Contrôlez la création d'instances de calcul, la taille cible du MIG et la suppression à partir de votre propre planificateur, tel que Ray, SkyPilot ou HTCondor. | Compute Engine et Cluster Director | Réservations, autoscaling des MIG, mode groupé et requêtes de redimensionnement dans les MIG, création d'instances de calcul groupées, autoscaling des groupes de nœuds à locataire unique, modification de cluster en direct | Métriques d'entreprise personnalisées ou files d'attente du planificateur externe |
|
| Orchestration Slurm et nœuds dynamiques | Effectuer un autoscaling des nœuds de calcul dynamiques dans les partitions Slurm pour les jobs par lot, d'IA et HPC | Cluster Director et Cluster Toolkit | Réservations, VM Flex-start, VM Spot, modification de cluster en direct, reconfiguration de plan en direct | Jobs Slurm en file d'attente et délais d'inactivité des nœuds |
|
| Modification de cluster en direct | Ajouter ou redimensionner des partitions, des ensembles de nœuds, des MIG ou des limites de nœuds statiques et dynamiques sur un cluster actif | Cluster Director | Orchestration Slurm et nœuds dynamiques, mode groupé et requêtes de redimensionnement dans les MIG, orchestrateur personnalisé, réservations | Demande de mise à jour d'un cluster actif |
|
| Reconfiguration du plan en direct | Mettre à jour et redéployer des plans pour ajouter ou redimensionner des partitions Slurm, des nœuds statiques ou des pools de nœuds GKE sur un cluster actif | Cluster Toolkit | Orchestration Slurm et nœuds dynamiques, autoscaler de cluster, réservations | Mise à jour et redéploiement d'un plan sur un cluster actif |
|
| ComputeClasses personnalisées | Définir des règles de remplacement matériel prioritaires, la consommation de capacité et la migration de nœuds | GKE en modes Standard et Autopilot | Autoscaler de cluster, création automatique de pools de nœuds, provisionnement à démarrage flexible dans GKE, réservations, tampons de capacité | Pods en attente correspondant à un sélecteur ComputeClass ou disponibilité de matériel de priorité plus élevée |
|
| Autoscaler de cluster | Ajouter ou supprimer des nœuds dans des pools de nœuds existants | GKE en mode Standard et plans GKE Cluster Toolkit | ComputeClasses personnalisées, réservations, autoscaling de groupe de nœuds à locataire unique, AHP, VPA, tampons de capacité, scaling à zéro | Pods en attente ou sous-utilisation des nœuds |
|
| Création automatique de pools de nœuds | Créer et supprimer des pools de nœuds en parallèle pour répondre aux exigences matérielles des pods | GKE : géré en mode Autopilot ; configurable en mode Standard | ComputeClasses personnalisées, réservations, provisionnement à démarrage flexible dans GKE, AHP, VPA, tampons de capacité | Pods en attente nécessitant des séries de machines, des accélérateurs ou des zones absents des pools de nœuds existants |
|
| Provisionnement avec démarrage flexible dans GKE | Obtenez des GPU, des TPU et des nœuds H4D à mesure que la capacité se libère, par nœud ou tous en même temps, grâce au provisionnement en file d'attente | GKE en modes Standard et Autopilot | ComputeClasses personnalisées, création automatique de pools de nœuds, autoscaler de cluster, files d'attente de jobs Kueue | Pods en attente ou objets ProvisioningRequest mis en file d'attente lorsque la capacité matérielle s'ouvre |
|
| Tampons de capacité | Préprovisionnez des nœuds de secours actifs ou en veille suspendus pour un placement et une disponibilité rapides des pods. | GKE en modes Standard et Autopilot | ComputeClasses personnalisées, autoscaler de cluster, création automatique de pools de nœuds, AHP, réservations | Consommation de la capacité de nœud mise en mémoire tampon par les pods programmés |
|
| Plate-forme de calcul optimisée pour les conteneurs | Accélérez la préparation des nœuds et l'emplacement des pods avec une infrastructure gérée et des ComputeClasses Balanced ou Scale-Out |
GKE : clusters Autopilot et charges de travail en mode Autopilot dans les clusters Standard | Création automatique de pools de nœuds, AHP, VPA, tampons de capacité, réservations | Pods en attente nécessitant une capacité de calcul supplémentaire |
|
| HPA | Ajouter ou supprimer des instances répliquées de pods pour répondre à la demande de la charge de travail | GKE en modes Standard et Autopilot | Autoscaler de cluster, création automatique de pools de nœuds, MPA, métriques personnalisées et externes, scaling à zéro | Utilisation du processeur, utilisation de la mémoire, ou métriques personnalisées et externes |
|
| VPA | Ajuster les demandes et les limites de processeur et de mémoire des conteneurs en fonction de l'utilisation | GKE en modes Standard et Autopilot | Autoscaler de cluster, création automatique de pools de nœuds, MPA, redimensionnement de pods sur place, réservations | Historique de l'utilisation du processeur et de la mémoire du conteneur |
|
| MPA | Effectuer un scaling des instances répliquées de pods sur les requêtes de processeur et de mémoire de conteneur en même temps | GKE en modes Standard et Autopilot | Autoscaler de cluster, création automatique de pools de nœuds, métriques personnalisées et externes | Changements simultanés de la demande de processeur et de l'utilisation de la mémoire du conteneur |
|
| Métriques personnalisées et externes | Scaling des instances répliquées de pods en fonction des signaux d'application ou de service externe | GKE en modes Standard et Autopilot | AHP, MPA, scaling à zéro, autoscaler de cluster, création automatique de pools de nœuds | Métriques d'application ou métriques de file d'attente et de trafic externes |
|
| Scaling à zéro instance | Réduisez à zéro les pods et les pools de nœuds inactifs, et réactivez-les à la demande ou lors d'événements | GKE en modes Standard et Autopilot | AHP, métriques personnalisées et externes, autoscaler de cluster, création automatique de pools de nœuds | Absence de demande ou nouvelle demande dans les métriques personnalisées et externes HPA ou les déclencheurs KEDA |
|
| Files d'attente de jobs Kueue | Mettre en file d'attente les jobs par lot, appliquer des quotas d'équipe et coordonner l'allocation simultanée de nœuds | GKE en modes Standard et Autopilot | Provisionnement avec démarrage flexible dans GKE, ComputeClasses personnalisées, autoscaler de cluster, création automatique de pools de nœuds | Jobs par lot acceptés lorsque le quota du cluster et la capacité matérielle sont disponibles |
|
| Cloud Storage FUSE avec streaming parallèle | Installer des buckets Cloud Storage en tant que systèmes de fichiers avec des lectures et des caches parallèles | GKE en modes Standard et Autopilot | AHP, autoscaler de cluster, création automatique de pools de nœuds, instantanés de pods | Démarrage des pods et lectures séquentielles de fichiers à partir de buckets installés |
|
| Optimisation du CPU au démarrage | Accorder temporairement un CPU supplémentaire aux conteneurs lors de l'initialisation | GKE en modes Standard et Autopilot | AHP, VPA, autoscaler de cluster, création automatique de pools de nœuds | Phase de démarrage et d'initialisation du conteneur |
|
| Streaming d'images | Diffuser des blocs d'images de conteneurs à la demande depuis Artifact Registry lors du démarrage du pod | GKE en modes Standard et Autopilot | AHP, autoscaler de cluster, création automatique de pools de nœuds, tampons de capacité | Extraction d'une image de conteneur depuis Artifact Registry au démarrage d'un pod |
|
| Disques de démarrage secondaires | Associer des volumes de disques persistants préchargés avec des images de conteneurs ou des données de modèle au démarrage du nœud | GKE en modes Standard et Autopilot | ComputeClasses personnalisées, AHP, autoscaler de cluster, création automatique de pools de nœuds, tampons de capacité | Démarrage d'un nœud dans un pool de nœuds configuré avec des images de disque de démarrage secondaires |
|
| Redimensionnement des pods sur place | Mettre à jour les allocations de processeur et de mémoire des conteneurs actifs sans redémarrer les pods | GKE en modes Standard et Autopilot | VPA, autoscaler de cluster, création automatique de pools de nœuds | Mise à jour des demandes et limites de ressources mémoire ou de processeur pour les conteneurs |
|
| Instantanés de pods | Restaurer des instances répliquées de pods à partir de points de contrôle de mémoire et de système de fichiers enregistrés | GKE en modes Standard et Autopilot | AHP, autoscaler de cluster, création automatique de pools de nœuds, tampons de capacité | Création d'une instance répliquée de pod à partir d'un instantané enregistré |
|
| Run:ai Model Streamer | Diffuser des tenseurs de modèle en parallèle dans la mémoire du GPU ou du TPU | GKE en modes Standard et Autopilot | AHP, autoscaler de cluster, création automatique de pools de nœuds, Volume Populator | Démarrage du serveur d'inférence d'IA et requêtes de chargement de modèle |
|
| Volume Populator | Précharger des volumes Hyperdisk ML avec des données provenant de Cloud Storage | GKE en modes Standard et Autopilot | AHP, autoscaler de cluster, création automatique de pools de nœuds, instantanés de pods | Création d'un PersistentVolumeClaim qui référence une ressource GCPDataSource |
|
| Règles d'autoscaling | Ajouter ou supprimer des hôtes ESXi dans un cluster de cloud privé VMware | VMware Engine | Cloud Load Balancing | Utilisation soutenue du processeur, de la mémoire ou du stockage vSAN |
|
Bonnes pratiques pour l'évolutivité
Pour concevoir une infrastructure qui évolue sans goulots d'étranglement ni pénuries de capacité, appliquez les bonnes pratiques de cette section à la capacité de calcul, à la conception du réseau et à l'architecture de l'application.
Planifier la capacité de calcul et l'obtention
Pour préparer votre infrastructure à la croissance de la demande et améliorer la disponibilité du matériel, appliquez les pratiques suivantes :
Estimez les besoins de votre charge de travail : avant de configurer des autoscalers, mesurez votre utilisation de référence et les fluctuations de pointe. Pour inspecter l'utilisation historique, prévoir la demande et définir des limites minimales et maximales précises pour les instances de calcul, utilisez le planificateur de capacité.
Concevoir pour l'obtention de ressources : lorsque vous demandez du matériel rare tel que des GPU ou des TPU, optimisez le provisionnement de calcul selon les trois dimensions suivantes :
Flexibilité de l'emplacement : répartissez les charges de travail entre les zones avec des MIG régionaux.
Flexibilité des types de machines : autorisez plusieurs séries de machines grâce à la flexibilité des instances de MIG ou aux ComputeClasses personnalisées de GKE.
Flexibilité temporelle : utilisez le provisionnement de démarrage flexible lorsque les jobs peuvent attendre que la capacité soit disponible.
Utilisez des réservations pour garantir une capacité élevée : pour le trafic de référence, les événements à grande échelle ou les GPU et TPU rares, réservez de la capacité à l'avance. Les réservations offrent un niveau élevé d'assurance que les ressources sont disponibles dans votre zone cible lorsque vos charges de travail effectuer un scaling horizontal. Si un seul job Slurm dépasse une réservation, répartissez les partitions Cluster Toolkit sur plusieurs réservations.
Préchauffez la capacité de réserve pour les charges de travail sensibles à la latence : si votre application ne peut pas attendre que de nouvelles instances de calcul soient provisionnées lors de pics de trafic soudains, conservez une capacité de réserve prête à l'emploi. Configurez des tampons de capacité GKE pour préprovisionner des nœuds actifs ou de secours, ou utilisez des pools de secours dans les MIG Compute Engine pour reprendre les instances de calcul suspendues sans les délais de démarrage complet du système d'exploitation.
Concevoir des réseaux pour la mise à l'échelle
Pour déplacer des données entre des ressources mises à l'échelle sans délai ni épuisement des adresses, appliquez les pratiques réseau suivantes :
Allouez suffisamment d'adresses IP : vérifiez que vos sous-réseaux disposent de suffisamment d'adresses IP libres pour le nombre maximal d'instances ou de nœuds dans les limites de votre autoscaler. Dans GKE, vérifiez également les plages d'adresses IP secondaires pour les pods et les services. Si un sous-réseau manque d'adresses IP, les autoscalers ne parviennent pas à créer d'instances de calcul ni de pods.
Choisissez des interfaces réseau à haut débit : pour les charges de travail qui transfèrent de grands ensembles de données ou des pondérations de modèle entre les nœuds, sélectionnez des contrôleurs d'interface réseau à haut débit, tels que la carte d'interface réseau virtuelle Google ou l'accès direct à la mémoire à distance. Ces interfaces réduisent la surcharge du processeur et augmentent la bande passante entre les instances de calcul mises à l'échelle.
Optimiser l'emplacement des instances : pour les jobs d'entraînement d'IA ou HPC multinœuds, regroupez les instances de calcul sur des serveurs physiques proches les uns des autres avec des stratégies d'emplacement compact ou un emplacement basé sur la topologie dans Cluster Director et Cluster Toolkit. Un emplacement physique proche réduit les sauts réseau et la latence entre les nœuds mis à l'échelle. Pour les services Web tolérants aux pannes, répartissez plutôt les instances de calcul entre les zones afin qu'une panne d'une seule zone n'interrompe pas le trafic.
Concevoir des applications évolutives
Pour permettre à vos applications d'effectuer un scaling horizontal sans interruption pour l'utilisateur, appliquez les pratiques d'architecture suivantes :
Conservez les niveaux d'application sans état : stockez les données de session utilisateur, les points de contrôle et les fichiers partagés dans un espace de stockage ou des bases de données externes plutôt que sur des disques d'instances locaux. Cette conception permet aux autoscalers d'ajouter ou de supprimer des instances de calcul et des pods à tout moment sans perte de données.
Dissociez les composants avec des files d'attente et des microservices : divisez les charges de travail monolithiques en services indépendants connectés par des équilibreurs de charge ou des files d'attente de messages telles que Pub/Sub. Cette architecture vous permet de faire évoluer chaque service en fonction de sa propre demande (y compris jusqu'à zéro avec des autoscalers basés sur les événements) et d'absorber les pics de trafic sans surcharger les backends en aval.
Réduisez les temps de démarrage des conteneurs et de chargement des modèles : réduisez le délai entre la création des ressources et la disponibilité du trafic afin que la capacité mise à l'échelle réponde immédiatement aux requêtes. Dans GKE, diffusez ou préchargez des images de conteneurs, et utilisez l'accélération du démarrage du processeur ou des instantanés de pods pour accélérer l'initialisation de l'environnement d'exécution. Pour les charges de travail d'IA, diffusez les pondérations de modèles depuis Cloud Storage FUSE, Run:ai Model Streamer ou des volumes préremplis.