Questo documento fornisce una panoramica su come scalare la capacità di computing e ottenere risorse hardware in Google Cloud per mantenere le prestazioni, controllare i costi ed evitare tempi di inattività. Per gestire la domanda variabile, puoi scalare automaticamente le istanze di Compute Engine, orchestrare i container in Google Kubernetes Engine (GKE) o i workload nei cluster, prenotare la capacità in anticipo e distribuire il traffico tra le risorse.
I suggerimenti in questo documento si applicano a tutte le opzioni di computing disponibili, ad eccezione di Cloud Run e Batch, che gestiscono e scalano l'infrastruttura di computing per te. Per ulteriori informazioni sulle opzioni di computing che puoi utilizzare in Google Cloud prima di fare lo scale up, consulta Scegli le opzioni di computing.
Opzioni di scalabilità dell'infrastruttura di computing
Per scalare la capacità di computing e migliorare la disponibilità delle risorse, scegli tra le funzionalità supportate dal tuo servizio di computing. Puoi combinare più funzionalità, come prenotazioni, gestori della scalabilità automatica e bilanciatori del carico, per soddisfare i requisiti del tuo workload. Se vuoi valutare queste funzionalità affiancate in base allo scopo, alle opzioni di computing supportate, ai trigger e ai casi d'uso, consulta Confronta le opzioni di scalabilità in questo documento.
Ogni servizio di computing scala la capacità e ti aiuta a ottenere risorse utilizzando le seguenti opzioni:
Tutte le opzioni di computing: in tutti i servizi di computing, ad eccezione di Cloud Run per le prenotazioni, puoi avere un livello elevato di garanzia della disponibilità dell'hardware in anticipo e instradare le richieste degli utenti tra backend integri. Puoi utilizzare le seguenti opzioni tra prodotti:
Prenotazioni: richiedi la capacità in una zona specifica per l'utilizzo immediato o per una data futura. Le prenotazioni non sono un gestore della scalabilità automatica, ma forniscono un livello elevato di garanzia che l'hardware come le unità di elaborazione grafica (GPU), le unità di elaborazione tensoriale (TPU) e i dischi SSD locali sia disponibile quando i workload fanno lo scale out.
Distribuzione del traffico con Cloud Load Balancing: distribuisci le richieste in entrata tra istanze di computing, pool di nodi o container integri e instrada il traffico alle nuove risorse man mano che la capacità viene scalata.
Compute Engine: la scalabilità della capacità avviene quando crei istanze di macchine virtuali (VM) o bare metal oppure quando utilizzi gruppi di istanze gestite (MIG). Un MIG gestisce un gruppo di istanze di computing come un'unica entità e può aggiungere o rimuovere capacità in base al carico, alle pianificazioni o alla disponibilità dell'hardware. Per i workload che richiedono l'isolamento dell'hardware, puoi anche scalare automaticamente i gruppi di nodi single-tenant su server fisici dedicati. Puoi utilizzare le seguenti opzioni:
Scalabilità automatica dei MIG: aggiungi o rimuovi istanze di computing in un MIG in base all'utilizzo della CPU, alla capacità del bilanciatore del carico, alle metriche di Cloud Monitoring, alle pianificazioni o alle previsioni predittive.
Flessibilità delle istanze MIG: classifica più tipi di macchine in un MIG per migliorare l'ottenibilità delle risorse.
Modalità in blocco e richieste di ridimensionamento nei MIG: aggiungi contemporaneamente tutte le istanze di computing richieste in un MIG quando diventa disponibile la capacità completa, anche per GPU, TPU e istanze H4D con VM Flex-start.
Pool in standby nei MIG: mantieni un pool in standby di istanze di computing sospese o arrestate preconfigurate in un MIG per velocizzare lo scale out. Quando il traffico o l'utilizzo della CPU aumenta, il MIG riprende o avvia le istanze di computing anziché crearne di nuove.
Creazione di istanze di computing in blocco: crea più istanze di computing in un'unica richiesta API con selezione automatica della zona e del tipo di macchina.
Scalabilità automatica dei gruppi di nodi single-tenant: aggiungi o rimuovi nodi single-tenant fisici dedicati in base alla domanda di istanze di computing guest per mantenere l'isolamento dell'hardware e ottimizzare i costi di Bring Your Own License.
Orchestratore personalizzato: chiama l'API Compute Engine dai tuoi scheduler o da scheduler open source per creare, ridimensionare ed eliminare istanze di computing in base a code di job personalizzate o regole aziendali.
Cluster Director: Google esegue il deployment di cluster gestiti per workload di intelligenza artificiale (AI), machine learning (ML) e computing ad alte prestazioni (HPC) che utilizzano l'orchestrazione Slurm o l'orchestrazione di computing gestito supportata da MIG di zona. Nei cluster Slurm, lo scheduler Slurm crea nodi di computing dinamici quando i job in coda superano i nodi di base statici e li disattiva dopo cinque minuti di inattività. Nei cluster di computing gestiti, esegui i workload tramite SSH o integri il tuo scheduler e scali la capacità quando modifichi le dimensioni target del MIG. Puoi utilizzare le seguenti opzioni:
Orchestrazione dei cluster: esegui la scalabilità automatica dei nodi di computing dinamici all'interno delle partizioni Slurm gestite in base alla domanda della coda dei job oppure esegui il provisioning dei cluster di computing gestiti supportati da MIG a livello di zona per eseguire i workload su SSH o integrare il tuo scheduler.
Modifica del cluster in tempo reale: aggiorna un cluster attivo per aumentare il numero di nodi statici o dinamici massimi, ridimensiona o aggiungi MIG, aggiungi configurazioni delle risorse di computing o aggiungi partizioni e set di nodi senza interruzioni dei job attivi.
Opzioni di consumo della capacità: ottieni i nodi di computing del cluster tramite prenotazioni future per blocchi di capacità, prenotazioni future in modalità calendario, VM Flex-start, VM spot o istanze di computing on demand.
Cluster Toolkit: definisci cluster di AI, ML e HPC autogestiti come codice con blueprint YAML e moduli Terraform orchestrati da Slurm o GKE. La capacità viene scalata in base alle code dei job Slurm o alla domanda dei pod Kubernetes oppure quando modifichi e rifai il deployment del blueprint del cluster. Puoi utilizzare le seguenti opzioni:
Set di nodi dinamici Slurm: configura il modulo
slurm-nodeset-dynamicin modo che Slurm crei ed elimini istanze di computing temporanee in base ai job in coda.Scalabilità automatica dei pool di nodi GKE: imposta il numero minimo e massimo di nodi nel tuo progetto con il modulo
gke-node-poolin modo che GKE aggiunga o rimuova i nodi in base alle variazioni della domanda dei pod.Riconfigurazione del progetto in tempo reale: aggiorna e rifai il deployment dei progetti per aggiungere o ridimensionare partizioni e nodi statici in un cluster Slurm attivo o per ridimensionare i node pool in un cluster GKE di cui è stato eseguito il deployment.
Partizioni Slurm con più prenotazioni: raggruppa più set di nodi supportati da prenotazioni in un'unica partizione Slurm in modo che i job di grandi dimensioni distribuiscano la capacità tra prenotazioni separate.
GKE: la capacità viene scalata su due livelli. I gestori della scalabilità automatica dei workload regolano i conteggi delle repliche dei pod o le richieste di CPU e memoria dei container in base alle variazioni della domanda. I gestori della scalabilità automatica dell'infrastruttura aggiungono o rimuovono i nodi e i pool di nodi sottostanti. Google gestisce la capacità dei nodi per te in modalità Autopilot, mentre tu configuri il gestore della scalabilità automatica dei cluster, la creazione automatica dei pool di nodi e le risorse
ComputeClasspersonalizzate in modalità Standard. Gli acceleratori di avvio riducono anche il tempo necessario ai nuovi pod prima di gestire il traffico. Puoi utilizzare le seguenti opzioni:Capacità di nodi e cluster: regola il numero di nodi, crea pool di nodi e ottieni hardware con le seguenti funzionalità:
ComputeClass personalizzate: definiscono regole di fallback dell'hardware con priorità, VM spot o preferenze di avvio flessibile, consumo delle prenotazioni, migrazione attiva all'hardware con priorità più alta e creazione automatica del pool di nodi a livello di workload.
Gestore della scalabilità automatica dei cluster: aggiunge o rimuove nodi nei node pool in modalità Standard esistenti quando i pod attendono risorse o quando i nodi sono sottoutilizzati.
Creazione automatica dei node pool: crea ed elimina i node pool in parallelo in base ai requisiti di CPU, memoria, GPU, TPU o zona dei pod in attesa.
Provisioning con avvio flessibile: ottieni GPU, TPU e nodi H4D per un massimo di sette giorni, nodo per nodo o tutti contemporaneamente tramite il provisioning in coda, e sostituisci i nodi in scadenza tramite ComputeClasses.
Buffer di capacità: esegui il pre-provisioning dei nodi di riserva attivi o in standby sospeso, inclusi i buffer attivi che si allineano alle priorità di
ComputeClass, in modo che i pod in attesa vengano pianificati senza attendere nuovi nodi.Piattaforma di computing ottimizzata per i container: velocizza l'allocazione dei nodi e il posizionamento dei pod con le classi di computing
BalancedeScale-Outper i cluster Autopilot e i workload in modalità Autopilot nei cluster Standard.Nodi single-tenant in GKE: esegui i node pool in modalità Standard su server fisici dedicati per soddisfare i requisiti di isolamento o licenza.
Capacità dei pod e dei workload: regola le repliche dei pod, le dimensioni dei container e le code batch con le seguenti funzionalità:
Scalabilità automatica orizzontale dei pod (HPA): aggiungi o rimuovi repliche di pod in base all'utilizzo della CPU, alla memoria utilizzata o a metriche personalizzate.
Scalabilità automatica verticale dei pod (VPA): regola le richieste e i limiti di CPU e memoria dei container in base all'utilizzo storico.
Scalabilità automatica multidimensionale dei pod (MPA): combina l'HPA sulla CPU e il VPA sulla memoria per lo stesso workload contemporaneamente.
Metriche personalizzate ed esterne: attiva le decisioni di scalabilità di HPA in base alle metriche dell'applicazione o ai servizi esterni come Pub/Sub e Cloud Load Balancing.
Scalabilità fino a zero: esegui lo scale down dei pod e dei node pool inattivi fino a zero repliche e riattivali quando la domanda riprende nelle metriche personalizzate ed esterne di HPA o nei trigger di Kubernetes Event-driven Autoscaling (KEDA).
Code di job Kueue: metti in coda i workload batch e AI, condividi le quote delle risorse tra i team e coordina l'allocazione simultanea dei nodi.
Accelerazione dell'avvio: riduci i tempi di inizializzazione dei container e di caricamento dei modelli durante lo scale out con le seguenti funzionalità:
Cloud Storage FUSE con flussi paralleli: monta i bucket Cloud Storage come file system locali con letture parallele e cache dei file.
CPU startup boost: concede temporaneamente CPU aggiuntiva ai container durante l'inizializzazione, per poi riportare le richieste di CPU ai valori di riferimento.
Streaming di immagini: esegui lo streaming dei blocchi di immagini container on demand da Artifact Registry in modo che i pod vengano avviati senza attendere il download dell'intera immagine.
Dischi di avvio secondari: collega i volumi Persistent Disk precaricati con immagini container o dati del modello ai nodi in parallelo durante l'avvio dei nodi.
Ridimensionamento dei pod in loco: aggiorna le allocazioni di CPU e memoria sui container attivi senza riavviare i pod.
Snapshot dei pod: ripristina le repliche dei pod dai checkpoint della memoria e del file system salvati anziché da un avvio a freddo.
Run:ai Model Streamer: esegue lo streaming dei pesi del modello di AI in formato
safetensorsda Cloud Storage o da volumi permanenti in parallelo nella memoria della GPU o della TPU.Volume Populator: precarica i volumi Google Cloud Hyperdisk ML con i pesi del modello e i set di dati di Cloud Storage prima dell'avvio dei pod.
Google Cloud VMware Engine: Google gestisce cluster di cloud privato VMware dedicati in cui la capacità si espande o si riduce man mano che gli host ESXi fisici si uniscono o lasciano il cluster. Per aggiungere o rimuovere host ESXi quando l'utilizzo sostenuto di CPU, memoria o spazio di archiviazione vSAN supera le soglie configurate, utilizza le policy di scalabilità automatica.
Confronta le opzioni di scalabilità
Per selezionare l'opzione di scalabilità o di ottenibilità delle risorse che corrisponde ai tuoi requisiti operativi, confronta le funzionalità nella tabella seguente:
| Opzione di scalabilità | Scopo principale | Opzioni di computing supportate | Opzioni di scalabilità compatibili | Trigger di scalabilità | Casi d'uso |
|---|---|---|---|---|---|
| Prenotazioni | Prenota la capacità della zona per l'utilizzo immediato o per una data futura con un livello elevato di garanzia di disponibilità | Tutte le opzioni di computing, ad eccezione di Cloud Run | Tutte le opzioni di scalabilità | Richiesta di prenotazione manuale o tramite calendario; non un gestore della scalabilità automatica |
|
| Distribuzione del traffico con Cloud Load Balancing | Distribuisci il traffico in entrata tra istanze di computing, pool di nodi o container integri | Tutte le opzioni di computing | Tutte le opzioni di scalabilità | Richieste utente in entrata e controlli di integrità del backend |
|
| Scalabilità automatica dei MIG | Aggiungi o rimuovi istanze di computing in un MIG per soddisfare la domanda variabile dei workload | Compute Engine | Prenotazioni, flessibilità delle istanze MIG, pool di standby nei MIG, scalabilità automatica dei gruppi di nodi single-tenant, orchestratore personalizzato | Utilizzo della CPU, capacità del bilanciatore del carico, metriche di Cloud Monitoring, pianificazioni o previsioni predittive |
|
| Flessibilità delle istanze MIG | Classifica più tipi di macchine in un MIG per migliorare l'ottenibilità delle risorse | Compute Engine | Scalabilità automatica dei MIG, prenotazioni, VM spot | Quando i tipi di macchine principali non hanno capacità durante la creazione o lo scale out delle istanze MIG |
|
| Modalità in blocco e richieste di ridimensionamento nei MIG | Aggiungi contemporaneamente tutte le istanze di computing richieste in un MIG quando diventa disponibile la capacità completa | Compute Engine e Cluster Director | Prenotazioni, modifica del cluster in tempo reale, orchestratore personalizzato | Dimensione target impostata in modalità in blocco o creazione di una richiesta di ridimensionamento, soddisfatta quando è disponibile la capacità hardware completa |
|
| Pool di standby nei MIG | Mantieni un pool di standby di istanze di computing sospese o arrestate preconfigurate pronte per accelerare lo scale out del MIG | Compute Engine | Scalabilità automatica dei MIG, prenotazioni | Ridimensionamento manuale o richiesta di scale out del MIG che riprende o avvia le istanze di computing in pool |
|
| Creazione di istanze di computing in blocco | Crea più istanze di computing in un'unica richiesta API con selezione automatica di zona e macchina | Compute Engine | Prenotazioni, VM spot, orchestratore personalizzato | Singola richiesta di inserimento collettivo tramite API o Google Cloud CLI |
|
| Scalabilità automatica dei gruppi di nodi single-tenant | Scala automaticamente i server fisici dedicati per i workload isolati | Compute Engine e GKE | Prenotazioni, scalabilità automatica dei MIG, orchestratore personalizzato, gestore della scalabilità automatica dei cluster | Domanda di risorse delle istanze di computing guest |
|
| Orchestratore personalizzato | Controlla la creazione di istanze di computing, la dimensione target del MIG e l'eliminazione dal tuo scheduler, ad esempio Ray, SkyPilot o HTCondor | Compute Engine e Cluster Director | Prenotazioni, scalabilità automatica dei MIG, modalità in blocco e richieste di ridimensionamento nei MIG, creazione di istanze di computing in blocco, scalabilità automatica dei gruppi di nodi single-tenant, modifica dei cluster in tempo reale | Metriche aziendali personalizzate o code di scheduler esterni |
|
| Orchestration di Slurm e nodi dinamici | Scalabilità automatica dei nodi di computing dinamici nelle partizioni Slurm per job batch, AI e HPC | Cluster Director e Cluster Toolkit | Prenotazioni, VM Flex-start, VM spot, modifica del cluster in tempo reale, riconfigurazione del progetto in tempo reale | Job Slurm in coda e timeout di inattività dei nodi |
|
| Modifica del cluster in tempo reale | Aggiungi o ridimensiona partizioni, set di nodi, MIG o limiti di nodi statici e dinamici su un cluster attivo | Cluster Director | Orchestration e nodi dinamici di Slurm, modalità in blocco e richieste di ridimensionamento nei MIG, orchestratore personalizzato, prenotazioni | Richiesta di aggiornamento del cluster su un cluster attivo |
|
| Riconfigurazione del progetto in tempo reale | Aggiorna e rifai il deployment dei progetti per aggiungere o ridimensionare le partizioni Slurm, i nodi statici o i node pool GKE su un cluster attivo | Cluster Toolkit | Orchestra Slurm e nodi dinamici, gestore della scalabilità automatica dei cluster, prenotazioni | Aggiornamento e nuovo deployment del progetto su un cluster attivo |
|
| ComputeClass personalizzate | Definisci regole di fallback hardware con priorità, consumo di capacità e migrazione dei nodi | GKE in modalità Standard e Autopilot | Gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, provisioning con avvio flessibile in GKE, prenotazioni, buffer di capacità | Pod in attesa che corrispondono a un selettore ComputeClass o
disponibilità di hardware con priorità più alta |
|
| Gestore della scalabilità automatica dei cluster | Aggiungi o rimuovi nodi nei node pool esistenti | GKE in modalità Standard e blueprint GKE di Cluster Toolkit | ComputeClass personalizzate, prenotazioni, scalabilità automatica dei gruppi di nodi single-tenant, HPA, VPA, buffer di capacità, scalabilità fino a zero | Pod in attesa o sottoutilizzo dei nodi |
|
| Creazione automatica dei node pool | Crea ed elimina i node pool in parallelo per soddisfare i requisiti hardware dei pod | GKE: gestito in modalità Autopilot; configurabile in modalità Standard | ComputeClass personalizzate, prenotazioni, provisioning con avvio flessibile in GKE, HPA, VPA, buffer di capacità | Pod in attesa che richiedono serie di macchine, acceleratori o zone assenti dai node pool esistenti |
|
| Provisioning con avvio flessibile in GKE | Ottieni GPU, TPU e nodi H4D man mano che la capacità si libera, per nodo o tutti in una volta con il provisioning in coda | GKE in modalità Standard e Autopilot | ComputeClass personalizzate, creazione automatica dei pool di nodi, gestore della scalabilità automatica dei cluster, code di job Kueue | Pod in attesa o oggetti ProvisioningRequest in coda quando la capacità hardware si apre |
|
| Buffer di capacità | Esegui il pre-provisioning di nodi di riserva attivi o in standby sospeso per un posizionamento e un'ottenibilità rapidi dei pod | GKE in modalità Standard e Autopilot | ComputeClass personalizzate, gestore della scalabilità automatica dei cluster, creazione automatica pool di nodi, HPA, prenotazioni | Consumo della capacità dei nodi con buffer da parte dei pod pianificati |
|
| Piattaforma di computing ottimizzata per i container | Velocizza l'idoneità dei nodi e il posizionamento dei pod con l'infrastruttura gestita e le classi di calcolo Balanced o Scale-Out |
GKE: cluster Autopilot e workload in modalità Autopilot nei cluster Standard | Creazione automatica dei node pool, HPA, VPA, buffer di capacità, prenotazioni | Pod in attesa che richiedono capacità di computing aggiuntiva |
|
| HPA | Aggiungi o rimuovi repliche di pod per soddisfare la domanda del workload | GKE in modalità Standard e Autopilot | Gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, MPA, metriche personalizzate ed esterne, scalabilità fino a zero | Utilizzo della CPU, memoria utilizzata o metriche personalizzate ed esterne |
|
| VPA | Regola le richieste e i limiti di CPU e memoria dei container in base all'utilizzo | GKE in modalità Standard e Autopilot | Gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, MPA, ridimensionamento dei pod in loco, prenotazioni | Utilizzo storico della CPU e della memoria utilizzata del container |
|
| MPA | Scala le repliche dei pod in base alle richieste di CPU e memoria dei container contemporaneamente | GKE in modalità Standard e Autopilot | Gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, metriche personalizzate ed esterne | Variazioni simultanee della domanda di CPU e modifiche dell'utilizzo della memoria utilizzata dei container |
|
| Metriche personalizzate ed esterne | Scala le repliche dei pod in base agli indicatori dell'applicazione o del servizio esterno | GKE in modalità Standard e Autopilot | HPA, MPA, scalabilità fino a zero, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi | Metriche dell'applicazione o metriche di coda e traffico esterno |
|
| Scalabilità fino a zero | Esegui lo scale down dei pod e dei pool di nodi inattivi fino a zero e riattivali on demand o in base agli eventi | GKE in modalità Standard e Autopilot | HPA, metriche personalizzate ed esterne, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi | Assenza di domanda o nuova domanda nelle metriche personalizzate ed esterne di HPA o nei trigger KEDA |
|
| Code di job Kueue | Metti in coda i job batch, applica le quote del team e coordina l'allocazione simultanea dei nodi | GKE in modalità Standard e Autopilot | Provisioning con avvio flessibile in GKE, ComputeClass personalizzate, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi | Job batch ammessi quando la quota del cluster e la capacità hardware sono disponibili |
|
| Cloud Storage FUSE con flussi paralleli | Monta i bucket Cloud Storage come file system con letture e cache parallele | GKE in modalità Standard e Autopilot | HPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, snapshot dei pod | Avvio dei pod e letture sequenziali dei file dai bucket montati |
|
| CPU startup boost | Concedi CPU aggiuntiva temporanea ai container durante l'inizializzazione | GKE in modalità Standard e Autopilot | HPA, VPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi | Fase di avvio e inizializzazione del container |
|
| Streaming di immagini | Esegui lo streaming dei blocchi di immagini container on demand da Artifact Registry durante l'avvio del pod | GKE in modalità Standard e Autopilot | HPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, buffer di capacità | Pull dell'immagine container da Artifact Registry all'avvio di un pod |
|
| Dischi di avvio secondari | Collega volumi Persistent Disk precaricati con immagini container o dati del modello all'avvio del nodo | GKE in modalità Standard e Autopilot | ComputeClass personalizzate, HPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, buffer di capacità | Avvio dei nodi in un pool di nodi configurato con immagini disco di avvio secondarie |
|
| Ridimensionamento dei pod in loco | Aggiorna le allocazioni di CPU e allocazioni della memoria dei container attivi senza riavvii dei pod | GKE in modalità Standard e Autopilot | VPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi | Richieste e limiti di CPU o memoria del container aggiornati |
|
| Snapshot dei pod | Ripristina le repliche dei pod dai checkpoint salvati della memoria e del file system | GKE in modalità Standard e Autopilot | HPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, buffer di capacità | Creazione di una replica di pod da uno snapshot salvato |
|
| Run:ai Model Streamer | Esegui lo streaming dei tensori del modello in parallelo nella memoria della GPU o della TPU | GKE in modalità Standard e Autopilot | HPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, Volume Populator | Richieste di avvio del server di inferenza AI e di caricamento del modello |
|
| Popolatore di volumi | Precarica i volumi Hyperdisk ML con i dati di Cloud Storage | GKE in modalità Standard e Autopilot | HPA, gestore della scalabilità automatica dei cluster, creazione automatica dei pool di nodi, snapshot dei pod | Creazione di PersistentVolumeClaim che fa riferimento a una risorsa GCPDataSource |
|
| Policy di scalabilità automatica | Aggiungi o rimuovi host ESXi in un cluster di cloud privato VMware | VMware Engine | Cloud Load Balancing | Utilizzo sostenuto di CPU, memoria o utilizzo dello spazio di archiviazione vSAN |
|
Best practice per la scalabilità
Per progettare un'infrastruttura che si adatti senza colli di bottiglia o carenze di capacità, applica le best practice di questa sezione alla capacità di computing, alla progettazione della rete e all'architettura delle applicazioni.
Pianifica la capacità di calcolo e l'ottenibilità
Per preparare la tua infrastruttura alla crescita della domanda e migliorare la disponibilità dell'hardware, applica le seguenti pratiche:
Stima le esigenze del tuo workload: prima di configurare i gestori della scalabilità automatica, misura l'utilizzo di base e le fluttuazioni di picco. Per esaminare l'utilizzo storico, prevedere la domanda e impostare limiti minimi e massimi accurati per le istanze di computing, utilizza lo strumento di pianificazione della capacità.
Progetta per l'ottenibilità delle risorse: quando richiedi hardware scarso, come GPU o TPU, ottimizza il provisioning del computing in base alle seguenti tre dimensioni:
Flessibilità della località: distribuisci i workload tra le zone con i MIG regionali.
Flessibilità dei tipi di macchine: consenti più serie di macchine tramite la flessibilità delle istanze MIG o le ComputeClass personalizzate di GKE.
Flessibilità temporale: utilizza il provisioning con avvio flessibile quando i job possono attendere la capacità.
Utilizza le prenotazioni per garantire una capacità elevata: per il traffico di base, gli eventi di scalabilità di picco o le GPU e le TPU scarse, prenota la capacità in anticipo. Le prenotazioni offrono un'elevata garanzia che le risorse siano disponibili nella zona di destinazione quando i workload fanno lo scale out. Se un singolo job Slurm supera una prenotazione, estendi le partizioni di Cluster Toolkit su più prenotazioni.
Preriscalda la capacità di riserva per i workload sensibili alla latenza: se la tua applicazione non può attendere il provisioning di nuove istanze di computing durante picchi di traffico improvvisi, mantieni una capacità di riserva pronta per l'uso. Configura i buffer di capacità di GKE per eseguire il pre-provisioning dei nodi attivi o in standby oppure utilizza i pool di standby nei MIG di Compute Engine per riprendere le istanze di computing sospese senza ritardi di avvio completi del sistema operativo.
Progetta reti per la scalabilità
Per spostare i dati tra risorse scalate senza ritardi o esaurimento degli indirizzi, applica le seguenti pratiche di rete:
Alloca un numero sufficiente di indirizzi IP: verifica che le subnet abbiano un numero sufficiente di indirizzi IP liberi per il numero massimo di istanze o nodi nei limiti del gestore della scalabilità automatica. In GKE, controlla anche gli intervalli IP secondari per pod e servizi. Se una subnet esaurisce gli indirizzi IP, i gestori della scalabilità automatica non riescono a creare nuove istanze di computing o nuovi pod.
Scegli interfacce di rete con throughput elevato: per i workload che trasferiscono set di dati di grandi dimensioni o pesi dei modelli tra i nodi, seleziona schede di interfaccia di rete con larghezza di banda elevata, come Google Virtual Network Interface Card o l'accesso diretto alla memoria da remoto. Queste interfacce riducono l'overhead della CPU e aumentano la larghezza di banda tra le istanze di computing scalate.
Ottimizza il posizionamento delle istanze: per l'addestramento AI multi-nodo o i job HPC, raggruppa le istanze di computing su server fisici vicini tra loro con policy di posizionamento compatto o posizionamento basato sulla topologia in Cluster Director e Cluster Toolkit. Il posizionamento fisico ravvicinato riduce gli hop di rete e la latenza tra i nodi scalati. Per i servizi web a tolleranza di errore, distribuisci le istanze di computing tra le zone in modo che un'interruzione in una singola zona non interrompa il traffico.
Progetta applicazioni per la scalabilità
Per consentire alle tue applicazioni di fare lo scale out e fare lo scale in senza interruzioni per gli utenti, applica le seguenti pratiche di architettura:
Mantieni i livelli dell'applicazione stateless: archivia i dati delle sessioni utente, i checkpoint e i file condivisi in uno spazio di archiviazione o in database esterni anziché sui dischi delle istanze locali. Questo design consente ai gestori della scalabilità automatica di aggiungere o rimuovere istanze di computing e pod in qualsiasi momento senza perdita di dati.
Disaccoppia i componenti con code e microservizi: suddividi i workload monolitici in servizi indipendenti collegati da bilanciatori del carico o code di messaggi come Pub/Sub. Questa architettura ti consente di scalare ogni servizio in base alla sua domanda, anche fino a zero con i gestori della scalabilità automatica basati sugli eventi, e di assorbire i picchi di traffico senza sovraccaricare i backend downstream.
Riduci i tempi di avvio dei container e di caricamento dei modelli: riduci il ritardo tra la creazione delle risorse e l'idoneità al traffico in modo che la capacità scalata gestisca immediatamente le richieste. In GKE, trasmetti in streaming o precarica le immagini container e utilizza l'avvio CPU o gli snapshot dei pod per velocizzare l'inizializzazione del runtime. Per i workload di AI, esegui lo streaming dei pesi del modello di AI da Cloud Storage FUSE, Run:ai Model Streamer o volumi precompilati.