In diesem Dokument wird beschrieben, wie Sie die Rechenkapazität skalieren und Hardwareressourcen in Google Cloud abrufen, um die Leistung aufrechtzuerhalten, die Kosten zu kontrollieren und Ausfallzeiten zu vermeiden. Um die variable Nachfrage zu bewältigen, können Sie Compute Engine-Instanzen automatisch skalieren, Container in Google Kubernetes Engine (GKE) oder Arbeitslasten in Clustern orchestrieren, Kapazität im Voraus reservieren und Traffic auf Ressourcen verteilen.
Die Empfehlungen in diesem Dokument gelten für alle verfügbaren Computing-Optionen, mit Ausnahme von Cloud Run und Batch, die die Computing-Infrastruktur für Sie verwalten und skalieren. Weitere Informationen zu den Computing-Optionen, die Sie vor der Skalierung in Google Cloud verwenden können, finden Sie unter Computing-Optionen auswählen.
Skalierungsoptionen für die Computing-Infrastruktur
Wenn Sie Ihre Rechenkapazität skalieren und die Verfügbarkeit von Ressourcen verbessern möchten, können Sie aus den Funktionen auswählen, die Ihr Computing-Dienst unterstützt. Sie können mehrere Features wie Reservierungen, Autoscaler und Load Balancer kombinieren, um Ihre Arbeitslastanforderungen zu erfüllen. Wenn Sie diese Funktionen anhand ihres Zwecks, der unterstützten Computing-Optionen, Trigger und Anwendungsfälle vergleichen möchten, lesen Sie den Abschnitt Skalierungsoptionen vergleichen in diesem Dokument.
Jeder Compute-Dienst skaliert die Kapazität und hilft Ihnen, Ressourcen mithilfe der folgenden Optionen zu erhalten:
Alle Compute-Optionen: Bei allen Compute-Diensten außer Cloud Run für Reservierungen können Sie sich im Voraus auf eine hohe Hardwareverfügbarkeit verlassen und Nutzeranfragen über fehlerfreie Backends weiterleiten. Sie können die folgenden produktübergreifenden Optionen verwenden:
Reservierungen: Fordern Sie Kapazität in einer bestimmten Zone zur sofortigen Verwendung oder für ein zukünftiges Datum an. Reservierungen sind kein Autoscaler, bieten aber ein hohes Maß an Sicherheit, dass Hardware wie Grafikprozessoren (GPUs), Tensor Processing Units (TPUs) und lokale SSD-Laufwerke verfügbar sind, wenn Ihre Arbeitslasten horizontal skaliert werden.
Traffic-Verteilung mit Cloud Load Balancing: Verteilen Sie eingehende Anfragen auf fehlerfreie Compute-Instanzen, Knotenpools oder Container und leiten Sie Traffic an neue Ressourcen weiter, wenn die Kapazität skaliert wird.
Compute Engine: Sie skalieren die Kapazität, wenn Sie VM- oder Bare-Metal-Instanzen erstellen oder verwaltete Instanzgruppen (MIGs) verwenden. Eine MIG verwaltet eine Gruppe von Compute-Instanzen als eine Einheit und kann Kapazität basierend auf Last, Zeitplänen oder Hardwareverfügbarkeit hinzufügen oder entfernen. Für Arbeitslasten, die eine Hardwareisolation erfordern, können Sie auch Knotengruppen für einzelne Mandanten auf dedizierten physischen Servern automatisch skalieren. Die folgenden Optionen stehen Ihnen zur Verfügung:
MIG-Autoscaling: Compute-Instanzen in einer MIG basierend auf CPU-Auslastung, Load-Balancer-Kapazität, Cloud Monitoring-Messwerten, Zeitplänen oder Prognosen hinzufügen oder entfernen.
MIG-Instanzflexibilität: Sie können mehrere Maschinentypen in einer MIG priorisieren, um die Ressourcenverfügbarkeit zu verbessern.
Bulk-Modus und Anfragen zur Größenanpassung in MIGs: Fügen Sie alle angeforderten Compute-Instanzen in einer MIG gleichzeitig hinzu, wenn die volle Kapazität verfügbar ist, einschließlich GPUs, TPUs und H4D-Instanzen mit Flex-Start-VMs.
Standby-Pools in MIGs: Halten Sie einen Standby-Pool mit vorkonfigurierten, gesperrten oder beendeten Compute-Instanzen in einer MIG bereit, um die horizontale Skalierung zu beschleunigen. Wenn der Traffic oder die CPU-Auslastung steigt, setzt die MIG die Compute-Instanzen fort oder startet sie, anstatt neue zu erstellen.
Bulk-Erstellung von Compute-Instanzen: Erstellen Sie mehrere Compute-Instanzen in einer einzigen API-Anfrage mit automatischer Auswahl von Zone und Maschinentyp.
Autoscaling von Knotengruppen für einzelne Mandanten: Dedizierte physische Knoten für einzelne Mandanten werden je nach Bedarf an Gast-Compute-Instanzen hinzugefügt oder entfernt, um die Hardwareisolation aufrechtzuerhalten und die Kosten für die Verwendung eigener Lizenzen zu optimieren.
Benutzerdefinierter Orchestrator: Rufen Sie die Compute Engine API über Ihre eigenen oder Open-Source-Planer auf, um Compute-Instanzen basierend auf benutzerdefinierten Jobwarteschlangen oder Geschäftsregeln zu erstellen, in der Größe anzupassen und zu löschen.
Cluster Director: Google stellt verwaltete Cluster für Arbeitslasten aus den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC) bereit, die entweder Slurm-Orchestrierung oder verwaltete Compute-Orchestrierung mit zonalen MIGs verwenden. In Slurm-Clustern erstellt der Slurm-Planer dynamische Rechenknoten, wenn die Anzahl der Jobs in der Warteschlange die Anzahl der statischen Baseline-Knoten überschreitet. Nach fünf Minuten Inaktivität werden sie heruntergefahren. In verwalteten Compute-Clustern führen Sie Arbeitslasten über SSH aus oder binden Ihren eigenen Planer ein und skalieren die Kapazität, wenn Sie die Zielgrößen der verwalteten Instanzgruppe anpassen. Die folgenden Optionen stehen Ihnen zur Verfügung:
Clusterorchestrierung: Dynamische Compute-Knoten in verwalteten Slurm-Partitionen basierend auf der Jobwarteschlangen-Anforderung automatisch skalieren oder verwaltete Compute-Cluster bereitstellen, die von zonalen MIGs unterstützt werden, um Arbeitslasten über SSH auszuführen oder Ihren eigenen Planer zu integrieren.
Live-Cluster-Änderung: Aktualisieren Sie einen aktiven Cluster, um die Anzahl der statischen oder maximalen dynamischen Knoten zu erhöhen, die Größe von MIGs anzupassen oder MIGs hinzuzufügen, Konfigurationen für Rechenressourcen hinzuzufügen oder Partitionen und Knotensätze hinzuzufügen, ohne aktive Jobs zu unterbrechen.
Optionen für den Kapazitätsverbrauch: Cluster-Computing-Knoten über vorausschauende Reservierungen für Kapazitätsblöcke, vorausschauende Reservierungen im Kalendermodus, Flex-Start-VMs, Spot-VMs oder On-Demand-Computing-Instanzen abrufen.
Cluster Toolkit: Sie definieren selbstverwaltete KI-, ML- und HPC-Cluster als Code mit YAML-Blueprints und Terraform-Modulen, die von Slurm oder GKE orchestriert werden. Die Kapazität wird basierend auf Slurm-Jobwarteschlangen oder dem Kubernetes-Pod-Bedarf skaliert oder wenn Sie Ihren Cluster-Blueprint bearbeiten und noch einmal bereitstellen. Sie haben die folgenden Möglichkeiten:
Dynamische Slurm-Knotensätze: Konfigurieren Sie das Modul
slurm-nodeset-dynamicso, dass Slurm sitzungsspezifische Compute-Instanzen basierend auf Jobs in der Warteschlange erstellt und löscht.GKE-Knotenpool-Autoscaling: Legen Sie in Ihrem Blueprint mit dem Modul
gke-node-pooldie minimale und maximale Knotenanzahl fest, damit GKE Knoten hinzufügt oder entfernt, wenn sich der Pod-Bedarf ändert.Live-Blueprint-Rekonfiguration: Blueprints aktualisieren und noch einmal bereitstellen, um Partitionen und statische Knoten in einem aktiven Slurm-Cluster hinzuzufügen oder ihre Größe anzupassen oder um die Größe von Knotenpools in einem bereitgestellten GKE-Cluster anzupassen.
Slurm-Partitionen mit mehreren Reservierungen: Gruppieren Sie mehrere reservierungsgestützte Knotensätze in einer Slurm-Partition, damit große Jobs die Kapazität über separate Reservierungen hinweg nutzen können.
GKE: Die Kapazität wird über zwei Ebenen skaliert. Arbeitslast-Autoscaler passen die Anzahl der Pod-Replikate oder die CPU- und Arbeitsspeicheranfragen von Containern an, wenn sich die Nachfrage ändert. Infrastruktur-Autoscaler fügen zugrunde liegende Knoten und Knotenpools hinzu oder entfernen sie. Google verwaltet die Knotenkapazität für Sie im Autopilot-Modus, während Sie im Standardmodus Cluster-Autoscaling, die automatische Erstellung von Knotenpools und benutzerdefinierte
ComputeClass-Ressourcen konfigurieren. Startbeschleuniger reduzieren auch die Zeit, die neue Pods benötigen, bevor sie Traffic verarbeiten. Sie haben die folgenden Möglichkeiten:Knoten- und Clusterkapazität: Passen Sie die Knotenanzahl an, erstellen Sie Knotenpools und beschaffen Sie Hardware mit den folgenden Funktionen:
Benutzerdefinierte ComputeClasses: Definieren Sie priorisierte Hardware-Fallback-Regeln, Spot-VMs oder Flex-Start-Einstellungen, Reservierungsnutzung, aktive Migration zu Hardware mit höherer Priorität und automatische Erstellung von Knotenpools auf Arbeitslastebene.
Cluster Autoscaler: Knoten in vorhandenen Knotenpools im Standardmodus hinzufügen oder entfernen, wenn Pods auf Ressourcen warten oder Knoten nicht ausgelastet sind.
Automatische Erstellung von Knotenpools: Knotenpools werden parallel basierend auf den CPU-, Arbeitsspeicher-, GPU-, TPU- oder Zonenanforderungen ausstehender Pods erstellt und gelöscht.
Flex-Start-Bereitstellung: Sie können GPUs, TPUs und H4D-Knoten für bis zu sieben Tage entweder Knoten für Knoten oder alle auf einmal über die Bereitstellung per Warteschlange abrufen und ablaufende Knoten über ComputeClasses ersetzen.
Kapazitätspuffer: Stellen Sie im Voraus aktive oder gesperrte Standby-Knoten bereit, einschließlich aktiver Puffer, die den
ComputeClass-Prioritäten entsprechen, damit ausstehende Pods ohne Wartezeit auf neue Knoten geplant werden können.Containeroptimierte Computing-Plattform: Beschleunigen Sie die Knotenzuweisung und Pod-Platzierung mit den ComputeClasses
BalancedundScale-Outfür Autopilot-Cluster und Arbeitslasten im Autopilot-Modus in Standardclustern.Knoten für einzelne Mandanten in GKE: Führen Sie Knotenpools im Standardmodus auf dedizierten physischen Servern aus, um Isolations- oder Lizenzanforderungen zu erfüllen.
Pod- und Arbeitslastkapazität: Passen Sie Pod-Replikate, Containergrößen und Batch-Warteschlangen mit den folgenden Features an:
Horizontales Pod-Autoscaling (HPA): Pod-Replikate werden anhand der CPU-Auslastung, der Speichernutzung oder benutzerdefinierter Messwerte hinzugefügt oder entfernt.
Vertikales Pod-Autoscaling (VPA): Anfragen und Limits für CPU und Arbeitsspeicher von Containern werden anhand der bisherigen Nutzung angepasst.
Mehrdimensionales Pod-Autoscaling (MPA): Kombinieren Sie HPA für die CPU und VPA für den Arbeitsspeicher für dieselbe Arbeitslast gleichzeitig.
Benutzerdefinierte und externe Messwerte: Lösen HPA-Skalierungsentscheidungen anhand von Anwendungsmesswerten oder externen Diensten wie Pub/Sub und Cloud Load Balancing aus.
Auf null skalieren: Inaktive Pods und Knotenpools werden auf null Replikate herunterskaliert und wieder aktiviert, wenn die Nachfrage in benutzerdefinierten und externen HPA-Messwerten oder in KEDA-Triggern (Kubernetes Event-driven Autoscaling) wieder steigt.
Kueue-Jobwarteschlangen: Batch- und KI-Arbeitslasten in die Warteschlange stellen, Ressourcenkontingente teamübergreifend freigeben und die gleichzeitige Knotenzuweisung koordinieren.
Startbeschleunigung: Verkürzen Sie die Containerinitialisierung und die Ladezeiten von Modellen während der horizontalen Skalierung mit den folgenden Funktionen:
Cloud Storage FUSE mit parallelem Streaming: Cloud Storage-Buckets als lokale Dateisysteme mit parallelen Lesevorgängen und Dateicaches bereitstellen.
CPU-Boost beim Start: Gewährt Containern während der Initialisierung vorübergehend zusätzliche CPU und setzt die CPU-Anfragen dann auf die Basiswerte zurück.
Image-Streaming: Container-Image-Blöcke werden bei Bedarf aus Artifact Registry gestreamt, sodass Pods gestartet werden, ohne auf den Download des gesamten Images warten zu müssen.
Sekundäre Bootlaufwerke: Hängen Sie vorgeladene Persistent Disk-Volumes mit Container-Images oder Modelldaten während des Knotenstarts parallel an Knoten an.
Direkte Größenanpassung von Pods: Aktualisieren Sie CPU- und Arbeitsspeicherzuweisungen für aktive Container, ohne Pods neu zu starten.
Pod-Snapshots: Pod-Replikate werden aus gespeicherten Arbeitsspeicher- und Dateisystemprüfpunkten wiederhergestellt, anstatt einen Kaltstart durchzuführen.
Run:ai Model Streamer: KI-Modellgewichtungen im
safetensors-Format parallel aus Cloud Storage oder nichtflüchtigen Volumes in den GPU- oder TPU-Speicher streamen.Volume Populator: Google Cloud Hyperdisk ML-Volumes werden vor dem Start von Pods mit Modellgewichtungen und Datasets aus Cloud Storage vorab geladen.
Google Cloud VMware Engine: Google verwaltet dedizierte private VMware-Cloud-Cluster, deren Kapazität sich erweitert oder verringert, wenn physische ESXi-Hosts dem Cluster beitreten oder ihn verlassen. Wenn Sie ESXi-Hosts hinzufügen oder entfernen möchten, wenn die kontinuierliche CPU-, Arbeitsspeicher- oder vSAN-Speichernutzung die konfigurierten Schwellenwerte überschreitet, verwenden Sie Autoscaling-Richtlinien.
Skalierungsoptionen vergleichen
Vergleichen Sie die Funktionen in der folgenden Tabelle, um die Skalierungs- oder Ressourcenverfügbarkeitsoption auszuwählen, die Ihren betrieblichen Anforderungen entspricht:
| Skalierungsoption | Hauptzweck | Unterstützte Computing-Optionen | Kompatible Skalierungsoptionen | Skalierungsauslöser | Anwendungsfälle |
|---|---|---|---|---|---|
| Reservierungen | Zonenkapazität für die sofortige Verwendung oder für ein zukünftiges Datum mit hoher Verfügbarkeitsgarantie reservieren | Alle Computing-Optionen außer Cloud Run | Alle Skalierungsoptionen | Manuelle oder Kalenderreservierungsanfrage; kein Autoscaling |
|
| Traffic-Verteilung mit Cloud Load Balancing | Eingehenden Traffic auf fehlerfreie Compute-Instanzen, Knotenpools oder Container verteilen | Alle Computing-Optionen | Alle Skalierungsoptionen | Eingehende Nutzeranfragen und Backend-Systemdiagnosen |
|
| MIG-Autoscaling | Compute-Instanzen in einer MIG für variable Arbeitslastanforderungen hinzufügen oder entfernen | Compute Engine | Reservierungen, MIG-Instanzflexibilität, Stand-by-Pools in MIGs, Autoscaling von Knotengruppen für einzelne Mandanten, benutzerdefinierter Orchestrator | CPU-Auslastung, Load-Balancer-Kapazität, Cloud Monitoring-Messwerte, Zeitpläne oder vorausschauende Prognosen |
|
| Instanzflexibilität von verwalteten Instanzgruppen | Mehrere Maschinentypen in einer MIG bewerten, um die Ressourcenverfügbarkeit zu verbessern | Compute Engine | MIG-Autoscaling, Reservierungen, Spot-VMs | Wenn die primären Maschinentypen beim Erstellen oder horizontalen Skalieren von MIG-Instanzen nicht genügend Kapazität haben |
|
| Bulk-Modus und Anfragen zur Größenanpassung in MIGs | Alle angeforderten Compute-Instanzen in einer MIG gleichzeitig hinzufügen, wenn die volle Kapazität verfügbar ist | Compute Engine und Cluster Director | Reservierungen, Live-Cluster-Änderung, benutzerdefinierter Orchestrator | Zielgröße, die im Bulk-Modus festgelegt wurde, oder Erstellung einer Anfrage zur Größenanpassung, die erfüllt wird, wenn die volle Hardwarekapazität verfügbar ist |
|
| Stand-by-Pools in MIGs | Standby-Pool mit vorkonfigurierten, gesperrten oder beendeten Compute-Instanzen bereithalten, um die horizontale Skalierung der MIG zu beschleunigen | Compute Engine | MIG-Autoscaling, Reservierungen | Manuelle Größenanpassung oder MIG-Skalierungsanforderung, bei der gepoolte Compute-Instanzen fortgesetzt oder gestartet werden |
|
| Bulk-Erstellung von Compute-Instanzen | Mehrere Compute-Instanzen in einer API-Anfrage mit automatischer Zonen- und Maschinenauswahl erstellen | Compute Engine | Reservierungen, Spot-VMs, benutzerdefinierter Orchestrator | Einzelne API- oder Google Cloud CLI-Anfrage für Bulk-Einfügungen |
|
| Autoscaling von Knotengruppen für einzelne Mandanten | Dedizierte physische Server für isolierte Arbeitslasten automatisch skalieren | Compute Engine und GKE | Reservierungen, MIG-Autoscaling, benutzerdefinierter Orchestrator, Cluster-Autoscaler | Ressourcenbedarf von Gast-Compute-Instanzen |
|
| Benutzerdefinierter Orchestrator | Erstellung von Compute-Instanzen, MIG-Zielgröße und Löschung über einen eigenen Planer wie Ray, SkyPilot oder HTCondor steuern | Compute Engine und Cluster Director | Reservierungen, MIG-Autoscaling, Bulk-Modus und Anfragen zur Größenanpassung in MIGs, Bulk-Erstellung von Compute-Instanzen, Autoscaling von Knotengruppen für einzelne Mandanten, Live-Cluster-Änderung | Benutzerdefinierte Geschäftsmesswerte oder externe Planerwarteschlangen |
|
| Slurm-Orchestrierung und dynamische Knoten | Dynamische Rechenknoten in Slurm-Partitionen für Batch-, KI- und HPC-Jobs automatisch skalieren | Cluster Director und Cluster Toolkit | Reservierungen, Flex-Start-VMs, Spot-VMs, Live-Cluster-Änderung, Live-Blueprint-Rekonfiguration | Slurm-Jobs in der Warteschlange und Zeitüberschreitungen für inaktive Knoten |
|
| Live-Cluster-Änderung | Partitionen, Knotensätze, MIGs oder statische und dynamische Knotenlimits in einem aktiven Cluster hinzufügen oder ihre Größe anpassen | Cluster Director | Slurm-Orchestrierung und dynamische Knoten, Bulk-Modus und Anfragen zur Größenanpassung in MIGs, benutzerdefinierter Orchestrator, Reservierungen | Clusteraktualisierungsanfrage für einen aktiven Cluster |
|
| Live-Blueprint-Rekonfiguration | Blueprints aktualisieren und noch einmal bereitstellen, um Slurm-Partitionen, statische Knoten oder GKE-Knotenpools in einem aktiven Cluster hinzuzufügen oder ihre Größe anzupassen | Cluster Toolkit | Slurm-Orchestrierung und dynamische Knoten, Cluster Autoscaler, Reservierungen | Blueprint-Aktualisierung und erneute Bereitstellung in einem aktiven Cluster |
|
| Benutzerdefinierte ComputeClasses | Priorisierte Hardware-Fallback-Regeln, Kapazitätsverbrauch und Knotenmigration definieren | GKE im Standard- und Autopilot-Modus | Cluster Autoscaler, automatische Erstellung von Knotenpools, Flex-Start-Bereitstellung in GKE, Reservierungen, Kapazitätspuffer | Ausstehende Pods, die mit einem ComputeClass-Selektor übereinstimmen, oder Verfügbarkeit von Hardware mit höherer Priorität |
|
| Cluster Autoscaler | Knoten in vorhandenen Knotenpools hinzufügen oder entfernen | GKE im Standardmodus und Cluster Toolkit-GKE-Blueprints | Benutzerdefinierte ComputeClasses, Reservierungen, Autoscaling von Knotengruppen für einzelne Mandanten, HPA, VPA, Kapazitätspuffer, Skalierung auf null | Ausstehende Pods oder unzureichende Knotenauslastung |
|
| Automatische Erstellung von Knotenpools | Knotenpools parallel erstellen und löschen, um die Hardwareanforderungen von Pods zu erfüllen | GKE: verwaltet im Autopilot-Modus; konfigurierbar im Standardmodus | Benutzerdefinierte ComputeClasses, Reservierungen, Flex-Start-Bereitstellung in GKE, HPA, VPA, Kapazitätspuffer | Ausstehende Pods, die Maschinenreihen, Beschleuniger oder Zonen erfordern, die in vorhandenen Knotenpools nicht vorhanden sind |
|
| Flex-Start-Bereitstellung in GKE | GPUs, TPUs und H4D-Knoten abrufen, wenn Kapazität verfügbar wird, pro Knoten oder alle auf einmal mit der Bereitstellung per Warteschlange | GKE im Standard- und Autopilot-Modus | Benutzerdefinierte ComputeClasses, automatische Erstellung von Knotenpools, Cluster Autoscaler, Kueue-Jobwarteschlangen | Ausstehende Pods oder in der Warteschlange befindliche ProvisioningRequest-Objekte, wenn Hardwarekapazität frei wird |
|
| Kapazitätspuffer | Aktive oder gesperrte Stand-by-Knoten vorab bereitstellen, um Pods schnell zu platzieren und verfügbar zu machen | GKE im Standard- und Autopilot-Modus | Benutzerdefinierte ComputeClasses, Cluster-Autoscaler, automatische Erstellung von Knotenpools, HPA, Reservierungen | Verbrauch der gepufferten Knotenkapazität durch geplante Pods |
|
| Containeroptimierte Computing-Plattform | Knotenbereitschaft und Pod-Platzierung mit verwalteter Infrastruktur und Balanced- oder Scale-Out-ComputeClasses beschleunigen |
GKE: Autopilot-Cluster und Arbeitslasten im Autopilot-Modus in Standard-Clustern | Automatische Erstellung von Knotenpools, HPA, VPA, Kapazitätspuffer, Reservierungen | Ausstehende Pods, die zusätzliche Rechenkapazität erfordern |
|
| HPA | Pod-Replikate hinzufügen oder entfernen, um die Arbeitslastanforderungen zu erfüllen | GKE im Standard- und Autopilot-Modus | Cluster Autoscaler, automatische Erstellung von Knotenpools, MPA, benutzerdefinierte und externe Messwerte, Skalierung auf null | CPU-Auslastung, Arbeitsspeichernutzung oder benutzerdefinierte und externe Messwerte |
|
| VPA | CPU- und Speicheranforderungen und -limits für Container basierend auf der Nutzung anpassen | GKE im Standard- und Autopilot-Modus | Cluster-Autoscaling, automatische Erstellung von Knotenpools, MPA, direkte Größenanpassung von Pods, Reservierungen | Verlauf der CPU- und Arbeitsspeichernutzung von Containern |
|
| MPA | Pod-Replikate gleichzeitig nach CPU- und Container-Arbeitsspeicheranfragen skalieren | GKE im Standard- und Autopilot-Modus | Cluster-Autoscaler, automatische Erstellung von Knotenpools, benutzerdefinierte und externe Messwerte | Gleichzeitige Verschiebungen der CPU-Anforderungen und Änderungen der Container-Speichernutzung |
|
| Benutzerdefinierte und externe Messwerte | Pod-Replikate basierend auf Anwendungs- oder externen Dienstsignalen skalieren | GKE im Standard- und Autopilot-Modus | HPA, MPA, Skalierung auf null, Cluster-Autoscaler, automatische Erstellung von Knotenpools | Anwendungsmesswerte oder externe Warteschlangen- und Traffic-Messwerte |
|
| Skalierung auf null | Inaktive Pods und Knotenpools auf null herunterskalieren und bei Bedarf oder Ereignissen aktivieren | GKE im Standard- und Autopilot-Modus | HPA, benutzerdefinierte und externe Messwerte, Cluster Autoscaler, automatische Erstellung von Knotenpools | Fehlende Nachfrage oder neue Nachfrage in benutzerdefinierten und externen HPA-Messwerten oder KEDA-Triggern |
|
| Kueue-Jobwarteschlangen | Batchjobs in die Warteschlange stellen, Teamkontingente erzwingen und die gleichzeitige Knotenzuweisung koordinieren | GKE im Standard- und Autopilot-Modus | Flex-Start-Bereitstellung in GKE, benutzerdefinierte ComputeClasses, Cluster-Autoscaler, automatische Erstellung von Knotenpools | Zulässige Batchjobs, wenn Clusterkontingent und Hardwarekapazität verfügbar sind |
|
| Cloud Storage FUSE mit parallelem Streaming | Cloud Storage-Buckets als Dateisysteme mit parallelen Lesevorgängen und Caches bereitstellen | GKE im Standard- und Autopilot-Modus | HPA, Cluster-Autoscaling, automatisches Erstellen von Knotenpools, Pod-Snapshots | Pod-Start und sequenzielles Lesen von Dateien aus bereitgestellten Buckets |
|
| CPU-Start-Boost | Containern während der Initialisierung vorübergehend zusätzliche CPU zuweisen | GKE im Standard- und Autopilot-Modus | HPA, VPA, Cluster-Autoscaling, automatische Erstellung von Knotenpools | Containerstart- und Initialisierungsphase |
|
| Image-Streaming | Container-Image-Blöcke während des Pod-Starts on demand aus Artifact Registry streamen | GKE im Standard- und Autopilot-Modus | HPA, Cluster-Autoscaler, automatische Erstellung von Knotenpools, Kapazitätspuffer | Container-Image-Abruf aus Artifact Registry beim Start eines Pods |
|
| Sekundäre Bootlaufwerke | Vorgeladene Persistent Disk-Volumes mit Container-Images oder Modelldaten beim Booten des Knotens anhängen | GKE im Standard- und Autopilot-Modus | Benutzerdefinierte ComputeClasses, HPA, Cluster-Autoscaling, automatisches Erstellen von Knotenpools, Kapazitätspuffer | Knotenstart in einem Knotenpool, der mit sekundären Bootlaufwerk-Images konfiguriert ist |
|
| In-Place-Größenanpassung von Pods | CPU- und Arbeitsspeicherzuweisungen für aktive Container ohne Pod-Neustarts aktualisieren | GKE im Standard- und Autopilot-Modus | VPA, Cluster Autoscaler, automatisches Erstellen von Knotenpools | Aktualisierte CPU- oder Speicheranforderungen und -limits für Container |
|
| Pod-Snapshots | Pod-Replikate aus gespeicherten Speicher- und Dateisystemprüfpunkten wiederherstellen | GKE im Standard- und Autopilot-Modus | HPA, Cluster-Autoscaler, automatische Erstellung von Knotenpools, Kapazitätspuffer | Erstellung eines Pod-Replikats aus einem gespeicherten Snapshot |
|
| Run:ai Model Streamer | Modelltensoren parallel in den GPU- oder TPU-Arbeitsspeicher streamen | GKE im Standard- und Autopilot-Modus | HPA, Cluster Autoscaler, automatische Erstellung von Knotenpools, Volume Populator | Anfragen zum Starten des KI-Inferenzservers und zum Laden des Modells |
|
| Volume Populator | Hyperdisk ML-Volumes mit Daten aus Cloud Storage vorab laden | GKE im Standard- und Autopilot-Modus | HPA, Cluster-Autoscaling, automatisches Erstellen von Knotenpools, Pod-Snapshots | PersistentVolumeClaim-Erstellung, die auf eine GCPDataSource-Ressource verweist |
|
| Autoscaling-Richtlinien | ESXi-Hosts in einem VMware-Cluster einer privaten Cloud hinzufügen oder entfernen | VMware Engine | Cloud Load Balancing | Kontinuierliche CPU-, Arbeitsspeicher- oder vSAN-Speichernutzung |
|
Best Practices für die Skalierbarkeit
Wenn Sie eine Infrastruktur entwerfen möchten, die ohne Engpässe oder Kapazitätsmängel skaliert werden kann, wenden Sie die Best Practices in diesem Abschnitt auf Rechenkapazität, Netzwerkdesign und Anwendungsarchitektur an.
Rechenkapazität und Verfügbarkeit planen
Wenden Sie die folgenden Best Practices an, um Ihre Infrastruktur auf eine steigende Nachfrage vorzubereiten und die Verfügbarkeit von Hardware zu verbessern:
Arbeitslastanforderungen schätzen: Bevor Sie Autoscaler konfigurieren, sollten Sie Ihre Baseline-Nutzung und die Spitzenwerte messen. Mit dem Kapazitätsplaner können Sie die bisherige Nutzung prüfen, den Bedarf prognostizieren und genaue Mindest- und Höchstgrenzen für Compute-Instanzen festlegen.
Design für die Ressourcenbeschaffung: Wenn Sie knappe Hardware wie GPUs oder TPUs anfordern, optimieren Sie die Compute-Bereitstellung in den folgenden drei Dimensionen:
Standortflexibilität: Verteilen Sie Arbeitslasten mit regionalen MIGs auf mehrere Zonen.
Flexibilität bei Maschinentypen: Lassen Sie mehrere Maschinenserien über die MIG-Instanzflexibilität oder benutzerdefinierte GKE-ComputeClasses zu.
Zeitliche Flexibilität: Verwenden Sie die Flex-Start-Bereitstellung, wenn Jobs auf Kapazität warten können.
Reservierungen für hohe Kapazitätssicherheit verwenden: Reservieren Sie Kapazität im Voraus für Baseline-Traffic, Spitzenereignisse oder knappe GPUs und TPUs. Reservierungen bieten ein hohes Maß an Sicherheit, dass Ressourcen in Ihrer Zielzone verfügbar sind, wenn Ihre Arbeitslasten horizontal skaliert werden. Wenn ein einzelner Slurm-Job eine Reservierung überschreitet, verteilen Sie die Cluster Toolkit-Partitionen auf mehrere Reservierungen.
Reservekapazität für latenzempfindliche Arbeitslasten vorwärmen: Wenn Ihre Anwendung bei plötzlichen Traffic-Spitzen nicht auf die Bereitstellung neuer Compute-Instanzen warten kann, sollten Sie einsatzbereite Reservekapazität vorhalten. Konfigurieren Sie GKE-Kapazitätspuffer, um aktive oder Standby-Knoten vorab bereitzustellen, oder verwenden Sie Standby-Pools in Compute Engine-MIGs, um angehaltene Compute-Instanzen ohne die Verzögerungen eines vollständigen Betriebssystemstarts fortzusetzen.
Netzwerke für Skalierung entwerfen
Wenden Sie die folgenden Netzwerkpraktiken an, um Daten ohne Verzögerungen oder Adresserschöpfung zwischen skalierten Ressourcen zu verschieben:
Ausreichend IP-Adressen zuweisen: Prüfen Sie, ob Ihre Subnetze genügend verfügbare IP-Adressen für die maximale Anzahl von Instanzen oder Knoten in Ihren Autoscaling-Limits haben. Prüfen Sie in GKE auch die sekundären IP-Bereiche für Pods und Dienste. Wenn in einem Subnetz keine IP-Adressen mehr verfügbar sind, können Autoscaler keine neuen Compute-Instanzen oder Pods erstellen.
Netzwerkschnittstellen mit hohem Durchsatz auswählen: Wählen Sie für Arbeitslasten, die große Datasets oder Modellgewichtungen über Knoten hinweg übertragen, Netzwerkkarten mit hoher Bandbreite aus, z. B. Google Virtual Network Interface Card oder Remote Direct Memory Access. Diese Schnittstellen reduzieren den CPU-Overhead und erhöhen die Bandbreite zwischen skalierten Compute-Instanzen.
Instanzplatzierung optimieren: Gruppieren Sie für KI-Trainings- oder HPC-Jobs mit mehreren Knoten Compute-Instanzen auf physischen Servern, die sich nahe beieinander befinden, mit Richtlinien für kompakte Platzierung oder topologiebewusster Platzierung in Cluster Director und Cluster Toolkit. Durch die enge physische Platzierung werden Netzwerkhops und Latenz über skalierte Knoten hinweg reduziert. Verteilen Sie für fehlertolerante Webdienste die Compute-Instanzen stattdessen auf mehrere Zonen, damit ein Ausfall einer einzelnen Zone den Traffic nicht unterbricht.
Anwendungen für die Skalierung entwerfen
Damit Ihre Anwendungen ohne Unterbrechung für Nutzer horizontal skaliert werden können, wenden Sie die folgenden Architekturpraktiken an:
Anwendungsebenen zustandslos halten: Speichern Sie Nutzersitzungsdaten, Prüfpunkte und freigegebene Dateien in externen Speichern oder Datenbanken und nicht auf lokalen Instanzlaufwerken. Dank dieses Designs können Autoscaler jederzeit Recheninstanzen und Pods hinzufügen oder entfernen, ohne dass Daten verloren gehen.
Komponenten mit Warteschlangen und Mikrodiensten entkoppeln: Teilen Sie monolithische Arbeitslasten in unabhängige Dienste auf, die über Load Balancer oder Nachrichtenwarteschlangen wie Pub/Sub verbunden sind. Mit dieser Architektur können Sie jeden Dienst je nach Bedarf skalieren, einschließlich ereignisgesteuertem Autoscaling auf null, und Traffic-Spitzen ohne Überlastung nachgelagerter Backends abfangen.
Containerstart- und Modellladezeiten verkürzen: Reduzieren Sie die Verzögerung zwischen der Ressourcenerstellung und der Traffic-Bereitschaft, damit die skalierte Kapazität Anfragen sofort verarbeiten kann. In GKE können Sie Container-Images streamen oder vorab laden und den CPU-Start-Boost oder Pod-Snapshots verwenden, um die Laufzeitinitialisierung zu beschleunigen. Für KI-Arbeitslasten können Sie Modellgewichtungen aus Cloud Storage FUSE, Run:ai Model Streamer oder vorab ausgefüllten Volumes streamen.