KI- und ML-Arbeitslasten mit Google Cloud Managed Lustre optimieren

Last reviewed 2026-10-13 UTC

In diesem Dokument wird eine Referenzarchitektur vorgestellt, die zeigt, wie Sie mit Google Cloud Managed Lustre die Leistung von KI- und ML-Arbeitslasten optimieren können, die in der Google Kubernetes Engine (GKE) bereitgestellt werden. Die Zielgruppe für dieses Dokument umfasst Architekten und technische Fachkräfte, die Speicher für ihre KI-Arbeitslasten auf Google Cloudentwerfen, bereitstellen und verwalten. In diesem Dokument wird davon ausgegangen, dass Sie mit Kubernetes-Konzepten und dem ML-Lebenszyklus, den Prozessen und den Funktionen vertraut sind.

Managed Lustre ist ein vollständig Google Cloudverwaltetes, nichtflüchtiges paralleles Dateisystem (Persistent File System, PFS), das auf DDN EXAScaler Lustre basiert. Managed Lustre ist eine empfohlene Lösung für KI-Trainings- und Prüfpunkt-Arbeitslasten. Es eignet sich besonders für die Migration vorhandener Arbeitslasten von Lustre oder anderen PFS-Lösungen. Um die Ressourcenauslastung zu maximieren, sollten Arbeitslasten, die Managed Lustre für das Training verwenden, auch dieselbe Instanz für die Bereitstellung und Inferenz verwenden.

Managed Lustre ist die empfohlene Lösung für KI-Arbeitslasten, die die folgenden Kriterien erfüllen:

Managed Lustre bietet die folgenden Vorteile für KI-Arbeitslasten:

  • Niedrigere Gesamtbetriebskosten (TCO) für das Training: Managed Lustre trägt dazu bei, die Trainingszeit zu verkürzen, indem Daten effizient an Rechenknoten gesendet werden. Diese Funktion trägt dazu bei, die Gesamtbetriebskosten für das Trainieren von KI- und ML-Modellen zu senken.
  • Niedrigere TCO für die Bereitstellung: Managed Lustre bietet leistungsstarke Funktionen, die ein schnelleres Laden von Modellen und eine optimierte Inferenzbereitstellung ermöglichen. Diese Funktionen tragen dazu bei, die Rechenkosten zu senken und die Ressourcennutzung zu verbessern.
  • Effiziente Ressourcennutzung: Mit Managed Lustre können Sie Prüfpunkte und Training in einer einzigen Instanz kombinieren. Diese Ressourcenfreigabe trägt dazu bei, die effiziente Nutzung des Lese- und Schreibdurchsatzes in einem einzigen, leistungsstarken Speichersystem zu maximieren.

Architektur

Das folgende Diagramm zeigt eine Beispielarchitektur für die Verwendung von Managed Lustre, um die Leistung einer Modelltrainings- und Bereitstellungsarbeitslast zu optimieren:

Eine Architektur verwendet Managed Lustre, um die Leistung einer Arbeitslast für das Training von Modellen und einer Arbeitslast für die Bereitstellung zu optimieren.

Die in der vorherigen Architektur gezeigten Arbeitslasten werden in späteren Abschnitten ausführlich beschrieben. Diese Architektur umfasst die folgenden Komponenten:

  • GKE: GKE verwaltet die Compute-Hosts, auf denen die Trainings- und Bereitstellungsprozesse für Ihre KI- und ML-Modelle ausgeführt werden. GKE verwaltet die zugrunde liegende Infrastruktur der Cluster, einschließlich der Steuerungsebene, Knoten und aller Systemkomponenten.
  • Kubernetes-Planer: Die GKE-Steuerungsebene plant Arbeitslasten und verwaltet deren Lebenszyklus, Skalierung und Upgrades.
  • VPC-Netzwerk (Virtual Private Cloud): Alle Ressourcen von Google Cloud in der Architektur verwenden ein einzelnes VPC-Netzwerk.
  • Cloud Load Balancing: In dieser Architektur verteilt Cloud Load Balancing eingehende Inferenzanfragen von Anwendungsnutzern effizient auf die Bereitstellungscontainer im GKE-Cluster. Durch die Verwendung von Cloud Load Balancing wird eine Hochverfügbarkeit, Skalierbarkeit und optimale Leistung für die KI- und ML-Anwendung gewährleistet. Weitere Informationen finden Sie unter Informationen zum GKE-Load-Balancing.
  • Grafikprozessoren (GPUs) oder Tensor Processing Units (TPUs): GPUs und TPUs sind spezialisierte Maschinenbeschleuniger, die die Leistung Ihrer KI- und ML-Arbeitslasten verbessern. Verwenden Sie für Ihre gesamte KI- und ML-Arbeitslast denselben Beschleunigertyp, um eine optimale Effizienz und Kompatibilität zu gewährleisten. Weitere Informationen zur Auswahl eines geeigneten Prozessortyps finden Sie weiter unten in diesem Dokument unter Beschleunigeroptionen.
  • Managed Lustre: Managed Lustre beschleunigt das KI- und ML-Training und die Bereitstellung durch die Bereitstellung eines leistungsstarken, persistenten PFS, das für geringe Latenz und hohen Durchsatz optimiert ist. Im Vergleich zur alleinigen Verwendung von Cloud Storage wird die Trainingszeit durch die Verwendung von Managed Lustre erheblich verkürzt und die Reaktionsfähigkeit Ihrer Modelle während der Bereitstellung verbessert. Diese Verbesserungen machen sich besonders bei anspruchsvollen Arbeitslasten bemerkbar, die einen schnellen und konsistenten Zugriff auf weitergegebene Daten erfordern.
  • Cloud Storage FUSE: Cloud Storage FUSE bietet dauerhaften und kostengünstigen Speicher für Ihre KI- und ML-Arbeitslasten. Cloud Storage dient als zentrales Repository für Ihre Rohtrainings-Datasets, Modellprüfpunkte und Modellsicherungen. Cloud Storage trägt zur Datensicherheit, langfristigen Verfügbarkeit und Kosteneffizienz von Daten bei, die nicht aktiv für Berechnungen verwendet werden.

Trainingsbelastung

In der vorherigen Architektur sind die folgenden Schritte im Datenfluss während des Modelltrainings enthalten:

  1. Trainingsdaten in Cloud Storage hochladen: Sie laden Trainingsdaten in einen Cloud Storage-Bucket hoch, der als sicheres und skalierbares zentrales Repository und Source of Truth dient.
  2. Daten in Managed Lustre kopieren: Der Trainingsdatenkorpus wird durch Importieren von Daten in eine Managed Lustre-Instanz aus Cloud Storage übertragen. Durch die Übertragung der Trainingsdaten können Sie die leistungsstarken Dateisystemfunktionen von Managed Lustre nutzen, um die Datenlade- und Verarbeitungsgeschwindigkeit während des Modelltrainings zu optimieren.
  3. Trainingsjobs in GKE ausführen: Der Modelltrainingsprozess wird auf GKE-Knoten ausgeführt. Wenn Sie Managed Lustre als Datenquelle verwenden, anstatt Daten direkt aus Cloud Storage zu laden, können die GKE-Knoten mit deutlich höherer Geschwindigkeit und geringerer Latenz auf Trainingsdaten zugreifen und diese laden. Managed Lustre ermöglicht auch eine kürzere Zeit für den Beginn der Übertragung des ersten Bytes, gemessen als Zeit bis zum ersten Byte (TTFB). Mit Managed Lustre können Sie die Ladezeiten für Daten verkürzen und den gesamten Trainingsprozess beschleunigen, insbesondere bei großen Datasets mit kleinen Lesedateien und komplexen Modellen. Je nach den Anforderungen Ihrer Arbeitslast können Sie GPUs oder TPUs verwenden. Informationen zur Auswahl eines geeigneten Prozessortyps finden Sie weiter unten in diesem Dokument unter Beschleunigeroptionen.
  4. Trainingsprüfpunkte in Managed Lustre speichern: Während des Trainings werden Prüfpunkte basierend auf von Ihnen definierten Messwerten oder Intervallen in Managed Lustre gespeichert. Die Prüfpunkte erfassen den Zustand des Modells in kurzen Abständen. Die Prüfpunkte können selektiv nach Cloud Storage exportiert werden, um sie dort langfristig zu speichern.

Arbeitslast bereitstellen

In der vorherigen Architektur sind die folgenden Schritte im Datenfluss während der Bereitstellung des Modells erforderlich:

  1. Modell für die Bereitstellung laden: Wenn Ihr Modell für die Bereitstellung bereit ist, laden Ihre GKE-Pods das trainierte Modell von Ihrer Managed Lustre-Instanz auf die Bereitstellungsknoten. Wenn die Managed Lustre-Instanz, die Sie während des Trainings verwendet haben, über ausreichende IOPS-Kapazität verfügt und sich in derselben Zone wie Ihre Beschleuniger befindet, können Sie dieselbe Managed Lustre-Instanz verwenden, um Ihr Modell bereitzustellen. Durch die Wiederverwendung der Managed Lustre-Instanz können Ressourcen effizient zwischen Training und Bereitstellung geteilt werden. Um eine optimale Leistung und Kompatibilität zu erzielen, verwenden Sie denselben GPU- oder TPU-Prozessortyp, den Sie für Ihre GKE-Bereitstellungsknoten ausgewählt haben.
  2. Inferenzanfrage: Bei der Nutzung der Anwendung werden Inferenzanfragen über die Bereitstellungsendpunkte gesendet. Diese Anfragen werden an den Cloud Load Balancing-Dienst weitergeleitet. Cloud Load Balancing verteilt die eingehenden Anfragen auf die Bereitstellungscontainer im GKE-Cluster. Diese Verteilung trägt dazu bei, dass kein einzelner Container überlastet wird und Anfragen effizient verarbeitet werden.
  3. Inferenzanfragen verarbeiten: Wenn eine Inferenzanfrage eingeht, greifen die Rechenknoten auf das vorab geladene Modell zu, um die erforderlichen Berechnungen durchzuführen und eine Vorhersage zu generieren.
  4. Antwortbereitstellung: Die Bereitstellungscontainer senden die Antworten über Cloud Load Balancing zurück. Cloud Load Balancing leitet die Antworten an die entsprechenden Anwendungsnutzer weiter, wodurch der Inferenzanfragezyklus abgeschlossen wird.

Verwendete Produkte

In dieser Referenzarchitektur werden die folgenden Google Cloud -Produkte verwendet:

  • Virtual Private Cloud (VPC): Ein virtuelles System, das globale, skalierbare Netzwerkfunktionen für Ihre Google Cloud Arbeitslasten bietet. VPC umfasst VPC-Netzwerk-Peering, Private Service Connect, Zugriff auf private Dienste und freigegebene VPC.
  • Cloud Load Balancing: Ein Portfolio von leistungsstarken, skalierbaren, globalen und regionalen Load-Balancern
  • Google Kubernetes Engine (GKE): Ein Kubernetes-Dienst, mit dem Sie Containeranwendungen in großem Maßstab mithilfe der Infrastruktur von Google bereitstellen und betreiben können.
  • Cloud Storage: Ein kostengünstiger, unbegrenzter Objektspeicher für verschiedene Datentypen. Auf Daten kann von innerhalb und außerhalb von Google Cloudzugegriffen werden. Sie werden zu Redundanzzwecken über Standorte hinweg repliziert.
  • Google Cloud Managed Lustre: Ein vollständig verwaltetes paralleles Dateisystem für KI, Hochleistungs-Computing (HPC) und datenintensive Anwendungen.

Anwendungsfälle

Managed Lustre eignet sich ideal für KI-Arbeitslasten, die eine Speicherkapazität im PiB-Bereich und einen Zugriff mit niedriger Latenz (unter einer Millisekunde) mit hohem Durchsatz und hohen IOPS erfordern. In diesem Abschnitt finden Sie Beispiele für Anwendungsfälle, in denen Sie Managed Lustre verwenden können.

Textbasierte Verarbeitung und Textgenerierung

LLMs sind spezialisierte KI-Modelle, die speziell für das Verstehen und Verarbeiten von textbasierten Daten entwickelt wurden. LLMs werden mit riesigen Textdatasets trainiert, um Aufgaben wie maschinelle Übersetzung, die Beantwortung von Fragen und Zusammenfassung von Texten zu bewältigen. Für ein effizientes Training und eine effiziente Batchverarbeitung benötigt Ihr LLM Zugriff mit geringer Latenz auf die Datasets. Managed Lustre eignet sich hervorragend für datenintensive Anwendungen, da es den hohen Durchsatz und die geringe Latenz bietet, die sowohl für das Training als auch für die Inferenz erforderlich sind. Dies führt zu reaktionsschnelleren LLM-gestützten Anwendungen.

Verarbeitung von Bildern oder Videos mit hoher Auflösung

KI- und ML-Anwendungen oder multimodale generative Modelle, die hochauflösende Bilder oder Videos verarbeiten, z. B. für die Analyse medizinischer Bilder oder für Systeme für autonomes Fahren, erfordern eine große Speicherkapazität und einen schnellen Datenzugriff. Managed Lustre bietet ein leistungsstarkes nichtflüchtiges Dateisystem, das ein schnelles Laden von Daten ermöglicht, um die Anwendungsleistung zu beschleunigen. Mit Managed Lustre können beispielsweise große Mengen von Patientendaten wie MRT- und CT-Scans gespeichert werden. Außerdem wird das schnelle Laden von Daten in Rechenknoten für das Modelltraining ermöglicht. Diese Funktion ermöglicht es KI- und ML-Modellen, die Daten für Diagnose und Behandlung schnell zu analysieren.

Designalternativen

In diesem Abschnitt werden alternative Designansätze vorgestellt, die Sie für Ihre KI- und ML-Anwendung in Google Cloudin Betracht ziehen können.

Alternative zur Computing-Infrastruktur

In der Referenzarchitektur in diesem Dokument wird die GKE für die KI- und ML-Arbeitslasten verwendet. Je nach den Anforderungen Ihrer Arbeitslast können Sie alternativ Managed Lustre-Instanzen in der Compute Engine mit Slurm bereitstellen. Wir empfehlen diesen Ansatz, wenn Sie proprietäres geistiges Eigentum (IP) im Bereich KI in eine skalierbare Umgebung einbinden müssen und Flexibilität und Kontrolle benötigen, um die Leistung für spezielle Arbeitslasten zu optimieren.

Mit der Compute Engine haben Sie im Vergleich zu GKE eine detailliertere Kontrolle auf Betriebssystemebene. Wenn Sie Compute Engine verwenden, haben Sie folgende Möglichkeiten:

  • Sie können das Betriebssystem in Ihren virtuellen Maschinen auswählen, konfigurieren und verwalten, um bestimmte Arbeitslastanforderungen zu erfüllen.
  • Passen Sie Ihre Infrastruktur genau an Ihre Anforderungen an, einschließlich der Auswahl bestimmter VM-Maschinentypen.
  • Verwenden Sie die beschleunigungsoptimierte Maschinenfamilie, um die Leistung Ihrer KI-Arbeitslasten zu verbessern.

Slurm ist ein hochgradig konfigurierbarer Open-Source-Arbeitslast- und Ressourcenmanager. Slurm bietet eine leistungsstarke Option zum Verwalten von KI-Arbeitslasten und ermöglicht es Ihnen, die Konfiguration und Verwaltung der Rechenressourcen zu steuern. Für diesen Ansatz sind Kenntnisse in der Slurm-Administration und der Linux-Systemverwaltung erforderlich. GKE bietet eine verwaltete Kubernetes-Umgebung, die die Clusterverwaltung automatisiert.

Informationen zum Bereitstellen von Slurm finden Sie unter HPC-Cluster mit Slurm bereitstellen. Sie können auch das Cluster Toolkit mit dem Starter-Blueprint für Managed Lustre verwenden.

Beschleunigeroptionen

Maschinenbeschleuniger sind spezialisierte Prozessoren, die die Berechnungen für KI- und ML-Arbeitslasten beschleunigen sollen. Sie können entweder GPUs oder TPUs auswählen.

  • GPU-Beschleuniger bieten eine hervorragende Leistung für eine Vielzahl von Aufgaben, darunter Grafikrendering, Deep-Learning-Training und wissenschaftliches Computing. Google Cloud bietet eine große Auswahl an GPUs für unterschiedliche Leistungs- und Preispunkte. Informationen zu GPU-Modellen und ‑Preisen finden Sie unter GPU-Preise.
  • TPUs sind speziell entwickelte KI-Beschleuniger, die für das Training und die Inferenz großer KI-Modelle optimiert sind. TPUs eignen sich ideal für eine Vielzahl von Anwendungsfällen, z. B. Chatbots, Codegenerierung, Generierung von Medieninhalten, synthetische Sprache, Vision-Dienste, Empfehlungssysteme und Personalisierungsmodelle. Weitere Informationen zu TPU-Modellen und -Preisen finden Sie unter TPU-Preise.

Speicheralternativen

Cloud Storage FUSE mit Rapid Cache kann für Trainings-, Prüfpunkt- und Bereitstellungsarbeitslasten verwendet werden. Cloud Storage FUSE mit Rapid Cache ist die empfohlene Speicherlösung für Bereitstellung und Inferenz, da sie im Vergleich zu Managed Lustre kostengünstiger und einfacher für multiregionale Inferenz ist. Um die höchstmögliche Verfügbarkeit zu gewährleisten, verwenden Sie Cloud Storage FUSE mit Rapid Cache und einem multiregionalen oder biregionalen Bucket. Mit dieser Konfiguration sind Ihre trainierten KI-Modelle in mehreren Regionen verfügbar. Im Vergleich zu Managed Lustre-Instanzen kann Cloud Storage FUSE jedoch einen geringeren Durchsatz pro VM haben. Weitere Informationen finden Sie unter KI- und ML-Arbeitslasten mit Cloud Storage FUSE optimieren.

Designaspekte

Wenn Sie eine Managed Lustre-Bereitstellung entwerfen möchten, die die Sicherheit, Zuverlässigkeit, Kosten, den Betrieb und die Leistung Ihrer KI- und ML-Arbeitslasten auf Google Cloudoptimiert, verwenden Sie die Richtlinien in den folgenden Abschnitten.

Eine Übersicht über Architekturprinzipien und Empfehlungen, die speziell für KI- und ML-Arbeitslasten in Google Cloudgelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive.

Sicherheit, Datenschutz und Compliance

In diesem Abschnitt werden Überlegungen für Ihre KI- und ML-Arbeitslasten inGoogle Cloud beschrieben, die Ihre Sicherheits-, Datenschutz- und Compliance-Anforderungen erfüllen.

SSH-Sicherheit

Um die Zugriffssteuerung für Ihre in GKE ausgeführten Anwendungen zu verbessern, können Sie Identity-Aware Proxy (IAP) verwenden. IAP lässt sich in die GKE Ingress-Ressource einbinden und trägt dazu bei, dass nur authentifizierte Nutzer mit der richtigen IAM-Rolle (Identity and Access Management) auf die Anwendungen zugreifen können. Weitere Informationen finden Sie unter IAP für GKE aktivieren und Zugriffssteuerung mit IAM.

Datenverschlüsselung

Standardmäßig werden Ihre Daten in GKE, einschließlich der Daten, die in Ihrer Managed Lustre-Instanz gespeichert sind, im Ruhezustand und bei der Übertragung mit Google-owned and Google-managed encryption keysverschlüsselt. Wenn Sie Ihre eigenen Verschlüsselungsschlüssel verwalten müssen, können Sie kundenverwaltete Verschlüsselungsschlüssel (CMEK) in Cloud Key Management Service verwenden, um ruhende Daten in Ihrer Managed Lustre-Instanz zu verschlüsseln. Außerdem können Sie GKE-Secrets auf der Anwendungsebene verschlüsseln. Weitere Informationen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel verwenden und Secrets auf Anwendungsebene verschlüsseln.

Wenn Sie einen GKE Standard-Cluster verwenden, können Sie die folgenden zusätzlichen Funktionen zur Datenverschlüsselung nutzen:

Datenisolation

Um die Sicherheit und den Datenschutz zu verbessern, sollten Sie Trainingsdaten in einer separaten Managed Lustre-Instanz speichern, die von den Prüfpunkten und trainierten Modellen getrennt ist. Die Verwendung separater Speicherinstanzen sorgt für Leistungsisolation, erhöht die Sicherheit durch die Isolierung von Trainingsdaten und verbessert den Datenschutz. Mit Zugriffssteuerungslisten können Sie die Sicherheit innerhalb einer einzelnen Instanz verwalten. Die Verwendung separater Instanzen bietet jedoch eine robustere Sicherheitsgrenze.

Weitere Sicherheitsaspekte

Im Autopilot-Modus konfiguriert GKE Ihren Cluster vor und verwaltet Knoten gemäß den Best Practices für die Sicherheit. So können Sie sich auf die arbeitslastspezifische Sicherheit konzentrieren. Weitere Informationen finden Sie unter Sicherheitsfunktionen von GKE Autopilot und Move-in ready Kubernetes security with GKE Autopilot.

Informationen zum Schutz Ihrer Daten finden Sie unter Übersicht über den Schutz sensibler Daten und Google Cloud -Speicher und -Datenbanken auf sensible Daten prüfen.

Sicherheitsgrundsätze und ‑empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Sicherheit.

Zuverlässigkeit

In diesem Abschnitt werden Designfaktoren beschrieben, die Sie bei der Verwendung dieser Referenzarchitektur zum Erstellen und Betreiben einer zuverlässigen Infrastruktur für Ihre regionale Bereitstellung in Google Cloudberücksichtigen sollten.

Robustheit bei Infrastrukturausfällen

Im Autopilot-Modus, der in dieser Architektur verwendet wird, bietet GKE die folgenden integrierten Zuverlässigkeitsfunktionen:

  • Ihre Arbeitslast verwendet einen regionalen GKE-Cluster. Die Steuerungsebene und die Worker-Knoten werden auf drei verschiedene Zonen innerhalb einer Region verteilt. Ihre Arbeitslasten sind gegen Zonenausfälle resistent. Regionale GKE-Cluster haben ein höheres Service Level Agreement (SLA) für die Verfügbarkeit als zonale Cluster.
  • Sie müssen keine Knoten erstellen oder Knotenpools verwalten. GKE erstellt die Knotenpools automatisch und skaliert sie gemäß den Anforderungen Ihrer Arbeitslasten.

Um die Verfügbarkeit Ihrer Anwendung zu erhöhen, können Sie sie aus mehreren Zonen bereitstellen, indem Sie in jeder Zone eine Managed Lustre-Instanz bereitstellen.

Clusterkapazitätsplanung

Damit genügend GPU-Kapazität verfügbar ist, wenn sie für das Autoscaling des GKE-Cluster erforderlich ist, können Sie Reservierungen erstellen und verwenden. Eine Reservierung bietet zugesicherte Kapazität in einer bestimmten Zone für eine bestimmte Ressource. Eine Reservierung kann für ein Projekt spezifisch sein oder für mehrere Projekte freigegeben sein. Für reservierte Ressourcen fallen auch dann Gebühren an, wenn die Ressourcen nicht bereitgestellt oder verwendet werden. Weitere Informationen finden Sie unter Reservierte zonale Ressourcen nutzen.

Datenhaltbarkeit

Wenn Sie Arbeitslasten in GKE sichern und wiederherstellen möchten, aktivieren Sie Backup for GKE in jedem Cluster. Sicherung für GKE ist nützlich für die Notfallwiederherstellung, CI/CD-Pipelines, das Klonen von Arbeitslasten und Upgradeszenarien.

Sie können bestimmte Arbeitslasten oder alle Arbeitslasten auswählen, die Sie sichern und wiederherstellen möchten. Sie können auch Arbeitslasten aus einem Cluster sichern und in einem anderen Cluster wiederherstellen. Um die Ausfallzeiten von Arbeitslasten zu reduzieren, können Sie Ihre Sicherungen so planen, dass sie automatisch ausgeführt werden. Damit können Sie schnell auf Ihre Arbeitslasten reagieren, wenn es zu einem Vorfall kommt.

Weitere Überlegungen zur Zuverlässigkeit

Zuverlässigkeitsprinzipien und Empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Zuverlässigkeit.

Kostenoptimierung

Dieser Abschnitt enthält Anleitungen zum Optimieren der Kosten für die Einrichtung und den Betrieb Ihres KI- und ML-Workflows in Google Cloud.

Managed Lustre-Leistungsstufen

Wenn Sie eine Managed Lustre-Instanz erstellen, müssen Sie eine Leistungsstufe auswählen. Wählen Sie eine geeignete Stufe basierend auf den Leistungs- und Kostenanforderungen Ihrer Arbeitslast aus.

Knotenbereitstellungsmodell

Im Autopilot-Modus optimiert GKE die Effizienz der Clusterinfrastruktur basierend auf den Arbeitslastanforderungen. Um die Kosten zu kontrollieren, müssen Sie die Ressourcenauslastung nicht ständig überwachen oder die Kapazität verwalten.

Wenn Sie die CPU-, Arbeitsspeicher- und sitzungsspezifische Speichernutzung Ihres Autopilot-Clusters vorhersagen können, können Sie Rabatte für zugesicherte Nutzung erhalten. Um die Kosten für die Ausführung Ihrer Anwendung zu senken, können Sie Spot-VMs für Ihre GKE-Knoten verwenden. Spot-VMs sind günstiger als Standard-VMs, bieten aber keine Verfügbarkeitsgarantie.

Ressourcenverwaltung

Wenn Sie Kosten und Leistung durch effiziente Verwaltung optimieren möchten, verwenden Sie den Dynamic Workload Scheduler. Dynamic Workload Scheduler ist ein Ressourcenverwaltungs- und Jobplaner, mit dem Sie den Zugriff auf KI-Beschleuniger (GPUs und TPUs) verbessern können. Dynamic Workload Scheduler plant alle Ihre Beschleuniger gleichzeitig und kann außerhalb der Zeiten hoher Nachfrage mit definierter Beschleunigerkapazitätsverwaltung ausgeführt werden. Durch die strategische Planung von Jobs trägt der Dynamic Workload Scheduler dazu bei, die Nutzung von Beschleunigern zu maximieren, die Leerlaufzeit zu verkürzen und Ihre Cloud-Ausgaben zu optimieren.

Ressourcennutzung

Um die Ressourcenauslastung zu maximieren, sollten Sie eine Managed Lustre-Instanz für Training und Bereitstellung verwenden. Durch die Konsolidierung von Trainings- und Bereitstellungsarbeitslasten auf einer einzigen Managed Lustre-Instanz werden die Kosten minimiert, da redundante Infrastruktur vermieden und die Ressourcenverwaltung vereinfacht wird. Es kann jedoch zu potenziellen Ressourcenkonflikten kommen, wenn beide Arbeitslasten hohe Durchsatzanforderungen haben. Wenn nach dem Training noch zusätzliche IOPS verfügbar sind, kann die Verwendung derselben Instanz das Laden des Modells für die Bereitstellung beschleunigen. Mit Cloud Monitoring können Sie prüfen, ob Sie genügend Ressourcen zuweisen, um Ihre Durchsatzanforderungen zu erfüllen.

Um die Speicherkosten zu minimieren, exportieren Sie Ihre Daten nach dem Training und der Prüfpunkterstellung aus Ihrer Managed Lustre-Instanz in eine kostengünstigere Cloud Storage-Klasse. Wenn Sie Ihre Daten in Cloud Storage exportieren, können Sie Managed Lustre-Instanzen nach Bedarf für Ihre Arbeitslast löschen und neu erstellen.

Wenn Sie die Kosten für Ihren Cloud Storage-Bucket kontrollieren möchten, aktivieren Sie die Verwaltung des Objektlebenszyklus oder Autoclass. Mit der Verwaltung des Objektlebenszyklus werden ältere oder weniger genutzte Daten automatisch in kostengünstigere Speicherklassen verschoben oder gelöscht, je nach den von Ihnen festgelegten Regeln. Mit Autoclass werden Daten basierend auf Ihren Zugriffsmustern zwischen Speicherklassen verschoben. Mit der Verwaltung des Objektlebenszyklus oder Autoclass können Sie die kostengünstigste Speicherklasse für Ihre Datennutzung auswählen, indem Sie die Kosten minimieren und unerwartete Abrufgebühren vermeiden.

Weitere Kostengesichtspunkte

Prinzipien und Empfehlungen zur Kostenoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Kostenoptimierung. Informationen zur Kostenoptimierung in der GKE finden Sie unter Best Practices zum Ausführen kostenoptimierter Kubernetes-Anwendungen in der GKE.

Operative Exzellenz

Dieser Abschnitt enthält eine Anleitung zum Entwerfen einer Infrastruktur für Ihren KI- und ML-Workflow, die Sie effizient betreiben können.

Modellverwaltung

Zum Verfolgen und Verwalten von Modellartefakten, einschließlich Binärdateien und Metadaten, verwenden Sie die Model Registry auf der Gemini Enterprise Agent Platform. Damit können Sie Modellversionen nahtlos speichern, organisieren und bereitstellen.

Um die Zuverlässigkeit des Modells zu optimieren, implementieren Sie Model Monitoring auf der Gemini Enterprise Agent Platform, um Datenabweichungen zu erkennen, die Leistung zu verfolgen und Anomalien in der Produktion zu identifizieren.

GKE-Cluster-Autoscaling

Bei Autopilot-Clustern müssen Sie keine Knotenpools bereitstellen oder verwalten. Knotenpools werden automatisch über die automatische Knotenbereitstellung bereitgestellt und automatisch skaliert, um die Anforderungen Ihrer Arbeitslasten zu erfüllen.

Bei GKE Standard-Clustern passt der Cluster-Autoscaler die Anzahl der Knoten in einem Knotenpool automatisch an die Anforderungen der Arbeitslast an. Um das Autoscaling-Verhalten des Cluster Autoscaler zu steuern, können Sie eine Mindest- und eine maximale Größe für den Knotenpool angeben.

Wenn Sie das GKE-Cluster-Autoscaling verwenden, aktivieren Sie das Compute Engine-Autoscaling für verwaltete Instanzgruppen (MIGs) nicht für Ihre Clusterknoten. Der GKE-Cluster Autoscaler ist vom Compute Engine Autoscaler getrennt. Der GKE-Cluster-Autoscaler ist so konzipiert, dass er Ihre Arbeitslast skaliert, indem er die Ressourcenauslastung in Ihrem GKE-Cluster analysiert, einschließlich der zugrunde liegenden MIGs. Die Verwendung beider Autoscaler kann zu widersprüchlichen Skalierungsentscheidungen führen. Weitere Informationen finden Sie unter GKE-Cluster-Autoscaling.

Messwert-Monitoring

Verwenden Sie Cloud Monitoring, um Engpässe zu identifizieren und wichtige Messwerte wie Latenz, Fehlerrate und Ressourcennutzung zu überwachen. Cloud Monitoring bietet Echtzeit-Einblicke, um Ressourcennutzungsmuster zu verfolgen und potenzielle Ineffizienzen zu identifizieren.

Speicherverwaltung

Wenn Sie die Datenverwaltung basierend auf der Nutzung für Ihren Cloud Storage-Bucket automatisieren möchten, aktivieren Sie die Verwaltung des Objektlebenszyklus oder Autoclass. Mit der Verwaltung des Objektlebenszyklus werden ältere oder weniger genutzte Daten automatisch in kostengünstigere Speicherklassen verschoben oder gelöscht, basierend auf den von Ihnen festgelegten Regeln. Autoclass verschiebt Daten basierend auf Ihren Zugriffsmustern zwischen Speicherklassen. Mit der Verwaltung des Objektlebenszyklus oder Autoclass können Sie Richtlinien einheitlich in Ihrer gesamten Speicherinfrastruktur anwenden und potenzielle menschliche Fehler reduzieren. So sparen Sie Zeit und Kosten, ohne manuell eingreifen zu müssen.

Weitere operative Aspekte

Informationen zu Prinzipien und Empfehlungen für die operative Exzellenz, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Operative Exzellenz.

Leistungsoptimierung

Dieser Abschnitt enthält Anleitungen zur Leistungsoptimierung Ihres KI- und ML-Workflows in Google Cloud. Die Anleitung in diesem Abschnitt ist nicht vollständig. Weitere Informationen zur Leistungsoptimierung für Ihre Managed Lustre-Umgebung finden Sie unter Überlegungen zur Leistung.

Überlegungen zum Training

Jede A3- oder A4-VM kann 20 GB/s, also etwa 2,5 GB/s pro GPU, von einer Managed Lustre-Instanz bereitstellen. Bevor das Training beginnt, müssen Trainingsdaten aus Cloud Storage vorab abgerufen und in Managed Lustre importiert werden, um die Latenz während des Trainings zu minimieren. Um den Durchsatz für Ihre Trainingsarbeitslast zu maximieren, stellen Sie Ihre Managed Lustre-Instanz so bereit, dass sie Ihren Anforderungen an Durchsatz und Speicherkapazität entspricht. Eine Managed Lustre-Instanz mit 20 TiB bietet beispielsweise je nach ausgewählter Leistungsstufe einen aggregierten Durchsatz zwischen 2,5 GB/s und 20 GB/s für alle Clients. Wenn Ihr Training einen höheren Durchsatz erfordert, müssen Sie die Größe Ihrer Managed Lustre-Instanz entsprechend erhöhen.

Überlegungen zu Prüfpunkten

Um den hohen Schreibdurchsatz von Managed Lustre zu nutzen und die Trainingszeit zu minimieren, sollten Sie Managed Lustre sowohl für das Training als auch für das Checkpointing verwenden. Dieser Ansatz trägt zu einer effizienten Nutzung der Ressourcen bei und senkt die Gesamtbetriebskosten für Ihre GPU-Ressourcen, da sowohl das Training als auch das Erstellen von Checkpoints so schnell wie möglich erfolgen. Für ein schnelles Checkpointing können Sie verteiltes, asynchrones Checkpointing ausführen. Da Managed Lustre persistent ist, können Sie Ihre Prüfpunkte in derselben Instanz speichern. Für eine zusätzliche Kostenoptimierung und langfristige Speicherung können Sie Prüfpunkte in einen Cloud Storage-Bucket exportieren.

Überlegungen zur Bereitstellung

Um eine optimale Leistung bei der Bereitstellung zu erzielen, müssen Sie die Zeit minimieren, die zum Laden von Modellen in den Arbeitsspeicher benötigt wird. Managed Lustre bietet einen hohen Durchsatz pro VM von mehr als 20 GB/s, was einen hohen aggregierten Clusterdurchsatz ermöglicht. Mit dieser Funktion können Sie die Modellladezeiten für Tausende von VMs minimieren. Verwenden Sie Cloud Monitoring, um wichtige Messwerte zu erfassen, mit denen Sie Engpässe erkennen können. Achten Sie darauf, dass Sie ausreichend Kapazität bereitstellen, da die Leistung mit der Speicherkapazität steigt.

Ressourcenplatzierung

Um die Latenz zu minimieren und die Leistung zu maximieren, sollten Sie Ihre verwaltete Lustre-Instanz in einer Region erstellen, die geografisch in der Nähe Ihrer GPU- oder TPU-Compute-Clients liegt. In der Referenzarchitektur, die in diesem Dokument beschrieben wird, befinden sich die GKE-Container und das Dateisystem in derselben Zone.

  • Für Training und Prüfpunkte: Stellen Sie die Clients und die Managed Lustre-Instanzen in derselben Zone bereit, um optimale Ergebnisse zu erzielen. Diese Colocation minimiert die Datenübertragungszeiten und maximiert die Nutzung des Schreibdurchsatzes von Managed Lustre.
  • Für die Bereitstellung:Obwohl die gemeinsame Platzierung mit Compute-Clients in derselben Zone ideal ist, kann eine Managed Lustre-Instanz pro Region ausreichen. So vermeiden Sie zusätzliche Kosten, die mit der Bereitstellung mehrerer Instanzen verbunden sind, und können die Rechenleistung maximieren. Wenn Sie jedoch zusätzliche Kapazität oder einen höheren Durchsatz benötigen, sollten Sie in Erwägung ziehen, mehr als eine Instanz pro Region bereitzustellen.

Informationen zu den unterstützten Regionen und Zonen für Managed Lustre-Instanzen finden Sie unter Unterstützte Standorte.

Weitere Hinweise zur Leistung

Grundsätze und Empfehlungen zur Leistungsoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Leistungsoptimierung.

Bereitstellung

Wir empfehlen, zum Erstellen und Einbinden einer Managed Lustre-Instanz das Managed Lustre-Modul zu verwenden, das im Cluster Toolkit verfügbar ist. Cluster Toolkit ist ein modulares, Terraform-basiertes Toolkit, das für die Bereitstellung wiederholbarer KI- und ML-Umgebungen inGoogle Cloudentwickelt wurde.

Informationen zum manuellen Bereitstellen von Managed Lustre in GKE finden Sie unter Managed Lustre-Instanz erstellen und Mit dem Managed Lustre-CSI-Treiber auf vorhandene Managed Lustre-Instanzen in GKE zugreifen.

Informationen zum Konfigurieren eines VPC-Netzwerks für Managed Lustre finden Sie unter VPC-Netzwerk konfigurieren.

Nächste Schritte

Beitragende

Autor: Samantha He | Technical Writer

Weitere Beitragende: