In diesem Dokument wird eine Referenzarchitektur vorgestellt, die zeigt, wie Sie mit Google Cloud Managed Lustre die Leistung von KI- und ML-Arbeitslasten optimieren können, die in der Google Kubernetes Engine (GKE) bereitgestellt werden. In dieser Architektur wird Managed Lustre verwendet, um das Laden von Daten, das Erstellen von Prüfpunkten und die Modellbereitstellung für KI- und ML-Arbeitslasten zu beschleunigen, die eine Speicherkapazität im PiB-Bereich und einen Zugriff mit niedriger Latenz (unter einer Millisekunde) mit hohem Durchsatz und hohen Ein-/Ausgabevorgängen pro Sekunde (IOPS) erfordern. Die Zielgruppe für dieses Dokument umfasst Architekten und technische Fachkräfte, die Speicher für ihre KI-Arbeitslasten in Google Cloudentwerfen, bereitstellen und verwalten. In diesem Dokument wird davon ausgegangen, dass Sie mit Kubernetes-Konzepten sowie dem ML-Lebenszyklus, den Prozessen und den Funktionen vertraut sind.
Architektur
Das folgende Diagramm zeigt eine Beispielarchitektur für die Verwendung von Managed Lustre, um die Leistung einer Modelltrainings- und Bereitstellungsarbeitslast zu optimieren:
Die in der vorherigen Architektur gezeigten Arbeitslasten werden in späteren Abschnitten ausführlich beschrieben. Diese Architektur umfasst die folgenden Komponenten:
- GKE GKE verwaltet die Compute-Hosts, auf denen die Trainings- und Bereitstellungsprozesse für Ihre KI- und ML-Modelle ausgeführt werden. GKE verwaltet die zugrunde liegende Infrastruktur der Cluster, einschließlich der Steuerungsebene, Knoten und aller Systemkomponenten.
- Kubernetes-Planer: Die GKE-Steuerungsebene plant Arbeitslasten und verwaltet deren Lebenszyklus, Skalierung und Upgrades.
- VPC-Netzwerk (Virtual Private Cloud): Alle Google Cloud -Ressourcen in der Architektur verwenden ein einzelnes VPC-Netzwerk.
- Cloud Load Balancing: In dieser Architektur verteilt Cloud Load Balancing eingehende Inferenzanfragen von Anwendungsnutzern effizient auf die Bereitstellungscontainer im GKE-Cluster. Die Verwendung von Cloud Load Balancing trägt dazu bei, eine Hochverfügbarkeit, Skalierbarkeit und optimale Leistung für die KI- und ML-Anwendung zu gewährleisten. Weitere Informationen finden Sie unter Informationen zum GKE-Load-Balancing.
- Grafikprozessoren (GPUs) oder Tensor Processing Units (TPUs): GPUs und TPUs sind spezielle Maschinenbeschleuniger, die die Leistung Ihrer KI- und ML-Arbeitslast verbessern. Um eine optimale Effizienz und Kompatibilität zu gewährleisten, sollten Sie für Ihre gesamte KI- und ML-Arbeitslast denselben Beschleunigertyp verwenden. Weitere Informationen zur Auswahl eines geeigneten Prozessortyps finden Sie weiter unten in diesem Dokument unter Beschleunigeroptionen.
- Managed Lustre: Managed Lustre beschleunigt das KI- und ML-Training und die Bereitstellung durch ein leistungsstarkes, nichtflüchtiges, paralleles Dateisystem (PFS), das für geringe Latenz und hohen Durchsatz optimiert ist. Im Vergleich zur alleinigen Verwendung von Cloud Storage verkürzt die Verwendung von Managed Lustre die Trainingszeit erheblich und verbessert die Reaktionsfähigkeit Ihrer Modelle während der Bereitstellung. Diese Verbesserungen machen sich besonders bei anspruchsvollen Arbeitslasten bemerkbar, die einen schnellen und konsistenten Zugriff auf freigegebene Daten erfordern.
Trainingsbelastung
In der vorherigen Architektur sind die folgenden Schritte im Datenfluss während des Modelltrainings enthalten:
- Daten in Cloud Storage hochladen: Sie laden das vollständige Trainings-Dataset in einen Cloud Storage-Bucket hoch. Der Bucket dient als sicheres und skalierbares zentrales Repository und als Source of Truth.
- Daten in Managed Lustre kopieren: So übertragen Sie den Trainingsdatenkorpus:
- Daten im Bulk aus Cloud Storage in eine Managed Lustre-Instanz importieren.
- Spiegeln Sie Daten aus Cloud Storage in ein Managed Lustre-Verzeichnis oder -Unterverzeichnis. Bei einer ereignisgesteuerten Synchronisierung werden Aktualisierungen Ihrer Daten in Cloud Storage an Managed Lustre weitergegeben.
- Trainingsjobs in GKE ausführen: Der Modelltrainingsprozess wird auf GKE-Knoten ausgeführt. Wenn Sie Managed Lustre als Datenquelle verwenden, anstatt Daten direkt aus Cloud Storage zu laden, können die GKE-Knoten mit deutlich höherer Geschwindigkeit und geringerer Latenz auf Trainingsdaten zugreifen und diese laden. Managed Lustre ermöglicht auch eine kürzere Zeit bis zum Beginn der Übertragung des ersten Bytes, gemessen an der Zeit bis zum ersten Byte (TTFB). Mit Managed Lustre können Sie die Ladezeiten für Daten verkürzen und den gesamten Trainingsprozess beschleunigen, insbesondere bei großen Datasets mit kleinen Lesedateien und komplexen Modellen. Je nach den Anforderungen Ihrer Arbeitslast können Sie GPUs oder TPUs verwenden. Informationen zur Auswahl eines geeigneten Prozessortyps finden Sie weiter unten in diesem Dokument unter Beschleunigeroptionen.
- Trainingsprüfpunkte in Managed Lustre speichern: Der Trainingsprozess speichert Prüfpunkte in Managed Lustre basierend auf von Ihnen definierten Messwerten oder Intervallen. Die Prüfpunkte erfassen den Zustand des Modells in regelmäßigen Abständen. Die Prüfpunkte können selektiv nach Cloud Storage exportiert werden, um sie dort langfristig zu speichern.
Inferenzarbeitslast
In der vorherigen Architektur sind die folgenden Schritte im Datenfluss während der Modellinferenz enthalten:
- Modell für die Bereitstellung laden: Wenn Ihr Modell für die Bereitstellung bereit ist, laden Ihre GKE-Pods das trainierte Modell von Ihrer Managed Lustre-Instanz auf die Bereitstellungsknoten. Wenn die Managed Lustre-Instanz, die Sie während des Trainings verwendet haben, über ausreichende IOPS-Kapazität verfügt und sich in derselben Zone wie Ihre Beschleuniger befindet, können Sie dieselbe Managed Lustre-Instanz verwenden, um Ihr Modell bereitzustellen. Durch die Wiederverwendung der Managed Lustre-Instanz wird eine effiziente gemeinsame Nutzung der Ressourcen zwischen Training und Bereitstellung ermöglicht. Um eine optimale Leistung und Kompatibilität zu gewährleisten, verwenden Sie denselben GPU- oder TPU-Prozessortyp, den Sie für Ihre GKE-Bereitstellungsknoten ausgewählt haben.
- Inferenzanfrage: Bei der Nutzung der Anwendung werden Inferenzanfragen über die Bereitstellungsendpunkte gesendet. Diese Anfragen werden an den Cloud Load Balancing-Dienst weitergeleitet. Cloud Load Balancing verteilt die eingehenden Anfragen auf die Bereitstellungscontainer im GKE-Cluster. Diese Verteilung trägt dazu bei, dass kein einzelner Container überlastet wird und Anfragen effizient verarbeitet werden.
- Inferenzanfragen verarbeiten: Wenn eine Inferenzanfrage empfangen wird, greifen die Computing-Knoten auf das vorab geladene Modell zu, um die erforderlichen Berechnungen durchzuführen und eine Vorhersage zu generieren.
- Antwortbereitstellung: Die Bereitstellungscontainer senden die Antworten über Cloud Load Balancing zurück. Cloud Load Balancing leitet die Antworten an die entsprechenden Anwendungsnutzer weiter. Mit diesem Routing wird der Zyklus der Inferenzanfrage abgeschlossen.
Verwendete Produkte
In dieser Referenzarchitektur werden die folgenden Google Cloud -Produkte verwendet:
- Virtual Private Cloud (VPC): Ein virtuelles System, das globale, skalierbare Netzwerkfunktionen für Ihre Google Cloud -Arbeitslasten bietet. VPC umfasst VPC-Netzwerk-Peering, Private Service Connect, Zugriff auf private Dienste und freigegebene VPC.
- Cloud Load Balancing: Ein Portfolio von leistungsstarken, skalierbaren, globalen und regionalen Load-Balancern
- Google Kubernetes Engine (GKE): Ein Kubernetes-Dienst, mit dem Sie Containeranwendungen in großem Maßstab mithilfe der Infrastruktur von Google bereitstellen und betreiben können.
- Cloud Storage: Ein kostengünstiger, unbegrenzter Objektspeicher für verschiedene Datentypen. Auf Daten kann von innerhalb und außerhalb von Google Cloudzugegriffen werden. Sie werden zu Redundanzzwecken über Standorte hinweg repliziert.
- Google Cloud Managed Lustre: Ein vollständig verwaltetes paralleles Dateisystem für KI, Hochleistungs-Computing (HPC) und datenintensive Anwendungen.
Anwendungsfälle
Managed Lustre ist ein vollständig verwaltetes, persistentes PFS, das auf DataDirect Networks (DDN) EXAScaler Lustre basiert. Google CloudManaged Lustre ist besonders effektiv, wenn Sie vorhandene Arbeitslasten von Lustre oder anderen PFS-Lösungen migrieren. Um die Ressourcenauslastung zu maximieren, sollten Arbeitslasten, die Managed Lustre für das Training verwenden, auch dieselbe Instanz für die Bereitstellung und Inferenz verwenden.
Managed Lustre ist die empfohlene Lösung für KI-Arbeitslasten, die die folgenden Kriterien erfüllen:
- Speicherkapazität im PiB-Bereich.
- Zugriff mit extrem niedriger Latenz (weniger als eine Millisekunde) und hohem Durchsatz.
- Hohe IOPS.
- Skalieren Sie die Leistung auf bis zu 20.000 Clientverbindungen.
- Hoher Durchsatz für einzelne Clients.
Managed Lustre bietet die folgenden Vorteile für KI-Arbeitslasten:
- Niedrigere Gesamtbetriebskosten (TCO) für das Training: Managed Lustre trägt dazu bei, die Trainingszeit zu verkürzen, da Daten effizient an Rechenknoten übermittelt werden. Diese Funktion trägt dazu bei, die Gesamtbetriebskosten für das Training von KI- und ML-Modellen zu senken.
- Niedrigere TCO für die Bereitstellung: Managed Lustre bietet leistungsstarke Funktionen, die ein schnelleres Laden von Modellen und eine optimierte Inferenzbereitstellung ermöglichen. Diese Funktionen tragen dazu bei, die Rechenkosten zu senken und die Ressourcennutzung zu verbessern.
- Effiziente Ressourcennutzung: Mit Managed Lustre können Sie Prüfpunkte und Training in einer einzigen Instanz kombinieren. Diese Ressourcenfreigabe trägt dazu bei, die effiziente Nutzung des Lese- und Schreibdurchsatzes in einem einzigen, leistungsstarken Speichersystem zu maximieren.
In den folgenden Abschnitten finden Sie Beispiele für Anwendungsfälle, in denen Sie Managed Lustre verwenden können.
Textbasierte Verarbeitung und Textgenerierung
LLMs sind spezialisierte KI-Modelle, die speziell für das Verstehen und Verarbeiten von textbasierten Daten entwickelt wurden. LLMs werden mit riesigen Textdatasets trainiert, um Aufgaben wie maschinelle Übersetzung, die Beantwortung von Fragen und Zusammenfassung von Texten zu bewältigen. Für ein effizientes Training und eine effiziente Batchverarbeitung benötigt Ihr LLM Zugriff mit geringer Latenz auf die Datasets. Managed Lustre eignet sich hervorragend für datenintensive Anwendungen, da es den hohen Durchsatz und die geringe Latenz bietet, die sowohl für das Training als auch für die Inferenz erforderlich sind. Diese Leistung führt zu reaktionsschnelleren LLM-basierten Anwendungen.
Verarbeitung von Bildern und Videos mit hoher Auflösung
KI- und ML-Anwendungen oder multimodale generative Modelle, die hochauflösende Bilder oder Videos verarbeiten, z. B. für die Analyse medizinischer Bilder oder für Systeme für autonomes Fahren, erfordern eine große Speicherkapazität und einen schnellen Datenzugriff. Managed Lustre bietet ein leistungsstarkes nichtflüchtiges Dateisystem, das ein schnelles Laden von Daten ermöglicht, um die Anwendungsleistung zu beschleunigen. Mit Managed Lustre können beispielsweise große Mengen von Patientendaten wie MRT- und CT-Scans gespeichert werden. Außerdem ermöglicht Managed Lustre ein schnelles Laden von Daten in Rechenknoten für das Modelltraining. Dank dieser Funktion können KI- und ML-Modelle die Daten für Diagnose und Behandlung schnell analysieren.
Designalternativen
In diesem Abschnitt werden alternative Designansätze vorgestellt, die Sie für Ihre KI- und ML-Anwendung in Google Cloudin Betracht ziehen können.
Alternative zur Computing-Infrastruktur
In der Referenzarchitektur in diesem Dokument wird die GKE für die KI- und ML-Arbeitslasten verwendet. Je nach den Anforderungen Ihrer Arbeitslast können Sie alternativ Managed Lustre-Instanzen in Compute Engine mit Slurm bereitstellen. Wir empfehlen diesen Ansatz, wenn Sie proprietäres geistiges Eigentum (IP) im Bereich KI in eine skalierbare Umgebung integrieren müssen und Flexibilität und Kontrolle benötigen, um die Leistung für spezielle Arbeitslasten zu optimieren.
Mit der Compute Engine haben Sie im Vergleich zu GKE eine detailliertere Kontrolle auf Betriebssystemebene. Wenn Sie Compute Engine verwenden, können Sie Folgendes tun:
- Wählen Sie die Betriebssystemumgebung in Ihren virtuellen Maschinen aus, konfigurieren und verwalten Sie sie, um bestimmte Arbeitslastanforderungen zu erfüllen.
- Passen Sie Ihre Infrastruktur genau an Ihre Anforderungen an, einschließlich der Auswahl bestimmter VM-Typen.
- Verwenden Sie die beschleunigungsoptimierte Maschinenfamilie, um die Leistung Ihrer KI-Arbeitslasten zu verbessern.
Slurm ist ein hochgradig konfigurierbarer Open-Source-Arbeitslast- und Ressourcenmanager. Slurm bietet eine leistungsstarke Option zum Verwalten von KI-Arbeitslasten und ermöglicht es Ihnen, die Konfiguration und Verwaltung der Rechenressourcen zu steuern. Für diesen Ansatz benötigen Sie Fachwissen in der Slurm-Administration und der Linux-Systemverwaltung. Die GKE bietet eine verwaltete Kubernetes-Umgebung, die die Clusterverwaltung automatisiert.
Informationen zum Bereitstellen von Slurm finden Sie unter Hochleistungs-Computing (HPC)-Cluster mit Slurm bereitstellen. Sie können die Bereitstellung mit dem Cluster Toolkit und dem Managed Lustre-Starter-Blueprint oder mit Cluster Director vornehmen.
Beschleunigeroptionen
Maschinenbeschleuniger sind spezialisierte Prozessoren, die die Berechnungen für KI- und ML-Arbeitslasten beschleunigen. Sie können entweder GPUs oder TPUs auswählen.
- GPU-Beschleuniger bieten eine hervorragende Leistung für eine Vielzahl von Aufgaben, darunter Grafikrendering, Deep-Learning-Training und wissenschaftliches Computing. Google Cloud bietet eine große Auswahl an GPUs für unterschiedliche Leistungs- und Preispunkte. Informationen zu GPU-Modellen und Preisen finden Sie unter GPU-Preise.
- TPUs sind speziell entwickelte KI-Beschleuniger, die für das Training und die Inferenz großer KI-Modelle optimiert sind. TPUs eignen sich ideal für eine Vielzahl von Anwendungsfällen, z. B. Chatbots, Codegenerierung, Generierung von Medieninhalten, synthetische Sprache, Vision-Dienste, Empfehlungssysteme und Personalisierungsmodelle. Weitere Informationen zu TPU-Modellen und -Preisen finden Sie unter TPU-Preise.
Speicheralternativen zu Managed Lustre
Sie können Cloud Storage FUSE mit Rapid Cache für Trainings-, Prüfpunkt- und Bereitstellungs-Workloads verwenden. Cloud Storage FUSE mit Rapid Cache ist kostengünstiger und bietet im Vergleich zu Managed Lustre eine einfachere multiregionale Inferenz. Verwenden Sie Cloud Storage FUSE mit Rapid Cache und einem multiregionalen oder biregionalen Bucket, um die höchstmögliche Verfügbarkeit zu gewährleisten. Mit dieser Konfiguration werden Ihre trainierten KI-Modelle in mehreren Regionen verfügbar gemacht. Im Vergleich zu Managed Lustre-Instanzen kann Cloud Storage FUSE jedoch einen geringeren Durchsatz pro VM haben. Weitere Informationen finden Sie unter KI- und ML-Arbeitslasten mit Cloud Storage FUSE optimieren.
Designaspekte
Anhand der Richtlinien in den folgenden Abschnitten können Sie eine Managed Lustre-Bereitstellung entwerfen, die die Sicherheit, Zuverlässigkeit, Kosten, Vorgänge und Leistung Ihrer KI- und ML-Arbeitslasten in Google Cloudoptimiert.
Eine Übersicht über Architekturprinzipien und Empfehlungen, die speziell für KI- und ML-Arbeitslasten in Google Cloudgelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive.
Sicherheit, Datenschutz und Compliance
In diesem Abschnitt werden Überlegungen zu Ihren KI- und ML-Arbeitslasten inGoogle Cloud beschrieben, die Ihre Sicherheits-, Datenschutz- und Compliance-Anforderungen erfüllen.
SSH-Sicherheit
Mit Identity-Aware Proxy (IAP) können Sie die Zugriffssteuerung für Ihre Anwendungen, die in GKE ausgeführt werden, verbessern. IAP lässt sich in die GKE-Ingress-Ressource einbinden und hilft dabei, zu prüfen, ob nur authentifizierte Nutzer mit der richtigen IAM-Rolle (Identity and Access Management) auf die Anwendungen zugreifen können. Weitere Informationen finden Sie unter IAP für GKE aktivieren und Zugriffssteuerung mit IAM.
Datenverschlüsselung
Standardmäßig werden Ihre Daten in GKE, einschließlich der in Ihrer Managed Lustre-Instanz gespeicherten Daten, im Ruhezustand und bei der Übertragung mit Google-owned and Google-managed encryption keysverschlüsselt. Wenn Sie Ihre eigenen Verschlüsselungsschlüssel verwalten müssen, können Sie kundenverwaltete Verschlüsselungsschlüssel (CMEK) in Cloud Key Management Service verwenden, um inaktive Daten in Ihrer Managed Lustre-Instanz zu verschlüsseln. Außerdem können Sie GKE-Secrets auf der Anwendungsebene verschlüsseln. Weitere Informationen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel verwenden und Secrets auf Anwendungsebene verschlüsseln.
Wenn Sie einen GKE Standard-Cluster verwenden, können Sie die folgenden zusätzlichen Datenverschlüsselungsfunktionen nutzen:
- Verschlüsseln Sie aktive Daten (d. h. im Arbeitsspeicher) mit Confidential Google Kubernetes Engine-Knoten. Weitere Informationen zu den Features, der Verfügbarkeit und den Einschränkungen von Confidential GKE Nodes finden Sie unter Aktive Arbeitslastdaten mit Confidential GKE Nodes verschlüsseln.
- Wenn Sie mehr Kontrolle über die Verschlüsselungsschlüssel benötigen, mit denen der Pod-Traffic zwischen GKE-Knoten verschlüsselt wird, können Sie die Daten bei der Übertragung mit von Ihnen verwalteten Schlüsseln verschlüsseln. Weitere Informationen finden Sie unter Daten während der Übertragung in GKE mit nutzerverwalteten Verschlüsselungsschlüsseln verschlüsseln.
Datenisolation
Um die Sicherheit und den Datenschutz zu verbessern, sollten Sie Trainingsdaten in einer separaten Managed Lustre-Instanz speichern, die von den Prüfpunkten und trainierten Modellen getrennt ist. Die Verwendung separater Speicherinstanzen sorgt für Leistungsisolation, erhöht die Sicherheit durch die Isolierung von Trainingsdaten und verbessert den Datenschutz. Mit Zugriffssteuerungslisten können Sie die Sicherheit in einer einzelnen Instanz verwalten. Die Verwendung separater Instanzen bietet jedoch eine robustere Sicherheitsgrenze.
Weitere Sicherheitsaspekte
Im Autopilot-Modus konfiguriert die GKE Ihren Cluster vor und verwaltet Knoten gemäß den Best Practices für die Sicherheit. Mit dieser Konfiguration können Sie sich auf die arbeitslastspezifische Sicherheit konzentrieren. Weitere Informationen finden Sie unter GKE Autopilot-Sicherheitsfunktionen und Sofort einsatzbereite Kubernetes-Sicherheit mit GKE Autopilot.
Informationen zum Schutz Ihrer Daten finden Sie unter Sensitive Data Protection – Übersicht und Speicher und Datenbanken von Google Cloud auf sensible Daten prüfen.
Sicherheitsgrundsätze und Empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Sicherheit.
Zuverlässigkeit
In diesem Abschnitt werden Designfaktoren beschrieben, die Sie bei der Verwendung dieser Referenzarchitektur zum Erstellen und Betreiben einer zuverlässigen Infrastruktur für Ihre regionale Bereitstellung in Google Cloudberücksichtigen sollten.
Robustheit bei Infrastrukturausfällen
Im Autopilot-Modus, der in dieser Architektur verwendet wird, bietet GKE die folgenden integrierten Zuverlässigkeitsfunktionen:
- Ihre Arbeitslast verwendet einen regionalen GKE-Cluster. Die Steuerungsebene und die Worker-Knoten sind auf drei verschiedene Zonen in einer Region verteilt. Ihre Arbeitslasten sind gegen Zonenausfälle resistent. Regionale GKE-Cluster haben ein höheres Service Level Agreement (SLA) für die Verfügbarkeit als zonale Cluster.
- Sie müssen keine Knoten erstellen oder Knotenpools verwalten. GKE erstellt die Knotenpools automatisch und skaliert sie automatisch gemäß den Anforderungen Ihrer Arbeitslasten.
Wenn Sie die Verfügbarkeit Ihrer Anwendung erhöhen möchten, können Sie sie aus mehreren Zonen bereitstellen. Dazu stellen Sie in jeder Zone eine Managed Lustre-Instanz bereit.
Clusterkapazitätsplanung
Damit ausreichend GPU-Kapazität verfügbar ist, wenn sie für das Autoscaling des GKE-Cluster erforderlich ist, können Sie Reservierungen erstellen und verwenden. Eine Reservierung bietet zugesicherte Kapazität in einer bestimmten Zone für eine bestimmte Ressource. Eine Reservierung kann für ein Projekt spezifisch sein oder für mehrere Projekte freigegeben sein. Für reservierte Ressourcen fallen auch dann Gebühren an, wenn Sie die Ressourcen nicht bereitstellen oder verwenden. Weitere Informationen finden Sie unter Reservierte zonale Ressourcen nutzen.
Datenhaltbarkeit
Wenn Sie Arbeitslasten in GKE sichern und wiederherstellen möchten, aktivieren Sie Backup for GKE in jedem Cluster. Sicherung für GKE ist nützlich für die Notfallwiederherstellung, Continuous Integration- und Continuous Delivery-Pipelines (CI/CD), das Klonen von Arbeitslasten und Upgradeszenarien.
Sie können bestimmte Arbeitslasten oder alle Arbeitslasten auswählen, die Sie sichern und wiederherstellen möchten. Sie können Arbeitslasten aus einem Cluster sichern und in einem anderen Cluster wiederherstellen. Um die Ausfallzeiten von Arbeitslasten zu reduzieren, können Sie Ihre Sicherungen so planen, dass sie automatisch ausgeführt werden. Damit können Sie Ihre Arbeitslasten im Falle eines Vorfalls schnell wiederherstellen.
Weitere Überlegungen zur Zuverlässigkeit
Zuverlässigkeitsprinzipien und Empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Zuverlässigkeit.
Kostenoptimierung
Dieser Abschnitt enthält Anleitungen zum Optimieren der Kosten für die Einrichtung und den Betrieb Ihres KI- und ML-Workflows in Google Cloud.
Managed Lustre-Leistungsstufen
Wenn Sie eine Managed Lustre-Instanz erstellen, müssen Sie eine Leistungsstufe auswählen:
- SSD-Stufe: Solid-State-Laufwerk (SSD) für höchste Leistung.
- Hybrid-Stufe: SSD mit Festplatte (HDD) für im Cache speicherbare Arbeitslasten und niedrigste Kosten.
Wählen Sie basierend auf den Leistungs- und Kostenanforderungen Ihrer Arbeitslast eine geeignete Stufe aus.
Knotenbereitstellungsmodell
Im Autopilot-Modus optimiert die GKE die Effizienz der Clusterinfrastruktur basierend auf den Arbeitslastanforderungen. Sie müssen die Ressourcenauslastung nicht ständig überwachen oder die Kapazität verwalten, um die Kosten zu kontrollieren.
Wenn Sie die CPU-, Arbeitsspeicher- und sitzungsspezifische Speichernutzung Ihres Autopilot-Clusters vorhersagen können, können Sie Rabatte für zugesicherte Nutzung erhalten. Wenn Sie die Kosten für die Ausführung Ihrer Anwendung senken möchten, können Sie Spot-VMs für Ihre GKE-Knoten verwenden. Spot-VMs sind günstiger als Standard-VMs, bieten aber keine Verfügbarkeitsgarantie.
Ressourcenverwaltung
Wenn Sie Kosten und Leistung durch effiziente Verwaltung optimieren möchten, verwenden Sie den Dynamic Workload Scheduler. Dynamic Workload Scheduler ist ein Ressourcenverwaltungs- und Jobplaner, mit dem Sie den Zugriff auf KI-Beschleuniger (GPUs und TPUs) verbessern können. Dynamic Workload Scheduler plant alle Ihre Beschleuniger gleichzeitig und kann außerhalb der Spitzenzeiten mit definierter Beschleunigerkapazitätsverwaltung ausgeführt werden. Durch die strategische Planung von Jobs trägt der Dynamic Workload Scheduler dazu bei, die Nutzung von Beschleunigern zu maximieren, die Leerlaufzeit zu reduzieren und Ihre Cloud-Ausgaben zu optimieren.
Ressourcennutzung
Verwenden Sie eine Managed Lustre-Instanz für das Training und die Bereitstellung, um die Ressourcenauslastung zu maximieren. Durch die Konsolidierung von Trainings- und Bereitstellungsarbeitslasten auf einer einzigen Managed Lustre-Instanz werden die Kosten minimiert, da redundante Infrastruktur vermieden und die Ressourcenverwaltung vereinfacht wird. Es kann jedoch zu potenziellen Ressourcenkonflikten kommen, wenn beide Arbeitslasten hohe Durchsatzanforderungen haben. Wenn nach dem Training noch IOPS verfügbar sind, kann die Verwendung derselben Instanz das Laden des Modells für die Bereitstellung beschleunigen. Mit Cloud Monitoring können Sie prüfen, ob Sie genügend Ressourcen zuweisen, um Ihre Durchsatzanforderungen zu erfüllen.
Um die Speicherkosten zu minimieren, exportieren Sie Ihre Daten nach dem Training und der Prüfpunkterstellung aus Ihrer Managed Lustre-Instanz in eine kostengünstigere Cloud Storage-Klasse. Wenn Sie Ihre Daten in Cloud Storage exportieren, können Sie Managed Lustre-Instanzen nach Bedarf für Ihre Arbeitslast löschen und neu erstellen.
Wenn Sie die Kosten für Ihren Cloud Storage-Bucket kontrollieren möchten, aktivieren Sie die Verwaltung des Objektlebenszyklus oder Autoclass. Mit der Verwaltung des Objektlebenszyklus werden ältere oder weniger genutzte Daten automatisch in kostengünstigere Speicherklassen verschoben oder gelöscht, je nachdem, welche Regeln Sie festgelegt haben. Autoclass verschiebt Daten basierend auf Ihren Zugriffsmustern zwischen Speicherklassen. Mit der Verwaltung des Objektlebenszyklus oder Autoclass können Sie die kostengünstigste Speicherklasse für Ihre Datennutzung sicherstellen, indem Sie die Kosten minimieren und unerwartete Abrufgebühren vermeiden.
Weitere Kostengesichtspunkte
Prinzipien und Empfehlungen zur Kostenoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Kostenoptimierung. Informationen zur Kostenoptimierung in GKE finden Sie unter Best Practices zum Ausführen kostenoptimierter Kubernetes-Anwendungen in GKE.
Operative Exzellenz
In diesem Abschnitt finden Sie eine Anleitung zum Entwerfen einer Infrastruktur für Ihren KI- und ML-Workflow, die Sie effizient betreiben können.
Modellverwaltung
Verwenden Sie die Model Registry auf der Gemini Enterprise Agent Platform, um Modellartefakte wie Binärdateien und Metadaten zu verfolgen und zu verwalten. Mit Model Registry auf der Gemini Enterprise Agent Platform können Sie Modellversionen nahtlos speichern, organisieren und bereitstellen.
Um die Zuverlässigkeit des Modells zu optimieren, implementieren Sie Model Monitoring auf der Gemini Enterprise Agent Platform, um Datenabweichungen zu erkennen, die Leistung zu verfolgen und Anomalien in der Produktion zu identifizieren.
GKE-Cluster-Autoscaling
Bei Autopilot-Clustern müssen Sie keine Knotenpools bereitstellen oder verwalten. Bei der automatischen Knotenbereitstellung werden Knotenpools automatisch bereitgestellt und skaliert, um die Anforderungen Ihrer Arbeitslasten zu erfüllen.
Bei GKE Standard-Clustern passt der Cluster-Autoscaler die Anzahl der Knoten in einem Knotenpool automatisch an die Anforderungen der Arbeitslast an. Um das Autoscaling-Verhalten von Cluster Autoscaler zu steuern, können Sie eine Mindest- und eine maximale Größe für den Knotenpool angeben.
Wenn Sie GKE-Cluster Autoscaler verwenden, aktivieren Sie das Compute Engine-Autoscaling für verwaltete Instanzgruppen (MIGs) nicht für Clusterknoten. Der GKE-Cluster-Autoscaler ist vom Compute Engine-Autoscaler getrennt. Der GKE-Cluster-Autoscaler ist so konzipiert, dass er Ihre Arbeitslast skaliert, indem er die Ressourcenauslastung in Ihrem GKE-Cluster analysiert, einschließlich der zugrunde liegenden MIGs. Die Verwendung beider Autoscaling-Funktionen kann zu widersprüchlichen Skalierungsentscheidungen führen. Weitere Informationen finden Sie unter GKE-Cluster-Autoscaling.
Messwertmonitoring
Verwenden Sie Cloud Monitoring, um Engpässe zu identifizieren und wichtige Messwerte wie Latenz, Fehlerrate und Ressourcennutzung zu überwachen. Cloud Monitoring bietet Echtzeiteinblicke, mit denen Sie Ressourcennutzungsmuster verfolgen und potenzielle Ineffizienzen erkennen können.
Speicherverwaltung
Wenn Sie die Datenverwaltung basierend auf der Nutzung für Ihren Cloud Storage-Bucket automatisieren möchten, aktivieren Sie die Verwaltung des Objektlebenszyklus oder Autoclass. Mit der Verwaltung des Objektlebenszyklus werden ältere oder weniger genutzte Daten automatisch in kostengünstigere Speicherklassen verschoben oder gelöscht, basierend auf den von Ihnen festgelegten Regeln. Autoclass verschiebt Daten basierend auf Ihren Zugriffsmustern zwischen Speicherklassen. Mit der Verwaltung des Objektlebenszyklus oder Autoclass können Sie dafür sorgen, dass Richtlinien in Ihrer gesamten Speicherinfrastruktur einheitlich angewendet werden, und potenzielle menschliche Fehler reduzieren. Diese Automatisierung sorgt für Leistungs- und Kosteneinsparungen ohne manuelles Eingreifen.
Kapazitätsverwaltung
Wenn eine Managed Lustre-Instanz fast voll ist oder die Nutzung des Objektspeicherziels (OST) unausgewogen ist, kann es zu vorzeitigen Fehlern wegen unzureichendem Speicherplatz kommen. So vermeiden Sie vorzeitige Fehler aufgrund von unzureichendem Speicherplatz:
- Erstellen Sie eine Benachrichtigung zur Speicherkapazität, die ausgelöst wird, wenn die Gesamtkapazität oder die Auslastung einzelner OSTs 80 % überschreitet.
- Erhöhen Sie die Instanzkapazität, wenn die Auslastung 80–90 % erreicht.
- Dateien manuell über OSTs hinweg neu ausbalancieren.
Informationen zum Beheben von Fehlern aufgrund von unzureichendem Speicherplatz finden Sie unter Fehler „Kein Speicherplatz mehr auf dem Gerät“.
Weitere operative Aspekte
Prinzipien und Empfehlungen für operative Exzellenz, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Operative Exzellenz.
Leistungsoptimierung
Dieser Abschnitt enthält Anleitungen zur Leistungsoptimierung Ihres KI- und ML-Workflows in Google Cloud. Die Anleitung in diesem Abschnitt ist nicht vollständig. Weitere Informationen zur Leistungsoptimierung für Ihre Managed Lustre-Umgebung finden Sie unter Überlegungen zur Leistung.
Überlegungen zum Training
Um die Latenz während des Trainings zu minimieren, rufen Sie Ihre Trainingsdaten aus Cloud Storage ab und importieren Sie sie in Managed Lustre. Um den Durchsatz für Ihre Trainingsarbeitslast zu maximieren, stellen Sie Ihre Managed Lustre-Instanz so bereit, dass sie Ihren Anforderungen an Durchsatz und Speicherkapazität entspricht. Eine Managed Lustre-Instanz mit 20 TiB kann beispielsweise je nach ausgewählter Leistungsstufe einen Gesamtdurchsatz zwischen 2,5 GB/s und 20 GB/s für alle Clients bieten. Wenn für Ihr Training ein höherer Durchsatz erforderlich ist, müssen Sie die Größe Ihrer Managed Lustre-Instanz entsprechend erhöhen.
Überlegungen zu Prüfpunkten
Wenn Sie den hohen Schreibdurchsatz von Managed Lustre nutzen und die Trainingszeit minimieren möchten, verwenden Sie Managed Lustre sowohl für das Training als auch für das Checkpointing. Dieser Ansatz trägt zu einer effizienten Ressourcennutzung bei und hilft, die Gesamtbetriebskosten für Ihre GPU-Ressourcen zu senken, da sowohl das Training als auch die Prüfpunkterstellung so schnell wie möglich erfolgen. Für ein schnelles Checkpointing können Sie verteiltes, asynchrones Checkpointing ausführen. Da Managed Lustre persistent ist, können Sie Ihre Prüfpunkte in derselben Instanz speichern. Für eine zusätzliche Kostenoptimierung und langfristige Speicherung können Sie Prüfpunkte in einen Cloud Storage-Bucket exportieren.
Überlegungen zur Inferenz
Um eine optimale Leistung während der Bereitstellung zu erzielen, müssen Sie die Zeit minimieren, die zum Laden von Modellen in den Arbeitsspeicher benötigt wird. Um die Ladezeiten von Modellen auf Tausenden von VMs zu minimieren, bietet Managed Lustre einen hohen aggregierten Durchsatz für GKE-Cluster. Verwenden Sie Cloud Monitoring, um wichtige Messwerte zu erfassen, mit denen Sie Engpässe identifizieren können. Prüfen Sie, ob Sie ausreichend Kapazität bereitstellen, da die Leistung mit der Speicherkapazität steigt.
KV-Cache-Offloading
Bei Inferenzarbeitslasten mit langen Kontextfenstern, Multi-Turn-Konversationen oder Agentic Workflows können Schlüssel/Wert-Caches (KV) den verfügbaren GPU-Arbeitsspeicher überschreiten. Wenn Sie die Zeit bis zum ersten Token (TTFT) und die Latenz reduzieren möchten, lagern Sie KV-Cache-Blöcke in Managed Lustre aus, um den Kontext über mehrere GKE-Knoten hinweg freizugeben.
Ressourcenplatzierung
Um die Latenz zu minimieren und die Leistung zu maximieren, erstellen Sie Ihre Managed Lustre-Instanz in einer Region, die sich geografisch in der Nähe Ihrer GPU- oder TPU-Compute-Clients befindet. In der in diesem Dokument beschriebenen Referenzarchitektur befinden sich die GKE-Container und das Dateisystem in derselben Zone.
- Für Training und Prüfpunkte: Stellen Sie die Clients und die Managed Lustre-Instanzen in derselben Zone bereit, um optimale Ergebnisse zu erzielen. Diese Colocation minimiert die Datenübertragungszeiten und maximiert die Nutzung des Managed Lustre-Schreibdurchsatzes.
- Für die Bereitstellung: Obwohl die gemeinsame Bereitstellung mit Compute-Clients in derselben Zone ideal ist, kann eine Managed Lustre-Instanz pro Region ausreichen. Bei diesem Ansatz werden die zusätzlichen Kosten für die Bereitstellung mehrerer Instanzen vermieden, es fallen jedoch Gebühren für den zonenübergreifenden Netzwerkverkehr an. Eine höhere zonenübergreifende Latenz kann die IOPS senken, den Durchsatz der Managed Lustre-Instanz reduzieren und die Gesamtbetriebskosten erhöhen. Wenn Sie jedoch eine geringere Latenz, zusätzliche Kapazität oder einen höheren Durchsatz benötigen, sollten Sie mehr als eine Instanz pro Region bereitstellen.
Informationen zu den unterstützten Regionen und Zonen für Managed Lustre-Instanzen finden Sie unter Unterstützte Standorte.
Weitere Hinweise zur Leistung
Prinzipien und Empfehlungen zur Leistungsoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Leistungsoptimierung.
Bereitstellung
Zum Erstellen und Bereitstellen einer Managed Lustre-Instanz empfehlen wir die Verwendung des Managed Lustre-Moduls, das im Cluster Toolkit verfügbar ist. Das Cluster Toolkit ist ein modulares, Terraform-basiertes Toolkit, das für die Bereitstellung wiederholbarer KI- und ML-Umgebungen inGoogle Cloudentwickelt wurde. Verwenden Sie Cluster Director, der eine einheitliche Verwaltungsebene für die Bereitstellung von Rechen- und Speicherressourcen, Beobachtbarkeit, Systemdiagnosen und Fehlerbehebung bietet.
Informationen zum manuellen Bereitstellen von Managed Lustre in der GKE finden Sie unter Managed Lustre-Instanz erstellen und Mit dem Managed Lustre-CSI-Treiber (Container Storage Interface) auf vorhandene Managed Lustre-Instanzen in der GKE zugreifen.
Informationen zum Konfigurieren eines VPC-Netzwerks für Managed Lustre finden Sie unter VPC-Netzwerk konfigurieren.
Nächste Schritte
- Weitere Informationen zu Speicherdiensten für KI- und ML-Arbeitslasten im AI Hypercomputer
- Weitere Referenzarchitekturen, Diagramme und Best Practices finden Sie im Cloud-Architekturcenter.
Beitragende
Autor: Samantha He | Technical Writer
Weitere Beitragende:
- Barak Epstein | Senior Product Manager
- Dean Hildebrand Technical Director, Office of the CTO
- Kumar Dhanagopal | Cross-Product Solution Developer
- Pavel Gritsai | Staff Software Engineer
- Sean Derrington | Group Product Manager, Storage