Auf dieser Seite erfahren Sie, wie Sie mit mehrstufigen Prüfpunkten Prüfpunkte während des Trainings Ihres Machine-Learning-Modells in der GKE zuverlässig speichern und verwalten. Die Speicherung und Verwaltung von Prüfpunkten ist für umfangreiche Trainingsjobs, die mehr als Tausende von Knoten nutzen, von entscheidender Bedeutung. Unterbrechungen dieser umfangreichen Jobs sind häufig (potenziell stündlich) und die Wiederherstellung kann langsam sein.
Vorteile
Die Verwendung von mehrstufigen Prüfpunkten bietet folgende Vorteile:
- Vollständig orchestriertes Prüfpunkt-Datenmanagement, einschließlich Sicherungen, Replikation und automatischer Wiederherstellung für die folgenden Arbeitslasten:
- JAX-Trainingsläufe mit Orbax für die Statusverwaltung, die auf TPUs ausgeführt werden.
- PyTorch-Arbeitslasten auf GPUs.
- Schnelle Wiederherstellung von Trainingsjobs von einem Prüfpunkt, der auf dem lokalen Knoten gespeichert ist. Sie können die Wiederherstellung auch mithilfe von Prüfpunkten durchführen, die auf einem anderen Knoten im Trainingscluster gespeichert sind.
- Schnelle Wiederherstellung von Trainingsjobs aus einem Prüfpunkt, der in einem Cloud Storage-Backup gespeichert ist, in Worst-Case-Szenarien, in denen keine clusterinternen Prüfpunkte vorhanden sind.
Hinweis
Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:
- Aktivieren Sie die Google Kubernetes Engine API. Google Kubernetes Engine API aktivieren
- Wenn Sie die Google Cloud CLI für diese Aufgabe verwenden möchten, müssen Sie die gcloud CLI installieren und dann initialisieren. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die aktuelle Version mit dem Befehl
gcloud components updateab. Ältere gcloud CLI-Versionen unterstützen möglicherweise nicht die Ausführung der Befehle in diesem Dokument.
- Erstellen Sie einen Cloud Storage-Bucket, wenn Sie noch keinen für Ihr Projekt haben. Achten Sie darauf, dass Sie den hierarchischen Namespace aktivieren, da sonst die Sicherungen fehlschlagen.
Voraussetzungen
Für mehrstufiges Checkpointing ist die GKE-Clusterversion 1.32.4-gke.1415000 oder höher erforderlich.
Beschränkungen
- Autopilot-Cluster werden nicht unterstützt.
GKE-Knoten für die Verwendung von mehrstufigem Checkpointing konfigurieren
In diesem Abschnitt wird beschrieben, wie Sie GKE-Knoten in neuen und vorhandenen Clustern konfigurieren.
Knoten in einem neuen Cluster konfigurieren
Erstellen Sie einen Cluster mit aktiviertem mehrstufigem Checkpointing, dem Cloud Storage FUSE-CSI-Treiber und der Workload Identity-Föderation für GKE. Wenn Sie TPU-Slices für Ihre maschinelles Lernen-Arbeitslast verwenden, müssen Sie den Befehl zum Erstellen des Clusters anpassen, um die Konfiguration für einen TPU-Slice-Knotenpool einzuschließen.
gcloud container clusters create CLUSTER_NAME \ --addons=HighScaleCheckpointing,GcsFuseCsiDriver \ --node-locations=NODE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog \ --cluster-version=CLUSTER_VERSION --location=CLUSTER_LOCATION \ --machine-type=MACHINE_TYPE \ --num-nodes=NUM_NODESErsetzen Sie die folgenden Werte:
CLUSTER_NAMEist der Name des Clusters.NODE_LOCATION: die Zone für Ihre Clusterknoten. Hier wird Ihre TPU-Kapazität angezeigt.PROJECT_ID: Ihre Projekt-ID in Google Cloud .CLUSTER_VERSION: die Version Ihres Clusters. 1.32.4-gke.1415000 ist die niedrigste unterstützte Version.CLUSTER_LOCATION: Die Region, in der Sie den Cluster erstellen möchten.MACHINE_TYPE: Der Maschinentyp, der für Knoten verwendet wird, auf denen Komponenten wie der JobSet-Controller und der mehrstufige Prüfpunkt-Controller ausgeführt werden. Für umfangreiches Training empfehlen wir mindestense2-standard-4Maschinen. Dieser Maschinentyp wird nicht für das Modelltraining verwendet. Stattdessen erstellen Sie dafür separate Knotenpools, die häufig beschleunigungsoptimierte VM-Familien verwenden.NUM_NODES: Die Anzahl der Knoten, die in jeder der Clusterzonen erstellt werden sollen.
Knoten in einem vorhandenen Cluster konfigurieren
Wenn Sie Multi-Tier Checkpointing mit einem vorhandenen Cluster verwenden möchten, aktivieren Sie es zusammen mit dem Cloud Storage FUSE CSI-Treiber und der Workload Identity-Föderation für GKE mit den folgenden Befehlen. Ihre vorhandene Clusterversion muss höher als 1.32.3-gke.1170000 sein.
Aktivieren Sie die Workload Identity Federation for GKE:
gcloud container clusters update CLUSTER_NAME \ --workload-pool=PROJECT_ID.svc.id.goog \ --location=CLUSTER_LOCATIONErsetzen Sie die folgenden Werte:
CLUSTER_NAMEist der Name des Clusters.PROJECT_ID: Ihre Projekt-ID in Google Cloud .CLUSTER_LOCATION: Die Region des Clusters.
Aktivieren Sie die mehrstufige Prüfpunkterstellung und den CSI-Treiber für Cloud Storage FUSE:
gcloud container clusters update CLUSTER_NAME \ --update-addons=HighScaleCheckpointing=ENABLED,GcsFuseCsiDriver=ENABLED \ --location=CLUSTER_LOCATION
Berechtigungen für die Verwendung von mehrstufigem Checkpointing konfigurieren
In diesem Abschnitt wird beschrieben, wie Sie Berechtigungen für die Verwendung von mehrstufigem Checkpointing konfigurieren.
Zugriff auf Cloud Storage-Buckets gewähren
Die vom CSI-Treiber für mehrstufiges Checkpointing verwendeten sitzungsspezifischen Volumes müssen vorhandene Cloud Storage-Buckets verwenden.
Damit Prüfpunkte in einem Cloud Storage-Bucket gespeichert werden können, benötigt Multi-Tier Checkpointing Zugriff auf den Bucket. Weisen Sie dem Kubernetes-Dienstkonto für mehrstufiges Checkpointing die IAM-Rolle „Storage Object User“ (roles/storage.objectUser) für den Bucket zu.
gcloud storage buckets add-iam-policy-binding gs://GCS_BUCKET \
--member "principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/gke-managed-checkpointing/sa/gke-checkpointing-multitier-node" \
--role "roles/storage.objectUser"
Ersetzen Sie die folgenden Werte:
GCS_BUCKET: der Name des Cloud Storage-Buckets, aus dem Sie Daten übertragen.PROJECT_ID: Ihre Projekt-ID in Google Cloud .PROJECT_NUMBER: eine automatisch generierte eindeutige Kennung für Ihr Projekt. Informationen zum Ermitteln dieses Werts finden Sie unter Projekte erstellen und verwalten.
(Optional) Compute Engine-Standarddienstkonto Zugriff gewähren
Wenn Ihre Compute Engine-Instanzen Lesezugriff auf den Cloud Storage-Bucket benötigen, weisen Sie dem Compute Engine-Standarddienstkonto die IAM-Rolle „Storage-Objekt-Betrachter“ (roles/storage.objectViewer) zu.
gcloud storage buckets add-iam-policy-binding gs://GCS_BUCKET \
--member serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/storage.objectViewer
JobSet-Controller bereitstellen
Der JobSet-Controller ist für die Verwaltung der Batchjobs verantwortlich, die Ihr Modelltraining in GKE ausführen. Seine Ressourcenzuweisung wird angepasst, um die Arbeitslast effizient zu verarbeiten. Achten Sie darauf, dass Ihr Trainingsjob-Launcher JobSet bereitstellt und verwendet.
Führen Sie den folgenden Patch-Befehl aus, um die Speicheranfrage auf 1 Gi, das Speicherlimit auf 2 Gi und die CPU-Anfrage auf 1 für den Manager-Container in Ihrer JobSet-Bereitstellung zu erhöhen:
kubectl patch -n jobset-system deploy jobset-controller-manager --type json \
--patch '[{"op": "add", "path": "/spec/template/spec/containers/0/resources", "value": {"limits": {"memory": "2Gi"}, "requests": {"cpu": "1", "memory": "1Gi"}}}]'
Multi-Tier Checkpointing-CSI-Treiber initialisieren
In diesem Abschnitt wird beschrieben, wie Sie den CSI-Treiber für mehrstufiges Checkpointing auf Knoten initialisieren, auf denen Ihre Arbeitslasten ausgeführt werden. Der CSI-Treiber ist für die Speicherung und Verwaltung von Prüfpunkten während des Modelltrainings verantwortlich.
CheckpointConfiguration erstellen
Eine CheckpointConfiguration ist eine benutzerdefinierte Kubernetes-Ressource, die Attribute für die Bereitstellung des CSI-Treibers für mehrstufige Prüfpunkte angibt. Diese Ressource ist clusterbezogen.
Erstellen Sie das folgende
checkpoint.yaml-Manifest:apiVersion: checkpointing.gke.io/v1 kind: CheckpointConfiguration metadata: name: MTC_CONFIG_NAME-configuration spec: cloudStorageBucketName: GCS_BUCKET nodeSelector: node.kubernetes.io/instance-type: MACHINE_TYPE tolerations: - key: TOLERATION_KEY operator: Exists effect: NoSchedule inMemoryVolumeSize: IN_MEMORY_VOLUME_SIZE gcsFuseMountOptions: - implicit-dirs - metadata-cache:negative-ttl-secs:0 - metadata-cache:ttl-secs:60 - metadata-cache:stat-cache-max-size-mb:-1 - metadata-cache:type-cache-max-size-mb:-1 - file-system:kernel-list-cache-ttl-secs:0 - read_ahead_kb=1024 - write:enable-streaming-writes:trueErsetzen Sie Folgendes:
- MTC_CONFIG_NAME: der Name Ihrer CheckpointConfiguration. Dieser Name ist global für den Cluster und nicht jobspezifisch.
- GCS_BUCKET: der Name des Cloud Storage-Bucket, in dem Sie Prüfpunktdaten speichern. Verwenden Sie den Bucket, den Sie im Schritt Cloud Storage-Bucket mit Berechtigungen einrichten eingerichtet haben.
MACHINE_TYPE: der Maschinentyp für die entsprechenden Beschleuniger. Der Wert kann einer der folgenden sein:
- TPU v5p:
ct5p-hightpu-4t - TPU v5e:
ct5e-hightpu-4t - TPU v6e:
ct6e-standard-4t - Ironwood (TPU7x):
tpu7x-standard-4t - NVIDIA H100 80 GB-GPUs (A3-Serie):
Weitere Informationen zum Ausführen verteilter Arbeitslasten auf GPUs mit GKE finden Sie unter GPUs mit mehreren Instanzen ausführen. Informationen zu TPUs finden Sie unter TPU-Slice-Knotenpool erstellen.
- TPU v5p:
TOLERATION_KEY: Mit diesem Feld kann der CSI-Treiber auf Knoten mit übereinstimmenden Markierungen geplant werden. Weitere Informationen zur Funktionsweise von Markierungen bei verschiedenen Beschleunigertypen finden Sie auf den folgenden Seiten:
IN_MEMORY_VOLUME_SIZE: die Größe des Prüfpunkt-Caches im Arbeitsspeicher. Geben Sie die Menge und die Einheit an (z. B. 200 Gi). Dieser Wert sollte Folgendes sein:
- Die Größe des lokalen Prüfpunkts für TPUs multipliziert mit 2,2
- Die Größe des lokalen Prüfpunkts für GPUs mit einem einzelnen Peer multipliziert mit 6,6.
Wenden Sie das Manifest an:
kubectl apply -f checkpoint.yamlPrüfen Sie, ob der CSI-Treiber ausgeführt wird:
kubectl get pod -n gke-managed-checkpointingDie Ausgabe sollte in etwa so aussehen: Es gibt mehrere Einträge, einen pro beschleunigtem Knoten.
NAME READY STATUS RESTARTS AGE multitier-driver-e2b033a7-a4e7-496a-87a3-ffd7fcc2e57b-2d4fz 5/5 Running 0 114s
CSI-Treiber für mehrstufiges Checkpointing deinstallieren
Wenn Sie die Bereitstellung des CSI-Treibers für mehrstufiges Checkpointing aufheben möchten, löschen Sie die Ressource CheckpointConfiguration. Der Multi-Tier Checkpointing-Controller entfernt den CSI-Treiber von den Knoten. Dadurch werden die RAM-Laufwerke entfernt und Speicher für andere Arbeitslasten freigegeben. Beispiel:
kubectl delete -f checkpoint.yaml
Datenaufbewahrung und automatische Speicherbereinigung für Cloud Storage-Sicherungen verwalten
Sie sind für die Implementierung von Aufbewahrungsrichtlinien für die Cloud Storage-Sicherungen von Prüfpunkten verantwortlich. Bei der mehrstufigen Prüfpunkterstellung werden Prüfpunktsicherungen nur in Cloud Storage geschrieben und nie geändert oder gelöscht.
Viele Open-Source-Tools können die Aufbewahrung und automatische Speicherbereinigung verarbeiten, darunter:
Im folgenden Beispiel wird backup-warden verwendet, wobei das Verzeichnis backup an einem Sicherungsspeicherort bereitgestellt wird, der Cloud Storage FUSE verwendet:
# Add --delete option to actually delete the backups, as is it only shows what would be deleted (dry-run)
backup-warden -p backup \
--hourly 24 \
--daily 7 \
--weekly 5 \
--monthly always \
--yearly always \
--prefer-recent
JobSet-Manifest der Arbeitslast aktualisieren
Aktualisieren Sie das JobSet-Manifest für Ihren Job, um das Volume für Prüfpunkte im großen Maßstab einzuschließen. Die Details hängen von Ihrer Arbeitslast ab.
Wenn Sie beispielsweise das Beispiel-JobSet aus TPU-Multi-Slices in GKE bereitstellen erweitern möchten, gehen Sie so vor:
Fügen Sie dem Container
jax-tpudie folgenden Zeilen hinzu.volumeMounts: - name: checkpoint mountPath: CHECKPOINT_DIRErsetzen Sie CHECKPOINT_DIR durch den Pfad zu Ihrem Prüfpunktverzeichnis. An diesem Speicherort wird der
replicator.yamlgeneriert und die mehrstufige Prüfpunkterstellung führt den Speichervorgang für den Prüfpunkt aus. Weitere Informationen finden Sie unter Mehrstufige Prüfpunkte in Ihre Anwendung einbinden.Fügen Sie dem Feld
spec.template.specder Job-Spezifikation die folgenden Zeilen hinzu.volumes: - name: checkpoint csi: driver: multitier-checkpoint.csi.storage.gke.io
Multi-Tier-Checkpointing in Ihre Anwendung einbinden
Wenn Sie Informationen zu Prüfpunktstandorten und zur Replikationsbereitschaft freigeben möchten, ändern Sie Ihre Anwendung so, dass sie das folgende Protokoll für die Kommunikation mit Multi-Tier Checkpointing verwendet.
Die folgenden Frameworks und Bibliotheken implementieren diese Integration bereits:
- MaxText (mit Orbax): MaxText bietet integrierte Unterstützung für Multi-Tier Checkpointing (MTC). Weitere Informationen finden Sie in der MaxText-MTC-Dokumentation.
- Alle Modelle, die Orbax verwenden: Die Integration besteht aus zwei Hauptkomponenten: dem MTC-Initialisierungsmodul für die Ersteinrichtung (Beispiel siehe MaxText) und dem Replicator Checkpoint Manager zum Speichern und Wiederherstellen von Prüfpunkten von einer lokalen RAM-Disk (Beispiel siehe MaxText).
- PyTorch-Referenzbeispiel: Dieses Beispiel ist für Arbeitslasten verfügbar, die NeMo mit PyTorch verwenden.
Starten
In diesem Abschnitt werden die ersten Schritte beschrieben, die die Anwendung für die Interaktion mit Multi-Tier Checkpointing ausführen muss.
Der Replikator ist eine Kernkomponente der mehrstufigen Prüfpunkterstellung, die auf jedem Knoten als Teil des CSI-Treibers ausgeführt wird. Der Replikator verwaltet die Prüfpunktreplikation über Speicherebenen hinweg, von der lokalen RAM-Disk zu Peer-Knoten und zu externem Speicher wie Cloud Storage.
Die Datei replicator.yaml fungiert als dynamische Steuerungsebene zwischen Ihrem ML-Trainingsjob (Framework-Code) und der Replikator-Komponente. Ihre ML-Anwendung generiert diese Datei programmatisch auf dem lokalen Volume (RAMDisk), auf das sowohl der Trainingsjob als auch der Replikationsdienst zugreifen können. Mit diesem Manifest kann das ML-Framework dem Replikator Laufzeitkonfigurations- und Lebenszyklusverwaltungsanweisungen bereitstellen, die sich von statischen Infrastrukturparametern (z. B. Cloud Storage-Uploadhäufigkeit) unterscheiden, die während der Backend-Einrichtung definiert wurden.
Ein konkretes Beispiel für diese Interaktion finden Sie hier:
- Das MaxText-Projekt, das diese Architektur für JAX auf Cloud TPU verwendet.
- Das PyTorch-Referenzbeispiel, das diese Architektur mit PyTorch und NVIDIA NeMO auf GPUs verwendet.
Ihre Anwendung sollte beim Start die folgenden Schritte ausführen:
Warten Sie, bis die Datei
replicator.yamlnicht mehr vorhanden ist. Das bedeutet, dass der Replikator von Ihrer Anwendung konfiguriert werden kann. Die Dateireplicator.yamlwird am Speicherort CHECKPOINT_DIR generiert, den Sie im Abschnitt JobSet-Manifest für die Arbeitslast aktualisieren konfiguriert haben.Wenn der Modelltrainingsjob zum ersten Mal erstellt wird, ist die Datei
replicator.yamlnicht vorhanden und Ihre Anwendung kann sofort fortgesetzt werden. Wenn der Job jedoch neu gestartet wurde (z. B. aufgrund eines Fehlers oder eines manuellen Eingriffs), verarbeitet das System möglicherweise noch die vorherige Jobinstanz und diereplicator.yamldieser Instanz ist möglicherweise noch auf dem lokalen Volume vorhanden.Ihre Anwendung oder Ihr ML-Job erstellt die Datei
replicator.yamlmit einer Konfiguration, die in etwa so aussieht:Orbax
job-name: orbax framework: orbax assume-data-parallelism: 3 node-rank: 0 nodes: 32 peer-ranks: [1, 16] or peers-per-node: 2 backup-interval-minutes: 30PyTorch
job-name: nemo framework: pytorch.distributed node-rank: 0 nodes: 32 peer-ranks: [1, 16] or peers-per-node: 2 backup-interval-minutes: 30Diese Beispielkonfiguration enthält die folgenden Felder:
name: der Name des Trainingsjobs.framework: das ML-Framework, das vom Trainingsjob verwendet wird.node-rank: die eindeutige Kennung des aktuellen Knotens innerhalb des verteilten Trainingsjobs. Dies ist der Knotenrang des Knotens, der diese Datei erstellt. Jeder Knoten, der am Lauf teilnimmt, hat einen eigenen Rang.nodes: Die Gesamtzahl der Knoten, die am verteilten Trainingsjob beteiligt sind. Dieser Wert stammt aus den Metadaten des Pods. Der ML-Trainingsjob kann diesen Wert ebenfalls sehen.peer-ranksoderpeers-per-node: zwei alternative Möglichkeiten, die Replikationstopologie anzugeben. Es sollte nur einer dieser beiden Parameter vorhanden sein.peer-ranks: Explizite Ränge von Peer-Knoten, auf die die Prüfpunktdaten des aktuellen Knotens repliziert werden sollen. So können Sie genau festlegen, welche Knoten als Replikationspartner dienen.peers-per-node: Die Anzahl der Peer-Knoten pro Knoten, die der Replikator automatisch für die Replikation auswählen soll.
backup-interval-minutes: die Häufigkeit in Minuten, mit der Prüfpunkte in Cloud Storage gesichert werden. Wir empfehlen, diesen Wert auf 30 Minuten oder mehr festzulegen. Ihre Anwendung kann auch eine Sicherung eines bestimmten Prüfpunkts anfordern. Weitere Informationen finden Sie unter Sicherung eines bestimmten Prüfpunkts anfordern.
Warten Sie, bis die neue
replicator.yaml-Datei vom System gelöscht wurde. Dies signalisiert, dass der Replikator neu gestartet wurde und eine Bereinigung durchgeführt hat. Mit diesem Schritt vermeiden Sie veraltete oder temporäre Dateien auf dem lokalen Volume, wenn Ihre Anwendung die Schritte im nächsten Abschnitt ausführt.
Wiederherstellung ab dem letzten bekannten guten Prüfpunkt (LKG)
Nachdem der Replikator initialisiert wurde, erstellt das mehrstufige Checkpointing eine
.restore-Datei pro TPU- oder GPU-Worker. Diese Dateien werden auf demselben bereitgestellten lokalen Volume wie die Dateireplicator.yamlerstellt, in der der Job Prüfpunkte speichert.Die Dateien heißen
JOB_NAME-sSTEP-nNODE_RANK-wWORKER_INDEX.restore. Der Dateiname enthält die folgenden Werte:- JOB_NAME: der Wert des Felds
job-namein der Dateireplicator.yaml. - STEP: der wiederherzustellende Prüfpunktschritt oder
0, wenn kein Prüfpunkt wiederhergestellt werden soll. - NODE_RANK: der Wert des Felds
node-rankin der Dateireplicator.yaml. - WORKER_INDEX: der Index des TPU- oder GPU-Workers auf dem Knoten.
Jede Datei ist eine der folgenden:
- Ein symbolischer Link: Multi-Tier Checkpointing hat einen Prüfpunkt für die Wiederherstellung gefunden. Der Link verweist auf die Prüfpunktdaten für Schritt STEP.
- Eine leere Datei: Die mehrstufige Prüfpunkterstellung hat weder im Cluster noch in Cloud Storage einen vollständigen Prüfpunkt zum Wiederherstellen gefunden. Dies geschieht beispielsweise beim ersten Ausführen eines Trainingsjobs. Der Dateiname verwendet immer Schritt
0. Der Job sollte das Training von Anfang an starten.
Da ein bei Schritt
0gespeicherter Prüfpunkt auch einen Dateinamen mit-s0-erzeugt, sollten Sie prüfen, ob die Datei.restoreein symbolischer Link oder eine leere Datei ist, anstatt sich auf den Schritt im Dateinamen zu verlassen.- JOB_NAME: der Wert des Felds
Stellen Sie jeden Worker aus der entsprechenden
.restore-Datei wieder her oder starten Sie ohne Prüfpunkt, wenn die Datei leer ist. Orbax deckt beide Fälle ab. Ein Beispiel finden Sie im nächsten Abschnitt im Beispiel für den Orbax-Prüfpunktmanager.
Standardmäßig ist der LKG-Prüfpunkt der letzte vollständige Prüfpunkt, den die mehrstufige Prüfpunkterstellung finden kann. Clusterinterne Prüfpunkte (auf der lokalen RAM-Disk und auf Peer-Knoten) werden bevorzugt. Cloud Storage-Sicherungen werden nur verwendet, wenn kein vollständiger clusterinterner Prüfpunkt vorhanden ist. Informationen zum Überschreiben dieser Auswahl finden Sie unter Aus einer bestimmten Sicherung wiederherstellen.
Aus einer bestimmten Sicherung wiederherstellen
Sie können einen Job aus einer bestimmten Cloud Storage-Sicherung anstelle des LKG-Prüfpunkts wiederherstellen, z. B. um das Training auf einen früheren Zustand zurückzusetzen. Führen Sie vor dem Start des Jobs die folgenden Schritte aus:
Suchen Sie die Sicherung, aus der Sie Daten wiederherstellen möchten. Bei der mehrstufigen Prüfpunkterstellung werden Sicherungen in den Bucket geschrieben, den Sie in der CheckpointConfiguration konfiguriert haben, und zwar in ein Verzeichnis, das nach dem Job benannt ist. Jede Sicherung ist ein Unterverzeichnis, das nach der UTC-Zeit benannt ist, zu der die Sicherung erstellt wurde. Das Format ist
YYYY-MM-DD_HH-MM:gcloud storage ls gs://GCS_PATH/JOB_NAME/Ersetzen Sie Folgendes:
- GCS_PATH: der Cloud Storage-Pfad, in den die mehrstufige Prüfpunkterstellung Sicherungen schreibt. Dieser Wert ist der Bucket, den Sie im Feld
cloudStorageBucketNameder CheckpointConfiguration angegeben haben, einschließlich aller Verzeichnisse im Bucket. - JOB_NAME: Der Name des Trainingsjobs, wie im Feld
job-nameder Dateireplicator.yamlangegeben.
- GCS_PATH: der Cloud Storage-Pfad, in den die mehrstufige Prüfpunkterstellung Sicherungen schreibt. Dieser Wert ist der Bucket, den Sie im Feld
Erstellen Sie im Jobverzeichnis im Bucket eine Datei mit dem Namen
restore.version. Die Datei darf nur den Namen des Sicherungsverzeichnisses enthalten, z. B.:echo "BACKUP_NAME" | gcloud storage cp - gs://GCS_PATH/JOB_NAME/restore.versionErsetzen Sie BACKUP_NAME durch den Namen des Sicherungsverzeichnisses, z. B.
2025-06-30_14-30.Starten Sie den Job.
Wenn die Datei restore.version vorhanden ist, verhält sich die mehrstufige Prüfpunkterstellung so:
- Alle Knoten werden aus der angegebenen Sicherung wiederhergestellt. Clusterinterne Prüfpunkte werden ignoriert, auch wenn sie aktueller als die Sicherung sind.
- Die Datei
restore.versionwird automatisch gelöscht, nachdem der Job den ersten Prüfpunkt nach der Wiederherstellung gespeichert hat. Die Überschreibung gilt nur einmal: Wenn der Job später neu gestartet wird, wird er wie gewohnt vom LKG-Prüfpunkt wiederhergestellt. - Wenn die angegebene Sicherung nicht vorhanden oder unvollständig ist, schlägt die Wiederherstellung fehl und der Job wird beendet. Bei der mehrstufigen Prüfpunkterstellung wird nicht auf clusterinterne Prüfpunkte oder andere Sicherungen zurückgegriffen. Der Replikator auf jedem Knoten schreibt den Grund für den Fehler in eine
replicator.failed-Datei im Verzeichnis CHECKPOINT_DIR und behält die lokalen Prüfpunkte bei. Die Dateirestore.versionwird nicht gelöscht. Der Job schlägt daher bei jedem Neustart fehl, bis Sie den Sicherungsnamen in der Dateirestore.versionkorrigieren oder die Datei löschen.
Prüfpunkt speichern
Ihre Anwendung führt diese Schritte während des Trainingsjobs mehrmals aus. Die Speichervorgänge erfolgen am Speicherort CHECKPOINT_DIR, den Sie im JobSet-Manifest für die Arbeitslast aktualisieren konfiguriert haben.
Orbax
Orbax-Prüfpunkte erstellen Das Verzeichnis ist nach der Schrittnummer benannt. Der Replikator erkennt das neu erstellte Prüfpunktverzeichnis, führt die Replikation oder Sicherung nach Bedarf aus und bereinigt automatisch.
Weitere Informationen zur Verwendung des Orbax-Replikator-Prüfpunktmanagers finden Sie in der MaxText-Datei checkpointing.
Ein Beispiel für die Interaktion mit dem Replikationsdienst finden Sie in der MaxText-Datei max_utils.
PyTorch
Verwenden Sie InClusterLocalCheckpointIO als benutzerdefinierten pytorch_lightning.CheckpointIO, um die korrekte verteilte Prüfpunkterstellung mit lokalem Speicher zu ermöglichen. Mit dem folgenden Beispielbefehl wird die mehrstufige Prüfpunkterstellung mithilfe einer Referenzimplementierung aktiviert, die auf dem NVIDIA NeMo-Framework basiert:
torchrun train.py <other_train_flags> \
--local-ckpt-dir=CHECKPOINT_DIR \
--local-ckpt-interval=20 \
--job-name=JOB_NAME \
--enable-high-scale-ckpt
Ersetzen Sie Folgendes:
CHECKPOINT_DIR: der Pfad zu Ihrem Prüfpunktverzeichnis.JOB_NAME: Der Name der Arbeitslast Ihres Trainingsjobs.
Sicherung eines bestimmten Prüfpunkts anfordern
Standardmäßig werden Prüfpunkte bei der mehrstufigen Prüfpunkterstellung in dem Intervall, das Sie in der Datei replicator.yaml festgelegt haben, in Cloud Storage gesichert. Ihre Anwendung kann auch unabhängig vom Intervall die Sicherung eines bestimmten Prüfpunkts anfordern, z. B. des Prüfpunkts am Ende einer Epoche oder einer Trainingsphase.
Sie können eine Sicherung anfordern, wenn Sie einen Prüfpunkt schreiben. Erstellen Sie dazu eine leere Datei mit dem Namen _BACKUP_REQUESTED direkt im Schrittverzeichnis des Prüfpunkts. Die Datei muss im Verzeichnis vorhanden sein, wenn sie für die mehrstufige Prüfpunkterstellung sichtbar wird.
Dieses Verhalten wird von Orbax unterstützt. Sie können diese Datei automatisch auf folgende Weise erstellen:
- Wenn Sie Orbax direkt verwenden: Speichern Sie den Prüfpunkt, indem Sie die Methode
ReplicatorCheckpointManager.save(step, args, backup=True)aufrufen. - Wenn Sie MaxText verwenden: Rufen Sie die Funktion
save_checkpoint(..., backup=True)auf.
Wenn ein Prüfpunkt die Datei _BACKUP_REQUESTED enthält, verhält sich die mehrstufige Prüfpunkterstellung so:
- Der Prüfpunkt wird in Cloud Storage gesichert, sobald er repliziert wurde, auch wenn das Sicherungsintervall noch nicht abgelaufen ist. Das zeitbasierte Sicherungsintervall wird dann ab dieser Sicherung neu gestartet.
- Wenn die vorherige Sicherung noch hochgeladen wird, wird die neue Anfrage übersprungen und ein Fehler wird protokolliert. Achten Sie darauf, dass die Zeit zwischen den angeforderten Sicherungen länger ist als die Zeit, die zum Hochladen einer Sicherung benötigt wird.
- Wenn Sie nur die angeforderten Prüfpunkte sichern möchten, legen Sie ein Sicherungsintervall fest, das länger als die erwartete Gesamtlaufzeit Ihres Jobs ist.
Clusterupgrades
Bei Clusterupgrades können Sie das CheckpointConfiguration-Objekt entweder vor oder nach dem Upgrade löschen und neu erstellen. Diese Aktion ist erforderlich, da das DaemonSet des Knotensicherungstreibers, das von diesem Objekt dynamisch bereitgestellt wird, nicht automatisch aktualisiert wird.
Wenn Sie die DaemonSet-Spezifikation beibehalten möchten, müssen Sie nichts weiter tun.
Fehlerbehebung
Dieser Abschnitt enthält Hinweise zur Fehlerbehebung bei Problemen mit mehrstufigem Checkpointing. Allgemeine Informationen zur Fehlerbehebung bei Speicherproblemen finden Sie unter Fehlerbehebung bei Cloud Storage in GKE.
Multi-Tier-Prüfpunkte nicht aktiviert
Der folgende Fehler weist darauf hin, dass Multi-Tier Checkpointing in Ihrem Cluster nicht aktiviert ist:
error: unable to recognize "checkpoint.yaml": no matches for kind "CheckpointConfiguration" in version "checkpointing.gke.io/v1"
Dieser Fehler kann auftreten, wenn Sie kubectl apply -f checkpoint.yaml im Schritt CheckpointConfiguration erstellen ausführen.
Prüfen Sie mit dem folgenden Befehl, ob Sie Multi-Tier Checkpointing in Ihrem Cluster aktiviert haben, um dieses Problem zu beheben:
gcloud container clusters describe CLUSTER_NAME \
--project PROJECT_ID
--location CLUSTER_LOCATION
Wenn die mehrstufige Prüfpunkterstellung aktiviert ist, sollte die Ausgabe in etwa so aussehen:
addonsConfig:
gcePersistentDiskCsiDriverConfig:
enabled: true
gcsFuseCsiDriverConfig:
enabled: true
highScaleCheckpointingConfig:
enabled: true
kubernetesDashboard:
disabled: true
networkPolicyConfig:
disabled: true
Wenn die mehrstufige Prüfpunkterstellung nicht aktiviert ist, aktualisieren Sie Ihren Cluster, um die mehrstufige Prüfpunkterstellung zu aktivieren.
CSI-Treiber für mehrstufiges Checkpointing kann keine Volumes bereitstellen
Dieses Problem kann auftreten, wenn der CSI-Treiber das Cloud Storage-Volume nicht bereitstellen kann. Möglicherweise gibt es mehrere ähnliche Zeilen.
kubectl get pod -n gke-managed-checkpointing
NAME READY STATUS RESTARTS AGE
multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 0/5 Init:0/1 0 6m32s
Prüfen Sie zur Behebung dieses Problems die CSI-Treiber-Pod-Ereignisse, wie im folgenden Beispiel gezeigt:
kubectl describe pod multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 -n gke-managed-checkpointing
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 17m default-scheduler Successfully assigned gke-managed-checkpointing/multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 to gke-my-cluster-default-pool-353c773f-6d8q
Warning FailedMount 82s (x16 over 17m) kubelet MountVolume.SetUp failed for volume "gcs" : rpc error: code = PermissionDenied desc = failed to get GCS bucket "checkpointing-test-bucket": googleapi: Error 403: Caller does not have storage.objects.list access to the Google Cloud Storage bucket. Permission 'storage.objects.list' denied on resource (or it may not exist)., forbidden
Wenn das Problem wie im Beispiel gezeigt auf einen Cloud Storage-Bucket-Fehler PermissionDenied zurückzuführen ist, können Sie es beheben, indem Sie die Berechtigungen richtig einrichten.
Fehler: Kein Speicherplatz mehr auf dem Gerät
Wenn das Speichern von Prüfpunkten mit einem No space left on device-Fehler (mit Orbax, RESOURCE_EXHAUSTED ... os_error_code='28') fehlschlägt, ist das RAM-Laufwerk für mehrstufiges Checkpointing voll. Dieser Fehler hat die folgenden häufigen Ursachen:
Die RAM-Disk ist zu klein für Ihre Prüfpunkte. Der Fehler tritt innerhalb der ersten Prüfpunktspeicherungen nach dem Start des Jobs und nach jedem Neustart auf. Erhöhen Sie den Wert für
inMemoryVolumeSize, wie unter CheckpointConfiguration erstellen beschrieben, und löschen Sie die CheckpointConfiguration und erstellen Sie sie neu, während kein Trainingsjob ausgeführt wird.Ein CSI-Treiber-Pod wurde während der Ausführung des Jobs neu gestartet. Der Job wurde vor dem Fehler normal ausgeführt. Wenn ein CSI-Treiber-Pod neu gestartet wird, wird die Replikation auf allen Knoten beendet und ältere Prüfpunkte werden nicht mehr gelöscht. Dadurch füllt sich die RAM-Disk und der Job schlägt fehl. Dieses Verhalten ist beabsichtigt: Bei einer RAM-Disk mit der richtigen Größe schlägt der Job innerhalb weniger Prüfpunktspeicherungen fehl, anstatt ohne Replikation oder Sicherungen fortzufahren.
Führen Sie den folgenden Befehl aus, um zu prüfen, ob ein CSI-Treiber-Pod neu gestartet wurde:
kubectl get pod -n gke-managed-checkpointing -l k8s-app=high-scale-checkpointing \ -o custom-columns='NAME:.metadata.name,REPLICATOR_STARTED:.status.containerStatuses[?(@.name=="replication-worker")].state.running.startedAt'Die Ausgabe sieht etwa so aus:
NAME REPLICATOR_STARTED multitier-driver-fccd5b85-d40a-4194-b825-0e3d9e45ace3-24dxl 2026-11-12T22:53:55Z multitier-driver-fccd5b85-d40a-4194-b825-0e3d9e45ace3-fw58s 2026-11-10T00:24:46ZWenn der Zeitstempel
REPLICATOR_STARTEDeines Pods nach dem Start des Jobs liegt, wurde der Replikator auf diesem Knoten während des Jobs neu gestartet. Diese Prüfung umfasst sowohl einen ersetzten CSI-Treiber-Pod als auch einen Container, der im selben Pod neu gestartet wurde.Prüfen Sie, ob Ihr JobSet einen
failurePolicyhat, der den Job neu startet. In diesem Fall wird der Job beim Neustart automatisch wiederhergestellt und der letzte Prüfpunkt im Cluster wird wiederhergestellt. Wenn dies nicht der Fall ist, sollten Sie Ihrem JobSet einenfailurePolicyhinzufügen und den Job manuell neu starten. Wenn CSI-Treiber-Pods wiederholt neu gestartet werden, prüfen Sie die Logs des neu gestarteten Pods. Wenn Sie weitere Unterstützung benötigen, wenden Sie sich an den Cloud Customer Care.
Nächste Schritte
- Weitere Informationen zum Bereitstellen von TPU-Multislice in der Google Kubernetes Engine
- Informationen zum Optimieren der Leistung des Cloud Storage FUSE-CSI-Treibers für die Google Kubernetes Engine
- Orbax-Prüfpunktoptionen ansehen