本页面介绍了如何在 GKE 上训练机器学习模型期间,使用多层级检查点机制可靠地存储和管理检查点。检查点存储和管理对于大规模训练作业(定义为利用数千个节点的作业)至关重要。这些大规模作业经常中断(可能每小时中断一次),并且恢复速度可能很慢。
优势
使用多层检查点功能具有以下优势:
- 全编排式检查点数据管理,包括针对以下工作负载的备份、复制和自动恢复:
- JAX 训练运行使用 Orbax 进行状态管理,在 TPU 上运行。
- GPU 上的 PyTorch 工作负载。
- 从存储在本地节点中的检查点快速恢复训练作业。您还可以使用存储在训练集群中另一个节点中的检查点进行恢复。
- 在最坏的情况下(即没有集群内检查点),从存储在 Cloud Storage 备份中的检查点快速恢复训练作业。
准备工作
在开始之前,请确保您已执行以下任务:
- 启用 Google Kubernetes Engine API。 启用 Google Kubernetes Engine API
- 如需使用 Google Cloud CLI 执行此任务,请安装并初始化 gcloud CLI。如果您之前安装了 gcloud CLI,请通过运行
gcloud components update命令来获取最新版本。较早版本的 gcloud CLI 可能不支持运行本文档中的命令。
要求
多层级检查点功能需要 GKE 集群版本 1.32.4-gke.1415000 或更高版本。
限制
- 不支持 Autopilot 集群。
配置 GKE 节点以使用多层级检查点
本部分介绍了如何在新的和现有集群上配置 GKE 节点。
在新集群上配置节点
创建一个启用了多层级检查点、Cloud Storage FUSE CSI 驱动程序和 Workload Identity Federation for GKE 的集群。如果您为机器学习工作负载使用 TPU 切片,则需要调整集群创建命令,以包含 TPU 切片节点池的配置。
gcloud container clusters create CLUSTER_NAME \ --addons=HighScaleCheckpointing,GcsFuseCsiDriver \ --node-locations=NODE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog \ --cluster-version=CLUSTER_VERSION --location=CLUSTER_LOCATION \ --machine-type=MACHINE_TYPE \ --num-nodes=NUM_NODES替换以下值:
CLUSTER_NAME:集群的名称。NODE_LOCATION:集群节点所在的可用区。这是您的 TPU 容量所在的位置。PROJECT_ID:您的 Google Cloud 项目 ID。CLUSTER_VERSION:您的集群的版本。支持的最低版本为 1.32.4-gke.1415000。CLUSTER_LOCATION:要在其中创建集群的区域。MACHINE_TYPE:用于运行 JobSet 控制器和多层级检查点控制器等组件的节点的机器类型。对于大规模训练,我们建议至少使用e2-standard-4台机器。您不会使用此机器类型进行模型训练;相反,您将为此目的创建单独的节点池,通常利用加速器优化型虚拟机系列。NUM_NODES:要在每个集群的可用区中创建的节点数。
在现有集群上配置节点
如需在现有集群中使用多层级检查点,请使用以下命令将其与 Cloud Storage FUSE CSI 驱动程序和 Workload Identity Federation for GKE 一起启用。您的现有集群版本需要高于 1.32.3-gke.1170000。
启用 Workload Identity Federation for GKE
gcloud container clusters update CLUSTER_NAME \ --workload-pool=PROJECT_ID.svc.id.goog \ --location=CLUSTER_LOCATION替换以下值:
CLUSTER_NAME:集群的名称。PROJECT_ID:您的 Google Cloud 项目 ID。CLUSTER_LOCATION:集群的区域。
启用多层级检查点和 Cloud Storage FUSE CSI 驱动程序:
gcloud container clusters update CLUSTER_NAME \ --update-addons=HighScaleCheckpointing=ENABLED,GcsFuseCsiDriver=ENABLED \ --location=CLUSTER_LOCATION
配置使用多层级检查点的权限
本部分介绍了如何配置权限以使用多层级检查点。
授予对 Cloud Storage 存储桶的访问权限
多层级检查点设置 CSI 驱动程序使用的临时卷必须使用现有的 Cloud Storage 存储桶。
如需将检查点存储在 Cloud Storage 存储桶中,多层级检查点需要访问该存储桶。向 Kubernetes 服务账号授予存储桶的 Storage Object User (roles/storage.objectUser) IAM 角色,以实现多层级检查点。
gcloud storage buckets add-iam-policy-binding gs://GCS_BUCKET \
--member "principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/gke-managed-checkpointing/sa/gke-checkpointing-multitier-node" \
--role "roles/storage.objectUser"
替换以下值:
GCS_BUCKET:您要从中转移数据的 Cloud Storage 存储桶的名称。PROJECT_ID:您的 Google Cloud 项目 ID。PROJECT_NUMBER:系统为您的项目自动生成的唯一标识符。如需查找此值,请参阅创建和管理项目。
(可选)向 Compute Engine 默认服务账号授予访问权限
如果您的 Compute Engine 实例需要对 Cloud Storage 存储桶的读取权限,请向 Compute Engine 默认服务账号授予 Storage Object Viewer (roles/storage.objectViewer) IAM 角色。
gcloud storage buckets add-iam-policy-binding gs://GCS_BUCKET \
--member serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/storage.objectViewer
部署 JobSet 控制器
JobSet 控制器负责管理在 GKE 上运行模型训练的批量作业,并调整其资源分配以高效处理工作负载。确保训练作业启动器部署并使用 JobSet。
如需将 JobSet 部署中管理器容器的内存请求增加到 1 Gi、内存限制增加到 2 Gi、CPU 请求增加到 1,请运行以下补丁命令:
kubectl patch -n jobset-system deploy jobset-controller-manager --type json \
--patch '[{"op": "add", "path": "/spec/template/spec/containers/0/resources", "value": {"limits": {"memory": "2Gi"}, "requests": {"cpu": "1", "memory": "1Gi"}}}]'
初始化多层级检查点 CSI 驱动程序
本部分介绍了如何在运行工作负载的节点上初始化多层级检查点 CSI 驱动程序。CSI 驱动程序负责在模型训练过程中处理检查点的存储和管理。
创建 CheckpointConfiguration
CheckpointConfiguration 是一种 Kubernetes 自定义资源,用于指定部署多层级检查点 CSI 驱动程序的属性。此资源属于集群级。
创建以下
checkpoint.yaml清单。apiVersion: checkpointing.gke.io/v1 kind: CheckpointConfiguration metadata: name: MTC_CONFIG_NAME-configuration spec: cloudStorageBucketName: GCS_BUCKET nodeSelector: node.kubernetes.io/instance-type: MACHINE_TYPE tolerations: - key: TOLERATION_KEY operator: Exists effect: NoSchedule inMemoryVolumeSize: IN_MEMORY_VOLUME_SIZE gcsFuseMountOptions: - implicit-dirs - metadata-cache:negative-ttl-secs:0 - metadata-cache:ttl-secs:60 - metadata-cache:stat-cache-max-size-mb:-1 - metadata-cache:type-cache-max-size-mb:-1 - file-system:kernel-list-cache-ttl-secs:0 - read_ahead_kb=1024 - write:enable-streaming-writes:true替换以下内容:
- MTC_CONFIG_NAME:CheckpointConfiguration 的名称。 此名称对于集群是全局性的,并非特定于作业。
- GCS_BUCKET:您将存储检查点数据的 Cloud Storage 存储桶的名称。使用您在设置具有权限的 Cloud Storage 存储桶步骤中设置的存储桶。
MACHINE_TYPE:对应加速器的机器类型。可以是以下值之一:
- TPU v5p:
ct5p-hightpu-4t - TPU v5e:
ct5e-hightpu-4t - TPU v6e:
ct6e-standard-4t - Ironwood (TPU7x):
tpu7x-standard-4t - NVIDIA H100 80GB GPU(A3 系列):
如需详细了解如何使用 GKE 在 GPU 上运行分布式工作负载,请参阅运行多实例 GPU。对于 TPU,请参阅创建 TPU 切片节点池。
- TPU v5p:
TOLERATION_KEY:此字段允许在具有匹配污点的节点上调度 CSI 驱动程序。如需详细了解污点在不同加速器类型上的运作方式,请参阅以下页面:
IN_MEMORY_VOLUME_SIZE:内存中检查点缓存的大小。指定数量和单位(例如 200 Gi)。此值应为:
- TPU 的本地检查点大小乘以 2.2
- 具有单个对等节点的 GPU 的本地检查点大小乘以 6.6。
应用清单:
kubectl apply -f checkpoint.yaml检查 CSI 驱动程序是否正在运行:
kubectl get pod -n gke-managed-checkpointing输出应类似如下所示:将有多个条目,每个加速节点一个。
NAME READY STATUS RESTARTS AGE multitier-driver-e2b033a7-a4e7-496a-87a3-ffd7fcc2e57b-2d4fz 5/5 Running 0 114s
卸载多层级检查点 CSI 驱动程序
如果您想取消部署多层级检查点 CSI 驱动程序,请删除 CheckpointConfiguration 资源。多层级检查点设置控制器会从节点中移除 CSI 驱动程序。这会移除 RAM 磁盘,并释放内存供其他工作负载使用。例如:
kubectl delete -f checkpoint.yaml
管理 Cloud Storage 备份的数据保留和垃圾回收
您负责为检查点的 Cloud Storage 备份实施保留政策。多层级检查点仅将检查点备份写入 Cloud Storage,绝不会修改或删除这些备份。
许多开源工具都可以处理保留和垃圾回收,包括:
以下示例使用 backup-warden,其中 backup 目录装载到使用 Cloud Storage FUSE 的备份位置:
# Add --delete option to actually delete the backups, as is it only shows what would be deleted (dry-run)
backup-warden -p backup \
--hourly 24 \
--daily 7 \
--weekly 5 \
--monthly always \
--yearly always \
--prefer-recent
更新工作负载 JobSet 清单
更新作业的 JobSet 清单,以包含大规模检查点卷。具体细节取决于您的工作负载。
例如,如需扩展在 GKE 中部署 TPU 多切片中的示例 JobSet,请执行以下步骤:
将以下行添加到
jax-tpu容器。volumeMounts: - name: checkpoint mountPath: CHECKPOINT_DIR将 CHECKPOINT_DIR 替换为检查点目录的路径。这是生成
replicator.yaml且多层级检查点执行检查点保存操作的位置。如需了解详情,请参阅在应用中集成多层级检查点。将以下代码行添加到作业规范的
spec.template.spec字段中。volumes: - name: checkpoint csi: driver: multitier-checkpoint.csi.storage.gke.io
在应用中集成多层级检查点
如需分享有关检查点位置和复制就绪情况的信息,请修改应用,使其使用以下协议与多层检查点功能进行通信。
以下框架和库已实现此集成:
- MaxText(使用 Orbax):MaxText 内置了对多层级检查点 (MTC) 的支持。如需了解详情,请参阅 MaxText MTC 文档。
- 任何使用 Orbax 的模型:集成由两个主要组件组成:用于初始设置的 MTC 初始化模块(例如,请参阅 MaxText),以及用于从本地 RAM 磁盘保存和恢复检查点的 Replicator Checkpoint Manager(例如,请参阅 MaxText)。
- PyTorch 参考示例:此示例适用于将 NeMo 与 PyTorch 搭配使用的工作负载。
启动
本部分介绍了应用与多层检查点交互所需的初始步骤。
Replicator 是多层级检查点功能的核心组件,作为 CSI 驱动程序的一部分在每个节点上运行。Replicator 负责管理跨存储层级的检查点复制,从本地 RAM 磁盘到对等节点,再到 Cloud Storage 等外部存储。
replicator.yaml 文件充当机器学习训练作业(框架代码)与 Replicator 组件之间的动态控制平面。您的机器学习应用会以编程方式在本地卷 (RAMDisk) 上生成此文件,训练作业和 Replicator 服务都可以访问该文件。此清单允许机器学习框架向 Replicator 提供运行时配置和生命周期管理指令,这与后端设置期间定义的静态基础设施参数(例如 Cloud Storage 上传频率)不同。
如需查看此互动的具体示例,请参阅:
- MaxText 项目,该项目在 Cloud TPU 上利用此架构运行 JAX。
- PyTorch 参考示例,该示例在 GPU 上将此架构与 PyTorch 和 NVIDIA NeMO 结合使用。
您的应用应在启动期间执行以下步骤:
等到
replicator.yaml文件不存在,这表示 Replicator 已准备好由您的应用进行配置。replicator.yaml文件会在您在更新工作负载 JobSet 清单部分中配置的 CHECKPOINT_DIR 位置生成。首次创建模型训练作业时,
replicator.yaml文件不存在,您的应用可以立即继续。但是,如果作业已重启(例如,由于故障或手动干预),系统可能仍在处理上一个作业实例,并且该实例中的replicator.yaml可能仍存在于本地卷上。您的应用或机器学习作业会创建
replicator.yaml文件,其配置类似于以下内容。Orbax
job-name: orbax framework: orbax assume-data-parallelism: 3 node-rank: 0 nodes: 32 peer-ranks: [1, 16] or peers-per-node: 2 backup-interval-minutes: 30PyTorch
job-name: nemo framework: pytorch.distributed node-rank: 0 nodes: 32 peer-ranks: [1, 16] or peers-per-node: 2 backup-interval-minutes: 30此示例配置包含以下字段:
name:训练作业的名称。framework:训练作业使用的机器学习框架。node-rank:分布式训练作业中当前节点的唯一标识符。这表示创建此文件的节点的节点排名。参与运行的每个节点都有自己的排名。nodes:参与分布式训练作业的节点总数。 此值来自 Pod 的元数据。机器学习训练作业也可以查看此值。peer-ranks或peers-per-node:指定复制拓扑的两种替代方法。这两个参数中只能出现一个。peer-ranks:应将当前节点的检查点数据复制到的对等节点的显式排名。这样可以精细控制哪些特定节点充当复制合作伙伴。peers-per-node:Replicator 应自动选择用于复制的每个节点的对等节点数。
backup-interval-minutes:将检查点备份到 Cloud Storage 的频率(以分钟为单位)。我们建议您将此值设置为 30 分钟或更长时间。您的应用还可以请求备份特定检查点。如需了解详情,请参阅请求备份特定检查点。
等待系统删除新的
replicator.yaml文件。这表示复制器已重启并执行了清理。此步骤可让您在应用执行下一部分中的步骤时,避免本地卷上出现任何过时或临时文件。
从上次的已知良好 (LKG) 检查点恢复
初始化复制器后,多层级检查点功能会为每个 TPU 或 GPU 工作器创建一个
.restore文件。这些文件是在与replicator.yaml文件相同的装载本地卷中创建的,作业会将检查点保存在该卷中。这些文件的名称为
JOB_NAME-sSTEP-nNODE_RANK-wWORKER_INDEX.restore。文件名包含以下值:- JOB_NAME:
replicator.yaml文件中job-name字段的值。 - STEP:要恢复的检查点步骤;如果没有要恢复的检查点,则为
0。 - NODE_RANK:
replicator.yaml文件中node-rank字段的值。 - WORKER_INDEX:节点上 TPU 或 GPU 工作器的索引。
每个文件都是以下类型之一:
- 符号链接:多层级检查点找到了要恢复的检查点。该链接指向第 STEP 步的检查点数据。
- 空文件:多层级检查点在集群或 Cloud Storage 中均未找到要恢复的完整检查点。例如,在首次运行训练作业时就会发生这种情况。文件名始终使用步骤
0。作业应从头开始训练。
由于在第
0步保存的检查点也会生成包含-s0-的文件名,因此请检查.restore文件是符号链接还是空文件,而不是依赖文件名中的步骤。- JOB_NAME:
从相应的
.restore文件恢复每个工作器,如果文件为空,则在没有检查点的情况下启动。Orbax 可处理这两种情况。如需查看示例,请参阅下一部分中的 Orbax 复制的检查点管理器示例。
默认情况下,LKG 检查点是多层级检查点功能可以找到的最新完整检查点。系统会首选集群内检查点(位于本地 RAM 磁盘和对等节点上),并且仅在不存在完整的集群内检查点时才会使用 Cloud Storage 备份。如需替换此选择,请参阅从特定备份恢复。
从特定备份恢复
您可以从特定 Cloud Storage 备份(而非 LKG 检查点)恢复作业,例如,将训练回滚到较早的状态。在作业开始之前,请执行以下步骤:
找到要从中恢复数据的备份。多层级检查点会将备份写入您在 CheckpointConfiguration 中配置的存储桶,并将其存储在以作业命名的目录中。每个备份都是一个子目录,以备份时的世界协调时间 (UTC) 命名,格式为
YYYY-MM-DD_HH-MM:gcloud storage ls gs://GCS_PATH/JOB_NAME/替换以下内容:
- GCS_PATH:多层级检查点写入备份的 Cloud Storage 路径。此值是您在 CheckpointConfiguration 的
cloudStorageBucketName字段中指定的存储桶,包括存储桶中的任何目录。 - JOB_NAME:训练作业的名称,在
replicator.yaml文件的job-name字段中指定。
- GCS_PATH:多层级检查点写入备份的 Cloud Storage 路径。此值是您在 CheckpointConfiguration 的
在存储桶的作业目录中,创建一个名为
restore.version的文件。该文件只能包含备份目录的名称,例如:echo "BACKUP_NAME" | gcloud storage cp - gs://GCS_PATH/JOB_NAME/restore.version将 BACKUP_NAME 替换为备份目录的名称,例如
2025-06-30_14-30。启动作业。
如果存在 restore.version 文件,多层检查点机制的行为如下:
- 所有节点都会从指定的备份中恢复。集群内检查点会被忽略,即使它们比备份更新。
- 作业在恢复后保存其第一个检查点后,系统会自动删除
restore.version文件。此替换仅应用一次:如果作业稍后重启,它会照常从 LKG 检查点恢复。 - 如果指定的备份不存在或不完整,则恢复会失败,作业也会停止。多层级检查点不会回退到集群内检查点或其他备份。每个节点上的复制器都会将失败原因写入 CHECKPOINT_DIR 目录中的
replicator.failed文件,并保留本地检查点。restore.version文件不会被删除,因此每次重启时作业都会失败,直到您更正restore.version文件中的备份名称或删除该文件。
保存检查点
在训练作业进行期间,您的应用会多次执行这些步骤。 保存操作发生在您在更新工作负载 JobSet 清单中配置的 CHECKPOINT_DIR 位置。
Orbax
创建 Orbax 检查点。目录以步骤编号命名。复制器会检测新创建的检查点目录,根据需要执行复制或备份,并自动进行清理。
如需详细了解如何使用 Orbax 复制器检查点管理器,请参阅 MaxText checkpointing 文件。
如需查看复制器服务交互的示例,请参阅 MaxText max_utils 文件。
PyTorch
使用 InClusterLocalCheckpointIO 作为自定义 pytorch_lightning.CheckpointIO,以便通过本地存储空间实现正确的分布式检查点。以下示例命令使用基于 NVIDIA NeMo 框架构建的参考实现来启用多层级检查点:
torchrun train.py <other_train_flags> \
--local-ckpt-dir=CHECKPOINT_DIR \
--local-ckpt-interval=20 \
--job-name=JOB_NAME \
--enable-high-scale-ckpt
替换以下内容:
CHECKPOINT_DIR:检查点目录的路径。JOB_NAME:训练作业工作负载的名称。
请求特定检查点的备份
默认情况下,多层级检查点会按照您在 replicator.yaml 文件中设置的时间间隔将检查点备份到 Cloud Storage。您的应用还可以请求备份特定检查点,而不考虑时间间隔,例如周期结束时或训练阶段结束时的检查点。
您可以在写入检查点时请求备份,方法是直接在检查点的步骤目录中创建一个名为 _BACKUP_REQUESTED 的空文件。当文件对多层级检查点可见时,该文件必须存在于目录中。
Orbax 支持此行为。您可以通过以下方式自动创建此文件:
- 如果您直接使用 Orbax:通过调用
ReplicatorCheckpointManager.save(step, args, backup=True)方法保存检查点。 - 如果您使用 MaxText:调用
save_checkpoint(..., backup=True)函数。
当检查点包含 _BACKUP_REQUESTED 文件时,多层级检查点功能会按如下方式运行:
- 检查点一经复制,就会立即备份到 Cloud Storage,即使备份间隔尚未结束也是如此。然后,基于时间的备份间隔会从此备份重新开始。
- 如果之前的备份仍在上传,系统会跳过新请求并记录错误。确保请求的备份之间的时间间隔大于上传备份所需的时间。
- 如需仅备份请求的检查点,请设置一个长于作业总预期运行时间的备份间隔。
集群升级
对于集群升级,您可以在升级之前或之后删除并重新创建 CheckpointConfiguration 对象。此操作是必需的,因为由此对象动态部署的节点检查点驱动程序 DaemonSet 不会自动升级。
如果您特别希望保持 DaemonSet 规范不变,则无需执行任何操作。
问题排查
本部分提供了解决多层级检查点问题的问题排查指南。 如需了解常规存储问题排查,请参阅排查 GKE 中的 Cloud Storage 问题。
未启用多层检查点
以下错误表示您的集群未启用多层级检查点:
error: unable to recognize "checkpoint.yaml": no matches for kind "CheckpointConfiguration" in version "checkpointing.gke.io/v1"
在创建 CheckpointConfiguration 步骤中运行 kubectl apply -f checkpoint.yaml 后,您可能会遇到此错误。
如需解决此问题,请使用以下命令检查您是否已在集群上启用多层级检查点:
gcloud container clusters describe CLUSTER_NAME \
--project PROJECT_ID
--location CLUSTER_LOCATION
如果启用了多层级检查点,则输出应类似于以下内容:
addonsConfig:
gcePersistentDiskCsiDriverConfig:
enabled: true
gcsFuseCsiDriverConfig:
enabled: true
highScaleCheckpointingConfig:
enabled: true
kubernetesDashboard:
disabled: true
networkPolicyConfig:
disabled: true
如果未启用多层级检查点,请更新集群以启用多层级检查点。
多层级检查点 CSI 驱动程序无法装载卷
如果 CSI 驱动程序无法装载 Cloud Storage 卷,您可能会遇到此问题。可能会有多行类似的内容。
kubectl get pod -n gke-managed-checkpointing
NAME READY STATUS RESTARTS AGE
multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 0/5 Init:0/1 0 6m32s
如需解决此问题,请检查 CSI 驱动程序 Pod 事件,如以下示例所示:
kubectl describe pod multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 -n gke-managed-checkpointing
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 17m default-scheduler Successfully assigned gke-managed-checkpointing/multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 to gke-my-cluster-default-pool-353c773f-6d8q
Warning FailedMount 82s (x16 over 17m) kubelet MountVolume.SetUp failed for volume "gcs" : rpc error: code = PermissionDenied desc = failed to get GCS bucket "checkpointing-test-bucket": googleapi: Error 403: Caller does not have storage.objects.list access to the Google Cloud Storage bucket. Permission 'storage.objects.list' denied on resource (or it may not exist)., forbidden
如果问题是因 Cloud Storage 存储桶 PermissionDenied 错误而导致的(如示例所示),您可以通过正确设置权限来解决此问题。
错误:设备上已没有剩余空间
如果检查点保存失败并显示 No space left on device 错误(使用 Orbax 时为 RESOURCE_EXHAUSTED ... os_error_code='28'),则表示多层级检查点 RAM 磁盘已满。此错误有以下常见原因:
RAM 磁盘太小,无法存储检查点。该错误发生在作业启动后的前几次检查点保存期间,并且在每次重启后都会再次发生。如需解决此问题,请按照创建 CheckpointConfiguration 中的说明增加
inMemoryVolumeSize值,然后在没有训练作业运行时删除并重新创建 CheckpointConfiguration。CSI 驱动程序 Pod 在作业运行期间重启。作业在出错前正常运行。当任何 CSI 驱动程序 Pod 重启时,所有节点上的复制都会停止,并且旧检查点不再删除,因此 RAM 磁盘会填满,作业会失败。此行为是预期的:如果 RAM 磁盘大小正确,则作业会在几次检查点保存后失败,而不是在没有复制或备份的情况下继续。
如需检查 CSI 驱动程序 Pod 是否已重启,请运行以下命令:
kubectl get pod -n gke-managed-checkpointing -l k8s-app=high-scale-checkpointing \ -o custom-columns='NAME:.metadata.name,REPLICATOR_STARTED:.status.containerStatuses[?(@.name=="replication-worker")].state.running.startedAt'输出类似于以下内容:
NAME REPLICATOR_STARTED multitier-driver-fccd5b85-d40a-4194-b825-0e3d9e45ace3-24dxl 2026-11-12T22:53:55Z multitier-driver-fccd5b85-d40a-4194-b825-0e3d9e45ace3-fw58s 2026-11-10T00:24:46Z如果 Pod 的
REPLICATOR_STARTED时间戳晚于作业开始时间,则该节点上的复制器在作业期间重启。此检查涵盖被替换的 CSI 驱动程序 Pod 以及在同一 Pod 中重启的容器。如需解决此问题,请检查您的 JobSet 是否具有重启作业的
failurePolicy。如果存在,作业会在重启时自动恢复,并从最新的集群内检查点恢复。如果没有,请考虑向 JobSet 添加failurePolicy,然后手动重启作业。如果 CSI 驱动程序 Pod 重复重启,请检查重启的 Pod 的日志。如需更多帮助,请与 Cloud Customer Care 联系。
后续步骤
- 详细了解如何在 Google Kubernetes Engine 上部署 TPU Multislice。
- 了解如何优化适用于 Google Kubernetes Engine 的 Cloud Storage FUSE CSI 驱动程序的性能。
- 探索 Orbax 检查点选项。