使用多层级检查点在 GKE 上训练大规模机器学习模型

本页面介绍了如何在 GKE 上训练机器学习模型期间,使用多层级检查点机制可靠地存储和管理检查点。检查点存储和管理对于大规模训练作业(定义为利用数千个节点的作业)至关重要。这些大规模作业经常中断(可能每小时中断一次),并且恢复速度可能很慢。

优势

使用多层检查点功能具有以下优势:

  • 全编排式检查点数据管理,包括针对以下工作负载的备份、复制和自动恢复:
  • 从存储在本地节点中的检查点快速恢复训练作业。您还可以使用存储在训练集群中另一个节点中的检查点进行恢复。
  • 在最坏的情况下(即没有集群内检查点),从存储在 Cloud Storage 备份中的检查点快速恢复训练作业。

准备工作

在开始之前,请确保您已执行以下任务:

  • 启用 Google Kubernetes Engine API。
  • 启用 Google Kubernetes Engine API
  • 如需使用 Google Cloud CLI 执行此任务,请安装并初始化 gcloud CLI。如果您之前安装了 gcloud CLI,请通过运行 gcloud components update 命令来获取最新版本。较早版本的 gcloud CLI 可能不支持运行本文档中的命令。

要求

多层级检查点功能需要 GKE 集群版本 1.32.4-gke.1415000 或更高版本。

限制

  • 不支持 Autopilot 集群。

配置 GKE 节点以使用多层级检查点

本部分介绍了如何在新的和现有集群上配置 GKE 节点。

在新集群上配置节点

  1. 创建一个启用了多层级检查点、Cloud Storage FUSE CSI 驱动程序和 Workload Identity Federation for GKE 的集群。如果您为机器学习工作负载使用 TPU 切片,则需要调整集群创建命令,以包含 TPU 切片节点池的配置。

    gcloud container clusters create CLUSTER_NAME \
        --addons=HighScaleCheckpointing,GcsFuseCsiDriver  \
        --node-locations=NODE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --cluster-version=CLUSTER_VERSION
        --location=CLUSTER_LOCATION \
        --machine-type=MACHINE_TYPE \
        --num-nodes=NUM_NODES
    

    替换以下值:

    • CLUSTER_NAME:集群的名称。
    • NODE_LOCATION:集群节点所在的可用区。这是您的 TPU 容量所在的位置。
    • PROJECT_ID:您的 Google Cloud 项目 ID。
    • CLUSTER_VERSION:您的集群的版本。支持的最低版本为 1.32.4-gke.1415000。
    • CLUSTER_LOCATION:要在其中创建集群的区域。
    • MACHINE_TYPE:用于运行 JobSet 控制器和多层级检查点控制器等组件的节点的机器类型。对于大规模训练,我们建议至少使用 e2-standard-4 台机器。您不会使用此机器类型进行模型训练;相反,您将为此目的创建单独的节点池,通常利用加速器优化型虚拟机系列。
    • NUM_NODES:要在每个集群的可用区中创建的节点数。

在现有集群上配置节点

如需在现有集群中使用多层级检查点,请使用以下命令将其与 Cloud Storage FUSE CSI 驱动程序和 Workload Identity Federation for GKE 一起启用。您的现有集群版本需要高于 1.32.3-gke.1170000。

  1. 启用 Workload Identity Federation for GKE

    gcloud container clusters update CLUSTER_NAME \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --location=CLUSTER_LOCATION
    

    替换以下值:

    • CLUSTER_NAME:集群的名称。
    • PROJECT_ID:您的 Google Cloud 项目 ID。
    • CLUSTER_LOCATION:集群的区域。
  2. 启用多层级检查点和 Cloud Storage FUSE CSI 驱动程序:

    gcloud container clusters update CLUSTER_NAME \
        --update-addons=HighScaleCheckpointing=ENABLED,GcsFuseCsiDriver=ENABLED \
        --location=CLUSTER_LOCATION
    

配置使用多层级检查点的权限

本部分介绍了如何配置权限以使用多层级检查点。

授予对 Cloud Storage 存储桶的访问权限

多层级检查点设置 CSI 驱动程序使用的临时卷必须使用现有的 Cloud Storage 存储桶。

如需将检查点存储在 Cloud Storage 存储桶中,多层级检查点需要访问该存储桶。向 Kubernetes 服务账号授予存储桶的 Storage Object User (roles/storage.objectUser) IAM 角色,以实现多层级检查点。

gcloud storage buckets add-iam-policy-binding gs://GCS_BUCKET \
    --member "principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/gke-managed-checkpointing/sa/gke-checkpointing-multitier-node" \
    --role "roles/storage.objectUser"

替换以下值:

(可选)向 Compute Engine 默认服务账号授予访问权限

如果您的 Compute Engine 实例需要对 Cloud Storage 存储桶的读取权限,请向 Compute Engine 默认服务账号授予 Storage Object Viewer (roles/storage.objectViewer) IAM 角色。

gcloud storage buckets add-iam-policy-binding gs://GCS_BUCKET \
    --member serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role roles/storage.objectViewer

部署 JobSet 控制器

JobSet 控制器负责管理在 GKE 上运行模型训练的批量作业,并调整其资源分配以高效处理工作负载。确保训练作业启动器部署并使用 JobSet。

如需将 JobSet 部署中管理器容器的内存请求增加到 1 Gi、内存限制增加到 2 Gi、CPU 请求增加到 1,请运行以下补丁命令:

kubectl patch -n jobset-system deploy jobset-controller-manager --type json \
    --patch '[{"op": "add", "path": "/spec/template/spec/containers/0/resources", "value": {"limits": {"memory": "2Gi"}, "requests": {"cpu": "1", "memory": "1Gi"}}}]'

初始化多层级检查点 CSI 驱动程序

本部分介绍了如何在运行工作负载的节点上初始化多层级检查点 CSI 驱动程序。CSI 驱动程序负责在模型训练过程中处理检查点的存储和管理。

创建 CheckpointConfiguration

CheckpointConfiguration 是一种 Kubernetes 自定义资源,用于指定部署多层级检查点 CSI 驱动程序的属性。此资源属于集群级。

  1. 创建以下 checkpoint.yaml 清单。

    apiVersion: checkpointing.gke.io/v1
    kind: CheckpointConfiguration
    metadata:
      name: MTC_CONFIG_NAME-configuration
    spec:
        cloudStorageBucketName: GCS_BUCKET
        nodeSelector:
            node.kubernetes.io/instance-type: MACHINE_TYPE
        tolerations:
        - key: TOLERATION_KEY
            operator: Exists
            effect: NoSchedule
        inMemoryVolumeSize: IN_MEMORY_VOLUME_SIZE
        gcsFuseMountOptions:
        - implicit-dirs
        - metadata-cache:negative-ttl-secs:0
        - metadata-cache:ttl-secs:60
        - metadata-cache:stat-cache-max-size-mb:-1
        - metadata-cache:type-cache-max-size-mb:-1
        - file-system:kernel-list-cache-ttl-secs:0
        - read_ahead_kb=1024
        - write:enable-streaming-writes:true
    

    替换以下内容:

    • MTC_CONFIG_NAME:CheckpointConfiguration 的名称。 此名称对于集群是全局性的,并非特定于作业。
    • GCS_BUCKET:您将存储检查点数据的 Cloud Storage 存储桶的名称。使用您在设置具有权限的 Cloud Storage 存储桶步骤中设置的存储桶。
    • MACHINE_TYPE:对应加速器的机器类型。可以是以下值之一:

      • TPU v5p:ct5p-hightpu-4t
      • TPU v5e:ct5e-hightpu-4t
      • TPU v6e:ct6e-standard-4t
      • Ironwood (TPU7x):tpu7x-standard-4t
      • NVIDIA H100 80GB GPU(A3 系列):

      如需详细了解如何使用 GKE 在 GPU 上运行分布式工作负载,请参阅运行多实例 GPU。对于 TPU,请参阅创建 TPU 切片节点池。

    • TOLERATION_KEY:此字段允许在具有匹配污点的节点上调度 CSI 驱动程序。如需详细了解污点在不同加速器类型上的运作方式,请参阅以下页面:

    • IN_MEMORY_VOLUME_SIZE:内存中检查点缓存的大小。指定数量和单位(例如 200 Gi)。此值应为:

      • TPU 的本地检查点大小乘以 2.2
      • 具有单个对等节点的 GPU 的本地检查点大小乘以 6.6。
  2. 应用清单:

    kubectl apply -f checkpoint.yaml
    
  3. 检查 CSI 驱动程序是否正在运行:

    kubectl get pod -n gke-managed-checkpointing
    

    输出应类似如下所示:将有多个条目,每个加速节点一个。

    NAME                                                          READY   STATUS    RESTARTS   AGE
    multitier-driver-e2b033a7-a4e7-496a-87a3-ffd7fcc2e57b-2d4fz   5/5     Running   0          114s
    

卸载多层级检查点 CSI 驱动程序

如果您想取消部署多层级检查点 CSI 驱动程序,请删除 CheckpointConfiguration 资源。多层级检查点设置控制器会从节点中移除 CSI 驱动程序。这会移除 RAM 磁盘,并释放内存供其他工作负载使用。例如:

kubectl delete -f checkpoint.yaml

管理 Cloud Storage 备份的数据保留和垃圾回收

您负责为检查点的 Cloud Storage 备份实施保留政策。多层级检查点仅将检查点备份写入 Cloud Storage,绝不会修改或删除这些备份。

许多开源工具都可以处理保留和垃圾回收,包括:

以下示例使用 backup-warden,其中 backup 目录装载到使用 Cloud Storage FUSE 的备份位置:

# Add --delete option to actually delete the backups, as is it only shows what would be deleted (dry-run)
backup-warden -p backup \
    --hourly 24 \
    --daily 7 \
    --weekly 5 \
    --monthly always \
    --yearly always \
    --prefer-recent

更新工作负载 JobSet 清单

更新作业的 JobSet 清单,以包含大规模检查点卷。具体细节取决于您的工作负载。

例如,如需扩展在 GKE 中部署 TPU 多切片中的示例 JobSet,请执行以下步骤:

  1. 将以下行添加到 jax-tpu 容器。

    volumeMounts:
    - name: checkpoint
      mountPath: CHECKPOINT_DIR
    

    将 CHECKPOINT_DIR 替换为检查点目录的路径。这是生成 replicator.yaml 且多层级检查点执行检查点保存操作的位置。如需了解详情,请参阅在应用中集成多层级检查点。

  2. 将以下代码行添加到作业规范的 spec.template.spec 字段中。

    volumes:
    - name: checkpoint
      csi:
        driver: multitier-checkpoint.csi.storage.gke.io
    

在应用中集成多层级检查点

如需分享有关检查点位置和复制就绪情况的信息,请修改应用,使其使用以下协议与多层检查点功能进行通信。

以下框架和库已实现此集成:

  1. MaxText(使用 Orbax):MaxText 内置了对多层级检查点 (MTC) 的支持。如需了解详情,请参阅 MaxText MTC 文档。
  2. 任何使用 Orbax 的模型:集成由两个主要组件组成:用于初始设置的 MTC 初始化模块(例如,请参阅 MaxText),以及用于从本地 RAM 磁盘保存和恢复检查点的 Replicator Checkpoint Manager(例如,请参阅 MaxText)。
  3. PyTorch 参考示例:此示例适用于将 NeMo 与 PyTorch 搭配使用的工作负载。

启动

本部分介绍了应用与多层检查点交互所需的初始步骤。

Replicator 是多层级检查点功能的核心组件,作为 CSI 驱动程序的一部分在每个节点上运行。Replicator 负责管理跨存储层级的检查点复制,从本地 RAM 磁盘到对等节点,再到 Cloud Storage 等外部存储。

replicator.yaml 文件充当机器学习训练作业(框架代码)与 Replicator 组件之间的动态控制平面。您的机器学习应用会以编程方式在本地卷 (RAMDisk) 上生成此文件,训练作业和 Replicator 服务都可以访问该文件。此清单允许机器学习框架向 Replicator 提供运行时配置和生命周期管理指令,这与后端设置期间定义的静态基础设施参数(例如 Cloud Storage 上传频率)不同。

如需查看此互动的具体示例,请参阅:

  • MaxText 项目,该项目在 Cloud TPU 上利用此架构运行 JAX。
  • PyTorch 参考示例,该示例在 GPU 上将此架构与 PyTorch 和 NVIDIA NeMO 结合使用。

您的应用应在启动期间执行以下步骤:

  1. 等到 replicator.yaml 文件不存在,这表示 Replicator 已准备好由您的应用进行配置。replicator.yaml 文件会在您在更新工作负载 JobSet 清单部分中配置的 CHECKPOINT_DIR 位置生成。

    首次创建模型训练作业时,replicator.yaml 文件不存在,您的应用可以立即继续。但是,如果作业已重启(例如,由于故障或手动干预),系统可能仍在处理上一个作业实例,并且该实例中的 replicator.yaml 可能仍存在于本地卷上。

  2. 您的应用或机器学习作业会创建 replicator.yaml 文件,其配置类似于以下内容。

    Orbax

    job-name: orbax
    framework: orbax
    assume-data-parallelism: 3
    node-rank: 0
    nodes: 32
    peer-ranks: [1, 16] or peers-per-node: 2
    backup-interval-minutes: 30
    

    PyTorch

    job-name: nemo
    framework: pytorch.distributed
    node-rank: 0
    nodes: 32
    peer-ranks: [1, 16] or peers-per-node: 2
    backup-interval-minutes: 30
    

    此示例配置包含以下字段:

    • name:训练作业的名称。
    • framework:训练作业使用的机器学习框架。
    • node-rank:分布式训练作业中当前节点的唯一标识符。这表示创建此文件的节点的节点排名。参与运行的每个节点都有自己的排名。
    • nodes:参与分布式训练作业的节点总数。 此值来自 Pod 的元数据。机器学习训练作业也可以查看此值。
    • peer-ranks 或 peers-per-node:指定复制拓扑的两种替代方法。这两个参数中只能出现一个。
      • peer-ranks:应将当前节点的检查点数据复制到的对等节点的显式排名。这样可以精细控制哪些特定节点充当复制合作伙伴。
      • peers-per-node:Replicator 应自动选择用于复制的每个节点的对等节点数。
    • backup-interval-minutes:将检查点备份到 Cloud Storage 的频率(以分钟为单位)。我们建议您将此值设置为 30 分钟或更长时间。您的应用还可以请求备份特定检查点。如需了解详情,请参阅请求备份特定检查点。
  3. 等待系统删除新的 replicator.yaml 文件。这表示复制器已重启并执行了清理。此步骤可让您在应用执行下一部分中的步骤时,避免本地卷上出现任何过时或临时文件。

从上次的已知良好 (LKG) 检查点恢复

  1. 初始化复制器后,多层级检查点功能会为每个 TPU 或 GPU 工作器创建一个 .restore 文件。这些文件是在与 replicator.yaml 文件相同的装载本地卷中创建的,作业会将检查点保存在该卷中。

    这些文件的名称为 JOB_NAME-sSTEP-nNODE_RANK-wWORKER_INDEX.restore。文件名包含以下值:

    • JOB_NAME:replicator.yaml 文件中 job-name 字段的值。
    • STEP:要恢复的检查点步骤;如果没有要恢复的检查点,则为 0。
    • NODE_RANK:replicator.yaml 文件中 node-rank 字段的值。
    • WORKER_INDEX:节点上 TPU 或 GPU 工作器的索引。

    每个文件都是以下类型之一:

    • 符号链接:多层级检查点找到了要恢复的检查点。该链接指向第 STEP 步的检查点数据。
    • 空文件:多层级检查点在集群或 Cloud Storage 中均未找到要恢复的完整检查点。例如,在首次运行训练作业时就会发生这种情况。文件名始终使用步骤 0。作业应从头开始训练。

    由于在第 0 步保存的检查点也会生成包含 -s0- 的文件名,因此请检查 .restore 文件是符号链接还是空文件,而不是依赖文件名中的步骤。

  2. 从相应的 .restore 文件恢复每个工作器,如果文件为空,则在没有检查点的情况下启动。Orbax 可处理这两种情况。如需查看示例,请参阅下一部分中的 Orbax 复制的检查点管理器示例。

默认情况下,LKG 检查点是多层级检查点功能可以找到的最新完整检查点。系统会首选集群内检查点(位于本地 RAM 磁盘和对等节点上),并且仅在不存在完整的集群内检查点时才会使用 Cloud Storage 备份。如需替换此选择,请参阅从特定备份恢复。

从特定备份恢复

您可以从特定 Cloud Storage 备份(而非 LKG 检查点)恢复作业,例如,将训练回滚到较早的状态。在作业开始之前,请执行以下步骤:

  1. 找到要从中恢复数据的备份。多层级检查点会将备份写入您在 CheckpointConfiguration 中配置的存储桶,并将其存储在以作业命名的目录中。每个备份都是一个子目录,以备份时的世界协调时间 (UTC) 命名,格式为 YYYY-MM-DD_HH-MM:

    gcloud storage ls gs://GCS_PATH/JOB_NAME/
    

    替换以下内容:

    • GCS_PATH:多层级检查点写入备份的 Cloud Storage 路径。此值是您在 CheckpointConfiguration 的 cloudStorageBucketName 字段中指定的存储桶,包括存储桶中的任何目录。
    • JOB_NAME:训练作业的名称,在 replicator.yaml 文件的 job-name 字段中指定。
  2. 在存储桶的作业目录中,创建一个名为 restore.version 的文件。该文件只能包含备份目录的名称,例如:

    echo "BACKUP_NAME" | gcloud storage cp - gs://GCS_PATH/JOB_NAME/restore.version
    

    将 BACKUP_NAME 替换为备份目录的名称,例如 2025-06-30_14-30。

  3. 启动作业。

如果存在 restore.version 文件,多层检查点机制的行为如下:

  • 所有节点都会从指定的备份中恢复。集群内检查点会被忽略,即使它们比备份更新。
  • 作业在恢复后保存其第一个检查点后,系统会自动删除 restore.version 文件。此替换仅应用一次:如果作业稍后重启,它会照常从 LKG 检查点恢复。
  • 如果指定的备份不存在或不完整,则恢复会失败,作业也会停止。多层级检查点不会回退到集群内检查点或其他备份。每个节点上的复制器都会将失败原因写入 CHECKPOINT_DIR 目录中的 replicator.failed 文件,并保留本地检查点。restore.version 文件不会被删除,因此每次重启时作业都会失败,直到您更正 restore.version 文件中的备份名称或删除该文件。

保存检查点

在训练作业进行期间,您的应用会多次执行这些步骤。 保存操作发生在您在更新工作负载 JobSet 清单中配置的 CHECKPOINT_DIR 位置。

Orbax

创建 Orbax 检查点。目录以步骤编号命名。复制器会检测新创建的检查点目录,根据需要执行复制或备份,并自动进行清理。

如需详细了解如何使用 Orbax 复制器检查点管理器,请参阅 MaxText checkpointing 文件。 如需查看复制器服务交互的示例,请参阅 MaxText max_utils 文件。

PyTorch

使用 InClusterLocalCheckpointIO 作为自定义 pytorch_lightning.CheckpointIO,以便通过本地存储空间实现正确的分布式检查点。以下示例命令使用基于 NVIDIA NeMo 框架构建的参考实现来启用多层级检查点:

torchrun train.py <other_train_flags> \
    --local-ckpt-dir=CHECKPOINT_DIR \
    --local-ckpt-interval=20 \
    --job-name=JOB_NAME \
    --enable-high-scale-ckpt

替换以下内容:

  • CHECKPOINT_DIR:检查点目录的路径。
  • JOB_NAME:训练作业工作负载的名称。

请求特定检查点的备份

默认情况下,多层级检查点会按照您在 replicator.yaml 文件中设置的时间间隔将检查点备份到 Cloud Storage。您的应用还可以请求备份特定检查点,而不考虑时间间隔,例如周期结束时或训练阶段结束时的检查点。

您可以在写入检查点时请求备份,方法是直接在检查点的步骤目录中创建一个名为 _BACKUP_REQUESTED 的空文件。当文件对多层级检查点可见时,该文件必须存在于目录中。

Orbax 支持此行为。您可以通过以下方式自动创建此文件:

  • 如果您直接使用 Orbax:通过调用 ReplicatorCheckpointManager.save(step, args, backup=True) 方法保存检查点。
  • 如果您使用 MaxText:调用 save_checkpoint(..., backup=True) 函数。

当检查点包含 _BACKUP_REQUESTED 文件时,多层级检查点功能会按如下方式运行:

  • 检查点一经复制,就会立即备份到 Cloud Storage,即使备份间隔尚未结束也是如此。然后,基于时间的备份间隔会从此备份重新开始。
  • 如果之前的备份仍在上传,系统会跳过新请求并记录错误。确保请求的备份之间的时间间隔大于上传备份所需的时间。
  • 如需仅备份请求的检查点,请设置一个长于作业总预期运行时间的备份间隔。

集群升级

对于集群升级,您可以在升级之前或之后删除并重新创建 CheckpointConfiguration 对象。此操作是必需的,因为由此对象动态部署的节点检查点驱动程序 DaemonSet 不会自动升级。

如果您特别希望保持 DaemonSet 规范不变,则无需执行任何操作。

问题排查

本部分提供了解决多层级检查点问题的问题排查指南。 如需了解常规存储问题排查,请参阅排查 GKE 中的 Cloud Storage 问题。

未启用多层检查点

以下错误表示您的集群未启用多层级检查点:

error: unable to recognize "checkpoint.yaml": no matches for kind "CheckpointConfiguration" in version "checkpointing.gke.io/v1"

在创建 CheckpointConfiguration 步骤中运行 kubectl apply -f checkpoint.yaml 后,您可能会遇到此错误。

如需解决此问题,请使用以下命令检查您是否已在集群上启用多层级检查点:

gcloud container clusters describe CLUSTER_NAME \
    --project PROJECT_ID
    --location CLUSTER_LOCATION

如果启用了多层级检查点,则输出应类似于以下内容:

addonsConfig:
  gcePersistentDiskCsiDriverConfig:
    enabled: true
  gcsFuseCsiDriverConfig:
    enabled: true
  highScaleCheckpointingConfig:
    enabled: true
  kubernetesDashboard:
    disabled: true
  networkPolicyConfig:
    disabled: true

如果未启用多层级检查点,请更新集群以启用多层级检查点。

多层级检查点 CSI 驱动程序无法装载卷

如果 CSI 驱动程序无法装载 Cloud Storage 卷,您可能会遇到此问题。可能会有多行类似的内容。

kubectl get pod -n gke-managed-checkpointing
NAME                                                          READY   STATUS     RESTARTS   AGE
multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9   0/5     Init:0/1   0          6m32s

如需解决此问题,请检查 CSI 驱动程序 Pod 事件,如以下示例所示:

kubectl describe pod multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 -n gke-managed-checkpointing

Events:
  Type     Reason       Age                 From               Message
  ----     ------       ----                ----               -------
  Normal   Scheduled    17m                 default-scheduler  Successfully assigned gke-managed-checkpointing/multitier-driver-14694e4d-774f-4104-8bba-f0bd82fd7557-5vxr9 to gke-my-cluster-default-pool-353c773f-6d8q
  Warning  FailedMount  82s (x16 over 17m)  kubelet            MountVolume.SetUp failed for volume "gcs" : rpc error: code = PermissionDenied desc = failed to get GCS bucket "checkpointing-test-bucket": googleapi: Error 403: Caller does not have storage.objects.list access to the Google Cloud Storage bucket. Permission 'storage.objects.list' denied on resource (or it may not exist)., forbidden

如果问题是因 Cloud Storage 存储桶 PermissionDenied 错误而导致的(如示例所示),您可以通过正确设置权限来解决此问题。

错误:设备上已没有剩余空间

如果检查点保存失败并显示 No space left on device 错误(使用 Orbax 时为 RESOURCE_EXHAUSTED ... os_error_code='28'),则表示多层级检查点 RAM 磁盘已满。此错误有以下常见原因:

  • RAM 磁盘太小,无法存储检查点。该错误发生在作业启动后的前几次检查点保存期间,并且在每次重启后都会再次发生。如需解决此问题,请按照创建 CheckpointConfiguration 中的说明增加 inMemoryVolumeSize 值,然后在没有训练作业运行时删除并重新创建 CheckpointConfiguration。

  • CSI 驱动程序 Pod 在作业运行期间重启。作业在出错前正常运行。当任何 CSI 驱动程序 Pod 重启时,所有节点上的复制都会停止,并且旧检查点不再删除,因此 RAM 磁盘会填满,作业会失败。此行为是预期的:如果 RAM 磁盘大小正确,则作业会在几次检查点保存后失败,而不是在没有复制或备份的情况下继续。

    如需检查 CSI 驱动程序 Pod 是否已重启,请运行以下命令:

    kubectl get pod -n gke-managed-checkpointing -l k8s-app=high-scale-checkpointing \
        -o custom-columns='NAME:.metadata.name,REPLICATOR_STARTED:.status.containerStatuses[?(@.name=="replication-worker")].state.running.startedAt'
    

    输出类似于以下内容:

    NAME                                                          REPLICATOR_STARTED
    multitier-driver-fccd5b85-d40a-4194-b825-0e3d9e45ace3-24dxl   2026-11-12T22:53:55Z
    multitier-driver-fccd5b85-d40a-4194-b825-0e3d9e45ace3-fw58s   2026-11-10T00:24:46Z
    

    如果 Pod 的 REPLICATOR_STARTED 时间戳晚于作业开始时间,则该节点上的复制器在作业期间重启。此检查涵盖被替换的 CSI 驱动程序 Pod 以及在同一 Pod 中重启的容器。

    如需解决此问题,请检查您的 JobSet 是否具有重启作业的 failurePolicy。如果存在,作业会在重启时自动恢复,并从最新的集群内检查点恢复。如果没有,请考虑向 JobSet 添加 failurePolicy,然后手动重启作业。如果 CSI 驱动程序 Pod 重复重启,请检查重启的 Pod 的日志。如需更多帮助,请与 Cloud Customer Care 联系。

后续步骤