本教程介绍了如何在 Google Kubernetes Engine (GKE) 上编排强化学习的分布式训练环境。您将使用 Ray 和 verl（Volcano Engine 强化学习）框架设置分布式训练环境，以便在 GSM8K 数据集上对 Qwen2.5-32B-Instruct 模型进行微调。
本教程重点介绍如何使用 Ray 和 verl 在 GKE 上运行组相对策略优化 (GRPO) 训练流水线。GRPO 是一种强化学习算法，旨在提高模型的推理能力。这种内存高效算法通过消除 Critic 或价值模型并改用基于组的相对计算，简化了强化学习 (RL) 过程。
如果您需要设置一个分布式训练环境，以便将数据、模型权重和训练引擎分离以提高效率，那么本教程是一个很好的起点。
本教程支持以下 GPU 架构：
- 基于 Intel 或 AMD 的 GPU 节点：使用 NVIDIA B200 或 H200 GPU 设置和扩缩，并使用 GKE 动态资源分配 (DRA) 实现 Autopilot 路径。
- 基于 Arm 的 A4X (GB200) 节点：使用 NVIDIA GB200 Grace Blackwell 超级芯片、GKE 动态资源分配 (DRA) 和多节点 NVLink (IMEX) 进行设置和扩缩。
背景
以下部分简要介绍了本教程中使用的概念。
强化学习 (RL)
RL 通过经验、探索和反馈来训练模型，而不是静态模仿。虽然预训练会教模型说什么，但基于人类反馈的强化学习 (RLHF) 会教模型如何提供帮助、安全和合乎逻辑。RL 是基础模型与针对特定应用场景进行微调的模型之间的桥梁。
如需了解详情，请参阅什么是强化学习？
群组相对政策优化 (GRPO)
GRPO 是一种由 DeepSeek 推广的算法，它通过移除 Critic 模型，为 LLM 对齐提供了一种比近端策略优化 (PPO) 更节省内存的替代方案。GRPO 不使用 Critic 网络，而是针对同一提示生成一组回答，并以该组回答的平均奖励作为基准。
如需了解详情，请参阅 GRPO。
Volcano Engine 强化学习 (verl)
verl 是一个高性能框架，旨在处理基于 LLM 的 RL 的复杂内存和计算模式。
如需了解详情，请参阅 verl。
目标
本教程将介绍如何通过完成以下步骤，在 GKE 上使用 verl 设置强化学习：
- 设置一个包含 A4X（GB200 超级芯片）、A4（B200 GPU）或 A3 Ultra（H200 GPU）的 GKE 集群。
- 配置 KubeRay 以管理分布式 Ray 集群。
- 使用 Cloud Storage FUSE 在所有节点上装载 Cloud Storage 存储桶。
- 使用 verl 运行 GRPO 训练作业，使 Qwen2.5-32B-Instruct 模型与 GSM8K 数据集保持一致。
准备工作
- 本教程使用 Cloud Shell，其中预安装了 Google Cloud CLI 和
kubectl。如果您不使用 Cloud Shell，请安装并初始化 Google Cloud CLI，然后安装kubectl。
- 登录您的 Google Cloud 账号。如果您是 Google Cloud新手，请 创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。
-
安装 Google Cloud CLI。
-
如果您使用的是外部身份提供方 (IdP)，则必须先 使用联合身份登录 gcloud CLI。
-
如需初始化 gcloud CLI，请运行以下命令：
gcloud init -
选择或创建项目所需的角色
- 选择项目：选择项目不需要特定的 IAM 角色，您可以选择已获授角色的任何项目。
-
创建项目：如需创建项目，您需要拥有 Project Creator 角色 (
roles/resourcemanager.projectCreator)，该角色包含resourcemanager.projects.create权限。了解如何授予角色。
-
创建 Google Cloud 项目：
gcloud projects create PROJECT_ID
将
PROJECT_ID替换为您要创建的 Google Cloud 项目的名称。 -
选择您创建的 Google Cloud 项目：
gcloud config set project PROJECT_ID
将
PROJECT_ID替换为您的 Google Cloud 项目名称。
启用所需的 API（如果尚未启用）：
启用 API 所需的角色
如需启用 API，您需要拥有
serviceusage.services.enable权限。如果您创建了项目，则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则，您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。gcloud services enable container.googleapis.com
storage.googleapis.com compute.googleapis.com -
安装 Google Cloud CLI。
-
如果您使用的是外部身份提供方 (IdP)，则必须先 使用联合身份登录 gcloud CLI。
-
如需初始化 gcloud CLI，请运行以下命令：
gcloud init -
选择或创建项目所需的角色
- 选择项目：选择项目不需要特定的 IAM 角色，您可以选择已获授角色的任何项目。
-
创建项目：如需创建项目，您需要拥有 Project Creator 角色 (
roles/resourcemanager.projectCreator)，该角色包含resourcemanager.projects.create权限。了解如何授予角色。
-
创建 Google Cloud 项目：
gcloud projects create PROJECT_ID
将
PROJECT_ID替换为您要创建的 Google Cloud 项目的名称。 -
选择您创建的 Google Cloud 项目：
gcloud config set project PROJECT_ID
将
PROJECT_ID替换为您的 Google Cloud 项目名称。
启用所需的 API（如果尚未启用）：
启用 API 所需的角色
如需启用 API，您需要拥有
serviceusage.services.enable权限。如果您创建了项目，则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则，您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。gcloud services enable container.googleapis.com
storage.googleapis.com compute.googleapis.com -
向您的用户账号授予角色。对以下每个 IAM 角色运行以下命令一次：
roles/container.admin, roles/iam.serviceAccountAdmin, roles/storage.admin, roles/iam.serviceAccountUsergcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
替换以下内容：
PROJECT_ID：您的项目 ID。USER_IDENTIFIER：您的用户账号的标识符。 例如，myemail@example.com。ROLE：您向用户账号授予的 IAM 角色。
- 如果您还没有 Hugging Face 账号，请创建一个。
- 确保您拥有 Hugging Face 令牌。
- 确保您的项目具有足够的 A4X（GB200 超级芯片）、A4（B200 GPU）或 A3 Ultra（H200 GPU）配额。如需了解详情，请参阅规划 GPU 配额和 GPU 配额。
- 确保您已为 GPU 机器类型预留有效容量。如需了解详情，请参阅通过客户支持团队预留容量。
- 对于 A4X (GB200) 设置，请确保您已安装 Helm。
准备环境
在本教程中，您将使用 Cloud Shell。
前往 Google Cloud 控制台。
在 Google Cloud 控制台窗口顶部，点击激活 Cloud Shell 按钮。
设置环境变量：
A4 和 A3 Ultra
Autopilot
标准
A4X
export PROJECT_ID=$(gcloud config get project) export PROJECT_NUMBER=$(gcloud projects describe ${PROJECT_ID} --format="value(projectNumber)") export CONTROL_PLANE_REGION=YOUR_REGION export NODE_ZONE=YOUR_ZONE export CLUSTER_NAME=YOUR_CLUSTER_NAME export KSA_NAME=YOUR_KSA_NAME export GS_BUCKET=YOUR_GCS_BUCKET-${PROJECT_ID} export NAMESPACE=default export GPU_TYPE=YOUR_GPU_TYPE export MACHINE_TYPE=YOUR_MACINE_TYPE export RESERVATION=YOUR_RESERVATION_NAME export HF_TOKEN=YOUR_HF_TOKEN # A4X (GB200 Superchips) only variables export NUM_GPU_NODES=4 export VERL_IMAGE=verlai/verl:vllm023.aarch64.dev1 export VERL_REF=ddbcdb7替换以下值：
YOUR_REGION：GKE 集群控制平面的 Compute Engine 区域。YOUR_ZONE：预留节点的可用区。如需了解详情，请参阅 GPU 可用性。YOUR_CLUSTER_NAME：GKE 集群的名称。此名称不得超过 40 个字符，且必须由小写字母数字字符和连字符组成。YOUR_KSA_NAME：您的 Kubernetes 服务账号的名称。YOUR_GCS_BUCKET：Cloud Storage 存储桶的基本名称。您无需指定gs://前缀。YOUR_GPU_TYPE：您在 Compute Engine 容量预留中预留的加速器。必须是下列值之一：nvidia-gb200：A4X（GB200 超级芯片）nvidia-b200：A4（B200 GPU）nvidia-h200-141gb：A3 Ultra（H200 GPU）
YOUR_MACHINE_TYPE：要使用的机器类型：- 对于 A4X（GB200 超级芯片），请使用
a4x-highgpu-4g。 - 对于 A4（B200 GPU），请使用
a4-highgpu-8g或更高版本。 - 对于 A3 Ultra（H200 GPU），请使用
a3-ultragpu-8g或更高版本。
- 对于 A4X（GB200 超级芯片），请使用
YOUR_CPU_MACHINE_TYPE：CPU 默认节点池的 Compute Engine 机器类型。使用集群可用区中支持的、至少具有 16 个 vCPU 的highmem机器类型，例如n4-highmem-16或n2d-highmem-16。YOUR_RESERVATION_NAME：容量预留的名称。YOUR_HF_TOKEN：您的 Hugging Face 令牌。- 在 GKE Standard 集群中设置环境时，请使用以下变量：
YOUR_GVNIC_NAME（仅限 A4 或 A3 Ultra）：gVNIC 网络名称的前缀。您可以使用所需的任何前缀。YOUR_RDMA_NAME（仅限 A4 或 A3 Ultra）：远程直接内存访问 (RDMA) 网络的前缀。您可以使用所需的任何前缀。
克隆示例代码库：
在本教程的其余部分中，请在您克隆的示例代码库中查找需要检查或应用的具体文件。
前往所选 GKE 模式的工作目录：
A4 和 A3 Ultra
Autopilot
标准
A4X
无需更改目录。您可以直接进入下一部分。
设置基础架构
在本部分中，您将创建标准 VPC 网络和 GKE 集群。
创建 RDMA 网络和子网（仅限 GKE Standard - A4 和 A3 Ultra）
A4 和 A3 Ultra
Autopilot
本部分仅适用于 GKE Standard A4 和 A3 Ultra GPU。
如果您使用 Autopilot，请跳过此部分，直接前往创建 GKE 集群。GKE 会自动预配必要的 VPC 网络和子网，并使用 GKE 托管的 DRANET 将这些资源分配给 Pod。您无需手动创建任何网络基础设施。
标准
为 gVNIC 接口创建 VPC 网络：
为 RDMA 创建 VPC 网络：
为 8 个 GPU 创建 8 个 RDMA 子网：
A4X
本部分仅适用于 GKE Standard A4 和 A3 Ultra GPU。
如果您使用 A4X (GB200) GPU，请跳过本部分，直接前往创建 GKE 集群。对于 A4X (GB200) GPU 或 Autopilot，当节点池使用 auto 加速器网络配置方案时，GKE 会自动创建网络。Cluster Toolkit 蓝图使用 enable_dranet:true 标志启用此配置文件。
创建 GKE 集群
创建与 GPU 架构对应的 GKE 集群：
A4 和 A3 Ultra
选择您要使用的 GKE 集群模式：
Autopilot
创建 Autopilot 集群：
获取集群的凭据：
标准
创建 Standard 集群：
获取集群的凭据：
创建 GPU 节点池。这些节点池使用您的预留来确保可用性。您从两个节点开始：
安装用于标准集群的 NCCL RDMA 安装程序：
A4X
使用 Cluster Toolkit
gke-a4x蓝图创建 GKE 集群和节点池。此蓝图可预配 GKE 集群，包括绑定到预留的 A4X 节点池、加速器网络（一个额外的 gVNIC 加四个 RDMA 轨道）以及将 CX-7 NIC 作为 DRA 设备公开的受管 DRANET 驱动程序。使用蓝图的部署说明配置参数（例如
PROJECT_ID、CONTROL_PLANE_REGION、NODE_ZONE、预留和NUM_GPU_NODES），然后部署集群。或者，您也可以按照 A4X GKE 集群创建指南手动创建集群。- 获取集群的凭据：
gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${CONTROL_PLANE_REGION}验证集群是否通过 DRA 公开 RDMA NIC：
kubectl get deviceclasses输出必须包含
mrdma.google.com。验证 A4X 节点是否存在：
kubectl get nodes -l cloud.google.com/gke-accelerator=nvidia-gb200安装 gIB NCCL 插件（A4X 变体）：
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-rdma/nccl-rdma-installer-a4x.yaml安装 NVIDIA DRA 驱动程序，该驱动程序可为多节点 NVLink 提供
ComputeDomain(IMEX) 通道：helm repo add nvidia https://helm.ngc.nvidia.com/nvidia && helm repo update kubectl create namespace nvidia-dra-driver-gpu kubectl apply -f - <<EOF apiVersion: v1 kind: ResourceQuota metadata: name: nvidia-dra-driver-gpu-quota namespace: nvidia-dra-driver-gpu spec: hard: pods: "$((2 * NUM_GPU_NODES + 1))" scopeSelector: matchExpressions: - operator: In scopeName: PriorityClass values: - system-node-critical - system-cluster-critical EOF helm upgrade --install nvidia-dra-driver-gpu nvidia/nvidia-dra-driver-gpu \ --version=25.3.1 --namespace nvidia-dra-driver-gpu \ --set nvidiaDriverRoot=/home/kubernetes/bin/nvidia \ --set resources.gpus.enabled=false \ --set kubeletPlugin.tolerations[0].key=nvidia.com/gpu \ --set kubeletPlugin.tolerations[0].operator=Exists \ --set kubeletPlugin.tolerations[1].key=kubernetes.io/arch \ --set kubeletPlugin.tolerations[1].operator=Exists安装 KubeRay operator，范围限定为工作负载命名空间：
kubectl create namespace ${NAMESPACE} helm repo add kuberay https://ray-project.github.io/kuberay-helm/ && helm repo update helm upgrade --install kuberay-operator kuberay/kuberay-operator \ --namespace ${NAMESPACE} \ --set singleNamespaceInstall=true --set "watchNamespace={${NAMESPACE}}"
配置网络映射（仅限 GKE Standard - A4 和 A3 Ultra）
A4 和 A3 Ultra
Autopilot
对于 GKE Standard GPU 设置（仅限 A4 和 A3 Ultra），此步骤是必需的。如果您使用 A4X (GB200)，GKE 会自动管理网络接口，因此请跳过此部分。
标准
检查
network-mapping.yaml清单：应用清单：
A4X
对于 GKE Standard GPU 设置（仅限 A4 和 A3 Ultra），此步骤是必需的。 如果您使用 A4X (GB200)，GKE 会自动管理网络接口，因此请跳过此部分。
准备数据和存储空间
配置 Cloud Storage 和 Kubernetes 资源：
创建 Cloud Storage 存储桶，请运行以下命令：
创建一个 Kubernetes 服务账号 (KSA) 并将其绑定到存储桶：
为 Hugging Face 创建 Secret：
检查
gcsfuse-storage.yaml清单：应用清单：
设置 DRANET
配置 DRANET：
A4 和 A3 Ultra
Autopilot
创建 ComputeClass 清单：
应用
computeclass-dranet.yaml清单（在上一步中创建）和resourceclaim-dranet.yaml清单（包含在示例代码库中）：
标准
无需设置 DRANET。您可以直接进入下一部分。
A4X
DRANET 由 Cluster Toolkit 设置。您可以直接进入下一部分。
准备模型和数据
使用模型权重和数据集填充 Cloud Storage 存储桶。 您可以在本地或在 GKE Pod 上运行以下命令，以填充存储桶：
A4 和 A3 Ultra
Autopilot
检查
data-prep-job.yaml清单，该清单用于配置数据准备作业：启动作业：
检查 Pod 状态：
当
data-prep-jobPod 达到Running状态后，按 Control+C 停止观看。监控作业：
在 Pod 达到
Running状态之前，kubectl logs命令只会返回极少的输出或不返回任何输出。
标准
检查
data-prep-job.yaml清单，该清单用于配置数据准备作业：启动作业：
监控作业：
A4X
克隆 verl 代码库，准备虚拟环境，并处理 GSM8K 数据集：
git clone https://github.com/volcengine/verl.git git -C verl checkout ${VERL_REF} VENV_DIR=.venv python3 -m venv $VENV_DIR source $VENV_DIR/bin/activate pip install verl python verl/examples/data_preprocess/gsm8k.py --local_save_dir ~/data/gsm8k使用 Hugging Face CLI 下载 Qwen2.5-32B-Instruct 模型（此下载需要大约 66 GB 的磁盘可用空间）：
hf download Qwen/Qwen2.5-32B-Instruct --local-dir Qwen2.5-32B-Instruct将模型、数据和 verl 代码上传到 Cloud Storage 存储桶：
gcloud storage cp --recursive verl gs://${GS_BUCKET}/verl gcloud storage cp --recursive Qwen2.5-32B-Instruct gs://${GS_BUCKET}/Qwen2.5-32B-Instruct gcloud storage cp --recursive ~/data/gsm8k/* gs://${GS_BUCKET}/gsm8k/
部署 RayCluster 自定义资源
部署 RayCluster 自定义资源，该资源由一个系统头 Pod 和多个 GPU 支持的工作器 Pod 组成。
A4 和 A3 Ultra
选择您用于创建集群的 GKE 集群模式：
Autopilot
检查 RayCluster 工作负载：
应用 RayCluster：
标准
检查 RayCluster 工作负载：
应用 RayCluster：
A4X
创建 RDMA
ResourceClaimTemplate和 NVIDIAComputeDomain。 每个 GPU 工作器 Pod 声明了 4 个 RDMA NIC（其节点的所有轨道）和一个 IMEX 通道。将以下清单保存到compute-domain-a4x.yaml：apiVersion: resource.k8s.io/v1 kind: ResourceClaimTemplate metadata: name: verl-rdma-nic namespace: ${NAMESPACE} spec: spec: devices: requests: - name: nic exactly: deviceClassName: mrdma.google.com allocationMode: ExactCount count: 1 --- apiVersion: resource.nvidia.com/v1beta1 kind: ComputeDomain metadata: name: verl-compute-domain namespace: ${NAMESPACE} spec: numNodes: ${NUM_GPU_NODES} channel: resourceClaimTemplate: name: verl-compute-domain-channel应用清单：
kubectl apply -f compute-domain-a4x.yaml部署 RayCluster。Ray 头 Pod 在 A4X 节点上运行，无需请求 GPU（因为该映像仅支持
arm64）。将以下配置保存到ray-cluster-a4x.yaml：apiVersion: ray.io/v1 kind: RayCluster metadata: name: gb200-ray-cluster namespace: ${NAMESPACE} spec: rayVersion: '2.49.0' headGroupSpec: rayStartParams: dashboard-host: '0.0.0.0' num-cpus: "0" template: metadata: annotations: gke-gcsfuse/volumes: "true" spec: serviceAccountName: ${KSA_NAME} nodeSelector: cloud.google.com/gke-accelerator: nvidia-gb200 tolerations: - key: nvidia.com/gpu operator: Exists effect: NoSchedule - key: kubernetes.io/arch operator: Exists effect: NoSchedule containers: - name: ray-head image: ${VERL_IMAGE} lifecycle: postStart: exec: command: - /bin/bash - -c - pip3 install --quiet TransferQueue==0.1.8 ports: - containerPort: 6379 name: gcs-server - containerPort: 8265 name: dashboard - containerPort: 10001 name: client resources: limits: cpu: "12" memory: 32Gi ephemeral-storage: 20Gi requests: cpu: "12" memory: 32Gi ephemeral-storage: 20Gi volumeMounts: - mountPath: /tmp/ray name: ray-logs - name: training-bucket-vol mountPath: /data volumes: - name: ray-logs emptyDir: {} - name: training-bucket-vol persistentVolumeClaim: claimName: training-bucket-pvc workerGroupSpecs: - replicas: ${NUM_GPU_NODES} minReplicas: ${NUM_GPU_NODES} maxReplicas: ${NUM_GPU_NODES} groupName: gpu-group rayStartParams: num-cpus: "120" template: metadata: annotations: gke-gcsfuse/volumes: "true" spec: serviceAccountName: ${KSA_NAME} nodeSelector: cloud.google.com/gke-accelerator: nvidia-gb200 affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchLabels: ray.io/group: gpu-group topologyKey: kubernetes.io/hostname tolerations: - key: nvidia.com/gpu operator: Exists effect: NoSchedule - key: kubernetes.io/arch operator: Exists effect: NoSchedule containers: - name: ray-worker image: ${VERL_IMAGE} lifecycle: postStart: exec: command: - /bin/bash - -c - pip3 install --quiet TransferQueue==0.1.8 env: - name: LD_LIBRARY_PATH value: /usr/local/nvidia/lib64 resources: limits: cpu: "120" memory: 600Gi nvidia.com/gpu: "4" ephemeral-storage: 500Gi requests: cpu: "120" memory: 600Gi nvidia.com/gpu: "4" ephemeral-storage: 500Gi claims: - name: rdma-nic-0 - name: rdma-nic-1 - name: rdma-nic-2 - name: rdma-nic-3 - name: compute-domain-channel volumeMounts: - name: nvidia mountPath: /usr/local/nvidia - name: gib mountPath: /usr/local/gib - name: shared-memory mountPath: /dev/shm - name: ray-tmp-storage mountPath: /tmp - name: training-bucket-vol mountPath: /data resourceClaims: - name: rdma-nic-0 resourceClaimTemplateName: verl-rdma-nic - name: rdma-nic-1 resourceClaimTemplateName: verl-rdma-nic - name: rdma-nic-2 resourceClaimTemplateName: verl-rdma-nic - name: rdma-nic-3 resourceClaimTemplateName: verl-rdma-nic - name: compute-domain-channel resourceClaimTemplateName: verl-compute-domain-channel volumes: - name: gib hostPath: path: /home/kubernetes/bin/gib - name: nvidia hostPath: path: /home/kubernetes/bin/nvidia - name: shared-memory emptyDir: medium: Memory sizeLimit: 200Gi - name: ray-tmp-storage emptyDir: {} - name: training-bucket-vol persistentVolumeClaim: claimName: training-bucket-pvc应用 RayCluster 清单：
envsubst < ray-cluster-a4x.yaml | kubectl apply -f -等待一个头 Pod 和四个工作器 Pod 处于
Running状态：kubectl get pods -w
启动 GRPO 作业
配置并提交强化学习训练作业：
A4 和 A3 Ultra
选择您用于创建集群的 GKE 集群模式：
Autopilot
设置 Ray 客户端：
恢复 Ray Head 服务：
设置到 Ray 信息中心节点的端口转发。该进程在后台运行，因此您可以继续在同一终端会话中运行命令。
如需停止端口转发循环，请使用
kill ${PF_LOOP_PID}命令。检查
runtime-env.yaml清单：如果您使用的是 H200 GPU，请将
NCCL_CONF_FILE环境变量的值更改为/usr/local/gib/configs/nccl.a3u.conf。Ray 客户端会使用此文件。您无需将此清单应用于集群。
使用
ray job submit命令提交作业：监控训练作业日志，并查看
critic/score/mean指标是否增加，这表示模型正在学习：- Ray 仪表板：
- 在浏览器中打开
http://localhost:8265。如果您使用的是 Cloud Shell，请点击 Web 预览，选择更改端口，然后输入8265。 - 前往作业标签页。
- 点击您的任务 ID。
- 按关键字
critic过滤日志，以检查critic/score/mean。
- 在浏览器中打开
终端：由于作业是使用
--no-wait标志异步提交的，因此请在终端中运行以下命令，以流式传输作业日志：
- Ray 仪表板：
训练完成后，列出目录内容，验证模型检查点是否已保存到 Cloud Storage 存储桶：
或者，您也可以在 Google Cloud 控制台中查看检查点，方法是前往 Cloud Storage > 存储桶，选择
YOUR_GCS_BUCKET，然后打开verl/checkpoints文件夹。
标准
设置 Ray 客户端：
恢复 Ray Head 服务：
设置到 Ray 信息中心节点的端口转发。该进程在后台运行，因此您可以继续在同一终端会话中运行命令。
如需停止端口转发循环，请使用
kill ${PF_PID}命令。检查
runtime-env.yaml清单：如果您使用的是 H200 GPU，请将
NCCL_TUNER_CONFIG_PATH环境变量的值更改为/usr/local/gib/configs/tuner_config_a3u.txtpb。Ray 客户端会使用此文件。您无需将此清单应用于集群。
提交作业：
监控训练作业日志，并查找要增加的
critic/score/mean指标，该指标表示模型正在学习：- Ray 仪表板：
- 在浏览器中打开
http://localhost:8265。如果您使用的是 Cloud Shell，请点击 Web 预览，选择更改端口，然后输入8265。 - 前往作业标签页。
- 点击您的任务 ID。
- 按
critic关键字过滤日志，以检查critic/score/mean指标。
- 在浏览器中打开
控制台输出：由于作业是使用
--no-wait标志异步提交的，因此请在终端中运行以下命令，以流式传输作业日志：
- Ray 仪表板：
训练结束后，通过列出目录内容来验证模型检查点是否已保存到 Cloud Storage 存储桶：
或者，您也可以在 Google Cloud 控制台中查看检查点，方法是前往 Cloud Storage > 存储桶，选择
YOUR_GCS_BUCKET，然后打开verl/checkpoints文件夹。
A4X
获取 Ray 头 Pod 名称：
export HEAD_POD=$(kubectl get pod -n ${NAMESPACE} -l ray.io/node-type=head -o jsonpath='{.items[0].metadata.name}')直接在头 Pod 上配置 Ray 运行时环境文件：
kubectl exec ${HEAD_POD} -c ray-head -- bash -c 'mkdir -p /tmp/submit && cat > /tmp/submit/runtime-env.yaml <<EOF working_dir: "." env_vars: PYTHONPATH: "/data/verl" LD_LIBRARY_PATH: "/usr/local/nvidia/lib64:/usr/local/gib/lib64" NCCL_DEBUG: "INFO" NCCL_ENV_PLUGIN: "gcp" HF_HOME: "/data/huggingface_cache" GLOO_SOCKET_IFNAME: "eth0" EOF'通过在 Ray 头节点 Pod 上运行 GRPO 训练作业来提交该作业：
kubectl exec ${HEAD_POD} -c ray-head -- bash -c 'cd /tmp/submit && \ ray job submit --runtime-env runtime-env.yaml --no-wait -- \ python3 -m verl.trainer.main_ppo \ algorithm.adv_estimator=grpo \ data.train_files=/data/gsm8k/train.parquet \ data.val_files=/data/gsm8k/test.parquet \ data.train_batch_size=256 \ data.max_prompt_length=512 \ data.max_response_length=512 \ actor_rollout_ref.model.path=/data/Qwen2.5-32B-Instruct \ actor_rollout_ref.actor.optim.lr=1e-5 \ actor_rollout_ref.actor.ppo_mini_batch_size=64 \ actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu=8 \ actor_rollout_ref.actor.use_kl_loss=True \ actor_rollout_ref.actor.strategy=fsdp2 \ actor_rollout_ref.rollout.name=vllm \ actor_rollout_ref.rollout.tensor_model_parallel_size=4 \ actor_rollout_ref.rollout.gpu_memory_utilization=0.6 \ actor_rollout_ref.rollout.n=8 \ actor_rollout_ref.rollout.log_prob_micro_batch_size_per_gpu=16 \ actor_rollout_ref.ref.log_prob_micro_batch_size_per_gpu=16 \ algorithm.kl_ctrl.kl_coef=0.001 \ trainer.logger=console \ trainer.n_gpus_per_node=4 \ trainer.nnodes=4 \ trainer.save_freq=10 \ trainer.test_freq=10 \ trainer.total_epochs=2 \ trainer.default_local_dir=/data/verl/checkpoints'监控作业日志（使用
ray job submit返回的唯一 ID）：kubectl exec ${HEAD_POD} -c ray-head -- ray job logs <var>JOB_ID</var> --follow替换
JOB_ID。通过在包含via P2P/MNNVL的日志中查找 NCCL 行，确认跨节点 NVLink 处于活跃状态。
清理
为避免产生费用，请删除以下资源：
A4 和 A3 Ultra
Autopilot
如果端口转发循环仍在后台会话中运行，请将其终止：
删除 Ray 集群：
删除 Cloud Storage FUSE：
删除 DRANET 资源：
删除 Cloud Storage 存储桶：
删除 GKE 集群：
标准
如果端口转发循环仍在后台会话中运行，请将其终止：
删除 Ray 集群：
删除 Cloud Storage FUSE：
删除 Cloud Storage 存储桶：
删除 GKE 集群：
删除 VPC 网络和子网：
A4X
kubectl delete raycluster gb200-ray-cluster
kubectl delete computedomain verl-compute-domain
gcloud storage rm -r gs://${GS_BUCKET}
gcloud container clusters delete ${CLUSTER_NAME} --location=${CONTROL_PLANE_REGION}