使用 ML Diagnostics 运行和分析 vLLM 工作负载

vLLM 是一个开源库,用于大语言模型 (LLM) 推理和应用。将机器学习诊断与 vLLM 集成后,您可以在 Google Cloud上跟踪服务配置、监控工作负载遥测数据并捕获 XProf 性能分析文件。本文档介绍了适用于 vLLM 的机器学习诊断封装容器命令,并介绍了如何对 vLLM 工作负载进行容器化、运行和性能分析。

封装容器命令行参数

ML Diagnostics 提供了一个内置封装容器命令 google_cloud_mldiagnostics.commands.run_vllm,用于启动 vLLM 服务和推理工作负载,并自动配置遥测和性能分析。您可以将 run_vllm 封装容器设置为 vLLM Docker 容器中的入口点,也可以直接在 Google Kubernetes Engine (GKE) 或 Compute Engine 上通过命令行运行它。

使用 run_vllm 命令启动工作负载时,封装容器会执行以下操作:

  • 注册运行:创建并注册为 vLLM 服务工作负载配置的代管式 MLRun 资源。
  • 配置性能分析:设置性能分析器环境变量,并更新 Cloud Storage 中的性能分析器输出路径,以便在目录中整理机器学习运行的跟踪记录。
  • 转发参数:将所有剩余的命令行参数直接传递给 vllm 命令。

下表介绍了 run_vllm 封装容器接受的命令行参数:

参数值 说明
--mlrun_name 必需。机器学习运行 (MLRun) 资源的唯一标识符。
--mlrun_gcs_path 必需。存储性能分析器跟踪记录和工件的 Cloud Storage 存储桶路径。例如,gs://my-bucket/vllm-profiles。
--project 可选。您的 Google Cloud 项目 ID。
--region 可选。存储 MLRun 元数据的区域。 默认值:us-central1。
--run_group 可选。用于对多个相关运行进行分组的标识符。
--configs 可选。您以 JSON 对象字符串形式传递的用户定义配置。例如,'{"user":"my-team", "running_on":"TPU"}'。
--framework 可选。工作负载的底层机器学习框架(pytorch 或 jax)。默认值:pytorch。
--jax_profiler_port 可选。JAX 性能分析器服务器端口。默认值:9999。
--phased_profiling_dir 可选。用于存储 JAX 分阶段性能分析跟踪记录的基础 Cloud Storage 目录。封装容器会附加 RUN_NAME/plugins/profile/ 路径,并将结果作为 PHASED_PROFILING_DIR 环境变量导出到 vLLM 进程。使用此参数可启用分阶段性能分析。

多主机设置中的分阶段性能分析

如需在多主机设置(例如 GKE LeaderWorkerSet 上的 Ray 后端)中启用 JAX 分阶段性能分析,请传递 --phased_profiling_dir 参数,并在操作系统环境中省略 PHASED_PROFILING_DIR 环境变量。

如果您设置了 PHASED_PROFILING_DIR 环境变量,但未传递 --phased_profiling_dir 参数,则分阶段配置文件可能不会显示在 Google Cloud 控制台的 XProf 中,原因如下:

  • run_vllm 封装容器会检测操作系统环境中的 PHASED_PROFILING_DIR 变量,附加运行范围后缀,将路径转发到 vllm serve 命令,并记录警告。
  • vLLM 的 Ray 执行器使用 os.environ.setdefault 方法在远程工作器上应用驱动程序环境变量。
  • 如果远程工作人士的环境中已有 PHASED_PROFILING_DIR 变量,则会保留其现有路径,而不是采用运行范围路径,这会将跟踪记录写入 MLRun 目录之外。

运行和分析 vLLM 工作负载

如需使用 vLLM 和 ML Diagnostics 提供模型,请完成以下步骤:

  1. 构建一个 Docker 容器映像,该映像将 vLLM 与 ML Diagnostics SDK 打包在一起,并将 run_vllm 封装容器配置为入口点。
  2. 通过将 MLRun 参数与 vllm serve 参数一起传递,在 GKE 或 Compute Engine 上运行容器。
  3. 在服务器处理推理请求时,使用分阶段、手动或按需性能分析来捕获性能跟踪记录,并在Google Cloud 控制台中查看结果。

为 vLLM 准备 Docker 映像

如需在容器中使用 run_vllm 封装容器,请构建一个 Docker 映像,该映像会在 vLLM TPU 基础映像的基础上安装 ML Diagnostics SDK、xprof 软件包和日志记录依赖项。在 Dockerfile 中,将 google_cloud_mldiagnostics.commands.run_vllm 模块设置为容器入口点。

以下 Dockerfile 示例使用 ML Diagnostics SDK 打包 vLLM TPU 映像:

FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
    pip install --no-cache-dir \
        google-cloud-mldiagnostics \
        xprof \
        google-cloud-logging \
        packaging \
        tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]

使用机器学习诊断运行 vLLM

构建 Docker 映像后,您可以在 GKE 或 Compute Engine 上运行容器。启动容器时,配置 Profiler 环境变量,并将 MLRun 参数与标准 vllm serve 参数一起传递。

运行启用了机器学习诊断功能的 vLLM 容器:

docker run --name vllm_diagnostics -d --privileged --net=host \
  -e HF_HUB_DISABLE_XET=1 \
  -e USE_MOE_EP_KERNEL=1 \
  -e PJRT_DEVICE=TPU \
  -e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
  -e VLLM_LOGGING_LEVEL=DEBUG \
  -e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PYTHONUNBUFFERED=1 \
  -e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
  -e HF_TOKEN="HF_TOKEN" \
  -e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
  VLLM_IMAGE \
  --mlrun_name="vllm-tpu-run" \
  --run_group="vllm-benchmark" \
  --configs='{"user":"ml-team", "running_on":"TPU"}' \
  --mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
  --project="PROJECT_ID" \
  --region="us-central1" \
  -- serve Qwen/Qwen2-1.5B \
  --kv-cache-dtype=fp8 \
  --tensor-parallel-size=1 \
  --data-parallel-size=1 \
  --max-model-len=2048 \
  --max-num-batched-tokens=2048 \
  --max-num-seqs=64 \
  --no-enable-prefix-caching \
  --block-size=256 \
  --gpu-memory-utilization=0.95 \
  --port=8000 \
  --profiler-config.profiler=torch \
  --profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"

替换以下内容:

  • BUCKET_NAME:用于存储性能分析器跟踪记录和工件的 Cloud Storage 存储桶的名称
  • HF_TOKEN:您的 Hugging Face 访问令牌
  • VLLM_IMAGE:vLLM Docker 映像的名称或 URI
  • PROJECT_ID:您的 Google Cloud 项目 ID

分析 vLLM 工作负载

使用 run_vllm 命令启动容器时,封装容器会配置性能分析器环境,并将所有性能分析器跟踪记录保存在 Cloud Storage 的 MLRUN_GCS_PATH/RUN_NAME/plugins/profile/ 目录下:

  • MLRUN_GCS_PATH:您使用 --mlrun_gcs_path 参数指定的 Cloud Storage 存储桶路径
  • RUN_NAME:MLRun 资源的唯一标识符

当 vLLM 容器处理推理请求时,您可以使用分阶段、手动或按需性能分析来捕获性能分析器跟踪记录。

分阶段性能分析

分阶段性能分析会自动捕获不同推理工作负载阶段(例如 PREFILL_ONLY、PREFILL_HEAVY、BALANCED 和 DECODE_HEAVY)的跟踪记录。当您提供基本 Cloud Storage 路径时,run_vllm 封装容器会附加 RUN_NAME/plugins/profile/ 子目录,并将生成的路径导出到 PHASED_PROFILING_DIR 环境变量。

如需在启动容器时启用分阶段性能分析,请配置以下设置:

  • 设置 ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True 环境变量。
  • 将 PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR 环境变量设置为要分析的步数。
  • 使用 --phased_profiling_dir 封装容器参数传递基本 Cloud Storage 路径(或在单主机设置中设置 PHASED_PROFILING_DIR 环境变量)。

手动(API 触发)性能分析

通过手动性能分析,您可以通过编程方式针对特定推理流量窗口启动和停止性能分析会话。启动容器时,run_vllm 封装容器会更新 VLLM_TORCH_PROFILER_DIR 环境变量和 --profiler-config.torch_profiler_dir 参数,以将跟踪记录保存在机器学习运行作业的配置文件目录中。

如需手动捕获性能剖析文件,请执行以下操作:

  1. 启动容器时,请设置 VLLM_TORCH_PROFILER_DIR 环境变量,并将 --profiler-config.profiler=torch 和 --profiler-config.torch_profiler_dir 参数传递给 vllm serve 命令。
  2. 在对服务器生成负载时,向 vLLM 的 /start_profile 和 /stop_profile API 端点发送 HTTP 请求,以启动和停止性能分析会话。

在 Google Cloud 控制台中进行按需性能分析

借助按需性能分析,您可以通过 Google Cloud 控制台以交互方式触发实时性能分析捕获,而无需重启工作负载或发送 API 请求。启动容器时,run_vllm 封装容器会通过设置 USE_JAX_PROFILER_SERVER=True 和 JAX_PROFILER_SERVER_PORT 环境变量自动启动 JAX 性能分析器服务器。

如需在工作负载处理请求时捕获按需性能剖析文件,请完成以下步骤:

  1. 在 Google Cloud 控制台中,前往运行诊断标签页,然后选择您的 MLRun 资源:
    • Cluster Director:前往 Cluster Director 页面,然后点击运行诊断标签页。
    • GKE:前往 Kubernetes 页面,点击导航菜单中的 AI/ML,然后点击运行诊断标签页。
  2. 选择配置文件标签页。
  3. 启动捕获会话。