使用機器學習診斷功能執行及剖析 vLLM 工作負載

vLLM 是開放原始碼程式庫,用於大型語言模型 (LLM) 推論和提供。將機器學習診斷與 vLLM 整合,即可追蹤服務設定、監控工作負載遙測資料,以及擷取 Google Cloud上的 XProf 設定檔。本文說明 vLLM 的機器學習診斷包裝函式指令,並介紹如何將 vLLM 工作負載容器化、執行及剖析。

包裝函式指令列引數

ML Diagnostics 提供內建的包裝函式指令 google_cloud_mldiagnostics.commands.run_vllm,可啟動 vLLM 服務和推論工作負載,並自動設定遙測和剖析功能。您可以將 run_vllm 包裝函式設為 vLLM Docker 容器中的進入點,或直接在 Google Kubernetes Engine (GKE) 或 Compute Engine 的指令列執行。

使用 run_vllm 指令啟動工作負載時,包裝函式會執行下列動作:

  • 註冊執行作業:建立並註冊為 vLLM 服務工作負載設定的代管 MLRun 資源。
  • 設定分析:設定分析器環境變數,並更新 Cloud Storage 中的分析器輸出路徑,以便在目錄中整理機器學習執行的追蹤記錄。
  • 轉送引數:將所有剩餘的指令列引數直接傳遞至 vllm 指令。

下表說明 run_vllm 包裝函式接受的指令列引數:

引數 說明
--mlrun_name 這是必要旗標,機器學習執行作業 (MLRun) 資源的專屬 ID。
--mlrun_gcs_path 這是必要旗標,儲存分析器追蹤記錄和構件的 Cloud Storage bucket 路徑。例如 gs://my-bucket/vllm-profiles。
--project 選用。您的 Google Cloud 專案 ID。
--region 選用。儲存 MLRun 中繼資料的區域。預設值:us-central1。
--run_group 選用。將多個相關執行作業分組的 ID。
--configs 選用。以 JSON 物件字串形式傳遞的使用者定義設定。例如 '{"user":"my-team", "running_on":"TPU"}'。
--framework 選用。工作負載的基礎機器學習架構 (pytorch 或 jax)。預設值:pytorch。
--jax_profiler_port 選用。JAX 分析器伺服器通訊埠。預設值:9999。
--phased_profiling_dir 選用。JAX 分階段剖析追蹤記錄的基本 Cloud Storage 目錄。包裝函式會附加 RUN_NAME/plugins/profile/ 路徑,並將結果匯出為 PHASED_PROFILING_DIR 環境變數,傳送至 vLLM 程序。使用這個引數可啟用分階段剖析。

在多主機設定中分階段剖析

如要在多主機設定 (例如 GKE LeaderWorkerSet 上的 Ray 後端) 中啟用 JAX 分階段剖析,請傳遞 --phased_profiling_dir 引數,並省略作業系統環境中的 PHASED_PROFILING_DIR 環境變數。

如果您設定 PHASED_PROFILING_DIR 環境變數,但未傳遞 --phased_profiling_dir 引數,分階段設定檔可能不會顯示在 Google Cloud 控制台的 XProf 中,原因如下:

  • run_vllm 包裝函式會偵測作業系統環境中的 PHASED_PROFILING_DIR 變數、附加執行範圍後置字串、將路徑轉送至 vllm serve 指令,並記錄警告。
  • vLLM 的 Ray 執行器會使用 os.environ.setdefault 方法,在遠端工作站上套用驅動程式環境變數。
  • 如果遠距工作者環境中已有 PHASED_PROFILING_DIR 變數,則會保留現有路徑,而非採用執行範圍路徑,這會將追蹤記錄寫入 MLRun 目錄以外的位置。

執行及剖析 vLLM 工作負載

如要使用 vLLM 和 ML Diagnostics 提供模型,請完成下列步驟:

  1. 建構 Docker 容器映像檔,將 vLLM 與 ML Diagnostics SDK 封裝在一起,並將 run_vllm 包裝函式設為進入點。
  2. 將 MLRun 引數與 vllm serve 引數一併傳遞,在 GKE 或 Compute Engine 上執行容器。
  3. 在伺服器處理推論要求時,使用分階段、手動或隨選剖析功能擷取效能追蹤記錄,並在Google Cloud 控制台中查看結果。

準備 vLLM 的 Docker 映像檔

如要在容器中使用 run_vllm 包裝函式,請建構 Docker 映像檔,在 vLLM TPU 基本映像檔上安裝 ML Diagnostics SDK、xprof 套件和記錄依附元件。在 Dockerfile 中,將 google_cloud_mldiagnostics.commands.run_vllm 模組設為容器進入點。

下列 Dockerfile 範例會將 vLLM TPU 映像檔與 ML Diagnostics SDK 封裝:

FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
    pip install --no-cache-dir \
        google-cloud-mldiagnostics \
        xprof \
        google-cloud-logging \
        packaging \
        tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]

使用機器學習診斷執行 vLLM

建構 Docker 映像檔後,您可以在 GKE 或 Compute Engine 上執行容器。啟動容器時,請設定分析器環境變數,並將 MLRun 引數與標準 vllm serve 引數一併傳遞。

執行 vLLM 容器,並啟用機器學習診斷功能:

docker run --name vllm_diagnostics -d --privileged --net=host \
  -e HF_HUB_DISABLE_XET=1 \
  -e USE_MOE_EP_KERNEL=1 \
  -e PJRT_DEVICE=TPU \
  -e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
  -e VLLM_LOGGING_LEVEL=DEBUG \
  -e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PYTHONUNBUFFERED=1 \
  -e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
  -e HF_TOKEN="HF_TOKEN" \
  -e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
  VLLM_IMAGE \
  --mlrun_name="vllm-tpu-run" \
  --run_group="vllm-benchmark" \
  --configs='{"user":"ml-team", "running_on":"TPU"}' \
  --mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
  --project="PROJECT_ID" \
  --region="us-central1" \
  -- serve Qwen/Qwen2-1.5B \
  --kv-cache-dtype=fp8 \
  --tensor-parallel-size=1 \
  --data-parallel-size=1 \
  --max-model-len=2048 \
  --max-num-batched-tokens=2048 \
  --max-num-seqs=64 \
  --no-enable-prefix-caching \
  --block-size=256 \
  --gpu-memory-utilization=0.95 \
  --port=8000 \
  --profiler-config.profiler=torch \
  --profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"

更改下列內容:

  • BUCKET_NAME:用於儲存分析器追蹤記錄和構件的 Cloud Storage bucket 名稱
  • HF_TOKEN:您的 Hugging Face 存取權杖
  • VLLM_IMAGE:vLLM Docker 映像檔的名稱或 URI
  • PROJECT_ID:您的 Google Cloud 專案 ID

剖析 vLLM 工作負載

使用 run_vllm 指令啟動容器時,包裝函式會設定分析器環境,並將所有分析器追蹤記錄儲存在 Cloud Storage 的 MLRUN_GCS_PATH/RUN_NAME/plugins/profile/ 目錄下:

  • MLRUN_GCS_PATH:您使用 --mlrun_gcs_path 引數指定的 Cloud Storage bucket 路徑
  • RUN_NAME:MLRun 資源的專屬 ID

vLLM 容器處理推論要求時,您可以透過分階段、手動或隨選分析,擷取分析器追蹤記錄。

分階段剖析

分階段分析會自動擷取不同推論工作負載階段的追蹤記錄,例如 PREFILL_ONLY、PREFILL_HEAVY、BALANCED 和 DECODE_HEAVY。提供基本 Cloud Storage 路徑時,run_vllm 包裝函式會附加 RUN_NAME/plugins/profile/ 子目錄,並將產生的路徑匯出至 PHASED_PROFILING_DIR 環境變數。

如要在啟動容器時啟用分階段剖析,請進行下列設定:

  • 設定 ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True 環境變數。
  • 將 PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR 環境變數設為要剖析的步驟數。
  • 使用 --phased_profiling_dir 包裝函式引數傳遞基本 Cloud Storage 路徑 (或在單一主機設定中設定 PHASED_PROFILING_DIR 環境變數)。

手動 (API 觸發) 分析

手動剖析可讓您透過程式輔助方式,針對特定推論流量期間啟動及停止剖析工作階段。啟動容器時,run_vllm 包裝函式會更新 VLLM_TORCH_PROFILER_DIR 環境變數和 --profiler-config.torch_profiler_dir 引數,將追蹤記錄儲存在機器學習執行的設定檔目錄中。

如要擷取手動設定檔,請按照下列步驟操作:

  1. 啟動容器時,請設定 VLLM_TORCH_PROFILER_DIR 環境變數,並將 --profiler-config.profiler=torch 和 --profiler-config.torch_profiler_dir 引數傳遞至 vllm serve 指令。
  2. 對伺服器產生負載時,請將 HTTP 要求傳送至 vLLM 的 /start_profile 和 /stop_profile API 端點,啟動及停止剖析工作階段。

在 Google Cloud 控制台隨選剖析

隨選剖析可讓您透過 Google Cloud 控制台,以互動方式觸發即時設定檔擷取作業,不必重新啟動工作負載或傳送 API 要求。啟動容器時,run_vllm 包裝函式會設定 USE_JAX_PROFILER_SERVER=True 和 JAX_PROFILER_SERVER_PORT 環境變數,自動啟動 JAX 分析器伺服器。

如要在工作負載處理要求時擷取隨選設定檔,請完成下列步驟:

  1. 在Google Cloud 控制台中,前往「Run Diagnostics」(執行診斷) 分頁,然後選取MLRun資源:
    • Cluster Director:前往「Cluster Director」頁面,然後按一下「Run Diagnostics」(執行診斷) 分頁標籤。
    • GKE:前往「Kubernetes」頁面,點選導覽選單中的「AI/ML」,然後點選「Run Diagnostics」(執行診斷) 分頁標籤。
  2. 選取「設定檔」分頁標籤。
  3. 啟動擷取工作階段。