ML Diagnostics を使用して vLLM ワークロードを実行してプロファイリングする

vLLM は、大規模言語モデル(LLM)の推論およびサービングを行うためのオープンソース ライブラリです。ML Diagnostics を vLLM と統合すると、サービング構成の追跡、ワークロード テレメトリーのモニタリング、 Google Cloudでの XProf プロファイルのキャプチャが可能になります。このドキュメントでは、vLLM の ML 診断ラッパー コマンドについて説明し、vLLM ワークロードをコンテナ化、実行、プロファイリングする方法について説明します。

ラッパーのコマンドライン引数

ML Diagnostics には、vLLM サービング ワークロードと推論ワークロードを起動し、テレメトリーとプロファイリングを自動的に構成する組み込みのラッパーコマンド google_cloud_mldiagnostics.commands.run_vllm が用意されています。run_vllm ラッパーを vLLM Docker コンテナのエントリポイントとして設定することも、Google Kubernetes Engine(GKE)または Compute Engine のコマンドラインから直接実行することもできます。

run_vllm コマンドを使用してワークロードを開始すると、ラッパーは次のアクションを実行します。

  • 実行を登録する: vLLM サービング ワークロード用に構成されたマネージド MLRun リソースを作成して登録します。
  • プロファイリングを構成する: プロファイラの環境変数を設定し、Cloud Storage のプロファイラの出力パスを更新して、ML 実行のディレクトリにトレースを整理します。
  • 引数を転送する: 残りのすべてのコマンドライン引数を vllm コマンドに直接渡します。

次の表に、run_vllm ラッパーが受け入れるコマンドライン引数を示します。

引数 説明
--mlrun_name 必須。ML 実行(MLRun)リソースの固有識別子。
--mlrun_gcs_path 必須。プロファイラ トレースとアーティファクトを保存する Cloud Storage バケットのパス。例: gs://my-bucket/vllm-profiles
--project 省略可。実際の Google Cloud のプロジェクト ID。
--region 省略可。MLRun メタデータを保存するリージョン。デフォルト: us-central1。
--run_group 省略可。関連する複数の実行をグループ化する識別子。
--configs 省略可。JSON オブジェクト文字列として渡すユーザー定義の構成。例: '{"user":"my-team", "running_on":"TPU"}'
--framework 省略可。ワークロードの基盤となる ML フレームワーク(pytorch または jax)。デフォルト: pytorch。
--jax_profiler_port 省略可。JAX プロファイラ サーバーのポート。デフォルト: 9999。
--phased_profiling_dir 省略可。JAX 段階的プロファイリング トレースのベース Cloud Storage ディレクトリ。ラッパーは RUN_NAME/plugins/profile/ パスを追加し、結果を PHASED_PROFILING_DIR 環境変数として vLLM プロセスにエクスポートします。この引数を使用して、段階的なプロファイリングを有効にします。

マルチホスト設定での段階的なプロファイリング

GKE LeaderWorkerSet の Ray バックエンドなどのマルチホスト設定で JAX の段階的なプロファイリングを有効にするには、--phased_profiling_dir 引数を渡し、オペレーティング システム環境の PHASED_PROFILING_DIR 環境変数を省略します。

--phased_profiling_dir 引数を渡さずに PHASED_PROFILING_DIR 環境変数を設定すると、次の理由により、 Google Cloud コンソールの XProf にフェーズド プロファイルが表示されないことがあります。

  • run_vllm ラッパーは、オペレーティング システム環境で PHASED_PROFILING_DIR 変数を検出し、実行スコープの接尾辞を追加して、パスを vllm serve コマンドに転送し、警告をログに記録します。
  • vLLM の Ray エグゼキュータは、os.environ.setdefault メソッドを使用して、リモート ワーカーにドライバ環境変数を適用します。
  • 環境に PHASED_PROFILING_DIR 変数がすでに存在するリモート ワーカーは、実行スコープのパスを採用する代わりに、既存のパスを保持します。これにより、トレースは MLRun ディレクトリの外部に書き込まれます。

vLLM ワークロードを実行してプロファイリングする

vLLM と ML 診断を使用してモデルをサービングする手順は次のとおりです。

  1. vLLM を ML Diagnostics SDK とパッケージ化し、run_vllm ラッパーをエントリポイントとして構成する Docker コンテナ イメージをビルドします。
  2. vllm serve 引数とともに MLRun 引数を渡して、GKE または Compute Engine でコンテナを実行します。
  3. サーバーが推論リクエストを処理している間に、段階的、手動、またはオンデマンドのプロファイリングを使用してパフォーマンス トレースをキャプチャし、Google Cloud コンソールで結果を表示します。

vLLM 用の Docker イメージを準備する

コンテナで run_vllm ラッパーを使用するには、ML Diagnostics SDK、xprof パッケージ、ロギングの依存関係を vLLM TPU ベースイメージにインストールする Docker イメージをビルドします。Dockerfile で、google_cloud_mldiagnostics.commands.run_vllm モジュールをコンテナ エントリポイントとして設定します。

次の Dockerfile の例では、vLLM TPU イメージを ML Diagnostics SDK とパッケージ化します。

FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
    pip install --no-cache-dir \
        google-cloud-mldiagnostics \
        xprof \
        google-cloud-logging \
        packaging \
        tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]

ML 診断で vLLM を実行する

Docker イメージをビルドしたら、GKE または Compute Engine でコンテナを実行できます。コンテナを起動するときに、プロファイラの環境変数を構成し、標準の vllm serve 引数とともに MLRun 引数を渡します。

ML 診断を有効にして vLLM コンテナを実行します。

docker run --name vllm_diagnostics -d --privileged --net=host \
  -e HF_HUB_DISABLE_XET=1 \
  -e USE_MOE_EP_KERNEL=1 \
  -e PJRT_DEVICE=TPU \
  -e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
  -e VLLM_LOGGING_LEVEL=DEBUG \
  -e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PYTHONUNBUFFERED=1 \
  -e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
  -e HF_TOKEN="HF_TOKEN" \
  -e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
  VLLM_IMAGE \
  --mlrun_name="vllm-tpu-run" \
  --run_group="vllm-benchmark" \
  --configs='{"user":"ml-team", "running_on":"TPU"}' \
  --mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
  --project="PROJECT_ID" \
  --region="us-central1" \
  -- serve Qwen/Qwen2-1.5B \
  --kv-cache-dtype=fp8 \
  --tensor-parallel-size=1 \
  --data-parallel-size=1 \
  --max-model-len=2048 \
  --max-num-batched-tokens=2048 \
  --max-num-seqs=64 \
  --no-enable-prefix-caching \
  --block-size=256 \
  --gpu-memory-utilization=0.95 \
  --port=8000 \
  --profiler-config.profiler=torch \
  --profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"

次のように置き換えます。

  • BUCKET_NAME: プロファイラ トレースとアーティファクトを保存するための Cloud Storage バケットの名前
  • HF_TOKEN: Hugging Face アクセス トークン
  • VLLM_IMAGE: vLLM Docker イメージの名前または URI
  • PROJECT_ID: 実際の Google Cloud プロジェクト ID

vLLM ワークロードをプロファイリングする

run_vllm コマンドでコンテナを起動すると、ラッパーはプロファイラ環境を構成し、すべてのプロファイラ トレースを Cloud Storage の MLRUN_GCS_PATH/RUN_NAME/plugins/profile/ ディレクトリに保存します。

  • MLRUN_GCS_PATH: --mlrun_gcs_path 引数で指定する Cloud Storage バケットのパス。
  • RUN_NAME: MLRun リソースの固有識別子

vLLM コンテナが推論リクエストを処理している間に、フェーズ別、手動、またはオンデマンドのプロファイリングを使用してプロファイラ トレースをキャプチャできます。

段階的なプロファイリング

フェーズ別プロファイリングでは、PREFILL_ONLY、PREFILL_HEAVY、BALANCED、DECODE_HEAVY などのさまざまな推論ワークロード フェーズにわたってトレースが自動的にキャプチャされます。ベースの Cloud Storage パスを指定すると、run_vllm ラッパーは RUN_NAME/plugins/profile/ サブディレクトリを追加し、結果のパスを PHASED_PROFILING_DIR 環境変数にエクスポートします。

コンテナの起動時に段階的プロファイリングを有効にするには、次の設定を構成します。

  • ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True 環境変数を設定する。
  • PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR 環境変数を、プロファイリングするステップ数に設定します。
  • --phased_profiling_dir ラッパー引数を使用して、ベースの Cloud Storage パスを渡します(または、単一ホストの設定で PHASED_PROFILING_DIR 環境変数を設定します)。

手動(API トリガー)プロファイリング

手動プロファイリングでは、推論トラフィックの特定のウィンドウに対して、プロファイリング セッションをプログラムで開始および停止できます。コンテナを起動すると、run_vllm ラッパーは VLLM_TORCH_PROFILER_DIR 環境変数と --profiler-config.torch_profiler_dir 引数を更新して、ML 実行のプロファイル ディレクトリにトレースを保存します。

手動プロファイルをキャプチャするには:

  1. コンテナを起動するときに、VLLM_TORCH_PROFILER_DIR 環境変数を設定し、--profiler-config.profiler=torch 引数と --profiler-config.torch_profiler_dir 引数を vllm serve コマンドに渡します。
  2. サーバーに負荷を生成しながら、vLLM の /start_profile API エンドポイントと /stop_profile API エンドポイントに HTTP リクエストを送信して、プロファイリング セッションを開始および停止します。

Google Cloud コンソールでのオンデマンド プロファイリング

オンデマンド プロファイリングを使用すると、ワークロードを再起動したり API リクエストを送信したりすることなく、 Google Cloud コンソールからインタラクティブにライブ プロファイルのキャプチャをトリガーできます。コンテナを起動すると、run_vllm ラッパーは USE_JAX_PROFILER_SERVER=True 環境変数と JAX_PROFILER_SERVER_PORT 環境変数を設定して、JAX プロファイラ サーバーを自動的に起動します。

ワークロードがリクエストを処理している間にオンデマンド プロファイルをキャプチャするには、次の手順を完了します。

  1. Google Cloud コンソールで、[診断を実行] タブに移動し、MLRun リソースを選択します。
    • Cluster Director: [Cluster Director] ページに移動し、[診断を実行] タブをクリックします。
    • GKE: [Kubernetes] ページに移動し、ナビゲーション メニューで [AI / ML] をクリックして、[診断を実行] タブをクリックします。
  2. [プロファイル] タブを選択します。
  3. キャプチャ セッションを開始します。