ML Diagnostics を使用して vLLM ワークロードを実行してプロファイリングする
vLLM は、大規模言語モデル(LLM)の推論およびサービングを行うためのオープンソース ライブラリです。ML Diagnostics を vLLM と統合すると、サービング構成の追跡、ワークロード テレメトリーのモニタリング、 Google Cloudでの XProf プロファイルのキャプチャが可能になります。このドキュメントでは、vLLM の ML 診断ラッパー コマンドについて説明し、vLLM ワークロードをコンテナ化、実行、プロファイリングする方法について説明します。
ラッパーのコマンドライン引数
ML Diagnostics には、vLLM サービング ワークロードと推論ワークロードを起動し、テレメトリーとプロファイリングを自動的に構成する組み込みのラッパーコマンド google_cloud_mldiagnostics.commands.run_vllm が用意されています。run_vllm ラッパーを vLLM Docker コンテナのエントリポイントとして設定することも、Google Kubernetes Engine(GKE)または Compute Engine のコマンドラインから直接実行することもできます。
run_vllm コマンドを使用してワークロードを開始すると、ラッパーは次のアクションを実行します。
- 実行を登録する: vLLM サービング ワークロード用に構成されたマネージド
MLRunリソースを作成して登録します。 - プロファイリングを構成する: プロファイラの環境変数を設定し、Cloud Storage のプロファイラの出力パスを更新して、ML 実行のディレクトリにトレースを整理します。
- 引数を転送する: 残りのすべてのコマンドライン引数を
vllmコマンドに直接渡します。
次の表に、run_vllm ラッパーが受け入れるコマンドライン引数を示します。
| 引数 | 説明 |
|---|---|
--mlrun_name |
必須。ML 実行(MLRun)リソースの固有識別子。 |
--mlrun_gcs_path |
必須。プロファイラ トレースとアーティファクトを保存する Cloud Storage バケットのパス。例: gs://my-bucket/vllm-profiles |
--project |
省略可。実際の Google Cloud のプロジェクト ID。 |
--region |
省略可。MLRun メタデータを保存するリージョン。デフォルト: us-central1。 |
--run_group |
省略可。関連する複数の実行をグループ化する識別子。 |
--configs |
省略可。JSON オブジェクト文字列として渡すユーザー定義の構成。例: '{"user":"my-team", "running_on":"TPU"}' |
--framework |
省略可。ワークロードの基盤となる ML フレームワーク(pytorch または jax)。デフォルト: pytorch。 |
--jax_profiler_port |
省略可。JAX プロファイラ サーバーのポート。デフォルト: 9999。 |
--phased_profiling_dir |
省略可。JAX 段階的プロファイリング トレースのベース Cloud Storage ディレクトリ。ラッパーは RUN_NAME/plugins/profile/ パスを追加し、結果を PHASED_PROFILING_DIR 環境変数として vLLM プロセスにエクスポートします。この引数を使用して、段階的なプロファイリングを有効にします。 |
マルチホスト設定での段階的なプロファイリング
GKE LeaderWorkerSet の Ray バックエンドなどのマルチホスト設定で JAX の段階的なプロファイリングを有効にするには、--phased_profiling_dir 引数を渡し、オペレーティング システム環境の PHASED_PROFILING_DIR 環境変数を省略します。
--phased_profiling_dir 引数を渡さずに PHASED_PROFILING_DIR 環境変数を設定すると、次の理由により、 Google Cloud コンソールの XProf にフェーズド プロファイルが表示されないことがあります。
run_vllmラッパーは、オペレーティング システム環境でPHASED_PROFILING_DIR変数を検出し、実行スコープの接尾辞を追加して、パスをvllm serveコマンドに転送し、警告をログに記録します。- vLLM の Ray エグゼキュータは、
os.environ.setdefaultメソッドを使用して、リモート ワーカーにドライバ環境変数を適用します。 - 環境に
PHASED_PROFILING_DIR変数がすでに存在するリモート ワーカーは、実行スコープのパスを採用する代わりに、既存のパスを保持します。これにより、トレースはMLRunディレクトリの外部に書き込まれます。
vLLM ワークロードを実行してプロファイリングする
vLLM と ML 診断を使用してモデルをサービングする手順は次のとおりです。
- vLLM を ML Diagnostics SDK とパッケージ化し、
run_vllmラッパーをエントリポイントとして構成する Docker コンテナ イメージをビルドします。 vllm serve引数とともにMLRun引数を渡して、GKE または Compute Engine でコンテナを実行します。- サーバーが推論リクエストを処理している間に、段階的、手動、またはオンデマンドのプロファイリングを使用してパフォーマンス トレースをキャプチャし、Google Cloud コンソールで結果を表示します。
vLLM 用の Docker イメージを準備する
コンテナで run_vllm ラッパーを使用するには、ML Diagnostics SDK、xprof パッケージ、ロギングの依存関係を vLLM TPU ベースイメージにインストールする Docker イメージをビルドします。Dockerfile で、google_cloud_mldiagnostics.commands.run_vllm モジュールをコンテナ エントリポイントとして設定します。
次の Dockerfile の例では、vLLM TPU イメージを ML Diagnostics SDK とパッケージ化します。
FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
pip install --no-cache-dir \
google-cloud-mldiagnostics \
xprof \
google-cloud-logging \
packaging \
tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]
ML 診断で vLLM を実行する
Docker イメージをビルドしたら、GKE または Compute Engine でコンテナを実行できます。コンテナを起動するときに、プロファイラの環境変数を構成し、標準の vllm serve 引数とともに MLRun 引数を渡します。
ML 診断を有効にして vLLM コンテナを実行します。
docker run --name vllm_diagnostics -d --privileged --net=host \
-e HF_HUB_DISABLE_XET=1 \
-e USE_MOE_EP_KERNEL=1 \
-e PJRT_DEVICE=TPU \
-e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
-e VLLM_LOGGING_LEVEL=DEBUG \
-e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PYTHONUNBUFFERED=1 \
-e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
-e HF_TOKEN="HF_TOKEN" \
-e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
VLLM_IMAGE \
--mlrun_name="vllm-tpu-run" \
--run_group="vllm-benchmark" \
--configs='{"user":"ml-team", "running_on":"TPU"}' \
--mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
--project="PROJECT_ID" \
--region="us-central1" \
-- serve Qwen/Qwen2-1.5B \
--kv-cache-dtype=fp8 \
--tensor-parallel-size=1 \
--data-parallel-size=1 \
--max-model-len=2048 \
--max-num-batched-tokens=2048 \
--max-num-seqs=64 \
--no-enable-prefix-caching \
--block-size=256 \
--gpu-memory-utilization=0.95 \
--port=8000 \
--profiler-config.profiler=torch \
--profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"
次のように置き換えます。
BUCKET_NAME: プロファイラ トレースとアーティファクトを保存するための Cloud Storage バケットの名前HF_TOKEN: Hugging Face アクセス トークンVLLM_IMAGE: vLLM Docker イメージの名前または URIPROJECT_ID: 実際の Google Cloud プロジェクト ID
vLLM ワークロードをプロファイリングする
run_vllm コマンドでコンテナを起動すると、ラッパーはプロファイラ環境を構成し、すべてのプロファイラ トレースを Cloud Storage の MLRUN_GCS_PATH/RUN_NAME/plugins/profile/ ディレクトリに保存します。
MLRUN_GCS_PATH:--mlrun_gcs_path引数で指定する Cloud Storage バケットのパス。RUN_NAME:MLRunリソースの固有識別子
vLLM コンテナが推論リクエストを処理している間に、フェーズ別、手動、またはオンデマンドのプロファイリングを使用してプロファイラ トレースをキャプチャできます。
段階的なプロファイリング
フェーズ別プロファイリングでは、PREFILL_ONLY、PREFILL_HEAVY、BALANCED、DECODE_HEAVY などのさまざまな推論ワークロード フェーズにわたってトレースが自動的にキャプチャされます。ベースの Cloud Storage パスを指定すると、run_vllm ラッパーは RUN_NAME/plugins/profile/ サブディレクトリを追加し、結果のパスを PHASED_PROFILING_DIR 環境変数にエクスポートします。
コンテナの起動時に段階的プロファイリングを有効にするには、次の設定を構成します。
ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True環境変数を設定する。PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR環境変数を、プロファイリングするステップ数に設定します。--phased_profiling_dirラッパー引数を使用して、ベースの Cloud Storage パスを渡します(または、単一ホストの設定でPHASED_PROFILING_DIR環境変数を設定します)。
手動(API トリガー)プロファイリング
手動プロファイリングでは、推論トラフィックの特定のウィンドウに対して、プロファイリング セッションをプログラムで開始および停止できます。コンテナを起動すると、run_vllm ラッパーは VLLM_TORCH_PROFILER_DIR 環境変数と --profiler-config.torch_profiler_dir 引数を更新して、ML 実行のプロファイル ディレクトリにトレースを保存します。
手動プロファイルをキャプチャするには:
- コンテナを起動するときに、
VLLM_TORCH_PROFILER_DIR環境変数を設定し、--profiler-config.profiler=torch引数と--profiler-config.torch_profiler_dir引数をvllm serveコマンドに渡します。 - サーバーに負荷を生成しながら、vLLM の
/start_profileAPI エンドポイントと/stop_profileAPI エンドポイントに HTTP リクエストを送信して、プロファイリング セッションを開始および停止します。
Google Cloud コンソールでのオンデマンド プロファイリング
オンデマンド プロファイリングを使用すると、ワークロードを再起動したり API リクエストを送信したりすることなく、 Google Cloud コンソールからインタラクティブにライブ プロファイルのキャプチャをトリガーできます。コンテナを起動すると、run_vllm ラッパーは USE_JAX_PROFILER_SERVER=True 環境変数と JAX_PROFILER_SERVER_PORT 環境変数を設定して、JAX プロファイラ サーバーを自動的に起動します。
ワークロードがリクエストを処理している間にオンデマンド プロファイルをキャプチャするには、次の手順を完了します。
- Google Cloud コンソールで、[診断を実行] タブに移動し、
MLRunリソースを選択します。- Cluster Director: [Cluster Director] ページに移動し、[診断を実行] タブをクリックします。
- GKE: [Kubernetes] ページに移動し、ナビゲーション メニューで [AI / ML] をクリックして、[診断を実行] タブをクリックします。
- [プロファイル] タブを選択します。
- キャプチャ セッションを開始します。