Menjalankan dan membuat profil workload vLLM dengan ML Diagnostics
vLLM adalah library open source untuk inferensi dan penyajian model bahasa besar (LLM). Mengintegrasikan ML Diagnostics dengan vLLM memungkinkan Anda melacak konfigurasi inferensi, memantau telemetri workload, dan mengambil profil XProf di Google Cloud. Dokumen ini menjelaskan perintah wrapper ML Diagnostics untuk vLLM dan menunjukkan cara membuat container, menjalankan, dan membuat profil workload vLLM.
Argumen command line wrapper
ML Diagnostics menyediakan perintah wrapper bawaan,
google_cloud_mldiagnostics.commands.run_vllm, untuk meluncurkan workload inferensi dan
penyajian vLLM serta mengonfigurasi telemetri dan pembuatan profil secara otomatis. Anda dapat
menetapkan wrapper run_vllm sebagai titik entri di container Docker vLLM atau
menjalankannya langsung dari command line di
Google Kubernetes Engine (GKE) atau
Compute Engine.
Saat Anda memulai workload dengan perintah run_vllm, wrapper akan melakukan tindakan berikut:
- Daftarkan operasi: Membuat dan mendaftarkan resource
MLRunterkelola yang dikonfigurasi untuk workload penyaluran vLLM. - Configure profiling: Menetapkan variabel lingkungan profiler dan memperbarui jalur output profiler di Cloud Storage untuk mengatur trace dalam direktori untuk operasi ML Anda.
- Meneruskan argumen: Meneruskan semua argumen command line yang tersisa langsung ke perintah
vllm.
Tabel berikut menjelaskan argumen command line yang diterima wrapper run_vllm:
| Argumen | Deskripsi |
|---|---|
--mlrun_name |
Wajib. ID unik untuk resource ML run (MLRun). |
--mlrun_gcs_path |
Wajib. Jalur bucket Cloud Storage yang menyimpan trace dan artefak profiler. Contoh: gs://my-bucket/vllm-profiles |
--project |
Opsional. Project ID Google Cloud Anda. |
--region |
Opsional. Region yang menyimpan metadata MLRun.
Default: us-central1. |
--run_group |
Opsional. ID yang mengelompokkan beberapa operasi terkait. |
--configs |
Opsional. Konfigurasi yang ditentukan pengguna yang Anda teruskan sebagai string objek JSON. Contoh: '{"user":"my-team", "running_on":"TPU"}' |
--framework |
Opsional. Framework ML yang mendasari workload
(pytorch atau jax). Default:
pytorch. |
--jax_profiler_port |
Opsional. Port server profiler JAX. Default:
9999. |
--phased_profiling_dir |
Opsional. Direktori Cloud Storage dasar untuk trace pembuatan profil bertahap JAX. Wrapper menambahkan jalur RUN_NAME/plugins/profile/ dan mengekspor hasilnya sebagai variabel lingkungan PHASED_PROFILING_DIR ke proses vLLM. Gunakan argumen ini untuk mengaktifkan
profiling bertahap. |
Pembuatan profil bertahap dalam penyiapan multi-host
Untuk mengaktifkan pembuatan profil bertahap JAX dalam penyiapan multi-host, seperti backend Ray di
LeaderWorkerSet GKE, teruskan argumen --phased_profiling_dir
dan hapus variabel lingkungan PHASED_PROFILING_DIR di lingkungan sistem
operasi Anda.
Jika Anda menetapkan variabel lingkungan PHASED_PROFILING_DIR tanpa meneruskan argumen --phased_profiling_dir, profil bertahap mungkin tidak muncul di XProf di konsol Google Cloud karena alasan berikut:
- Wrapper
run_vllmmendeteksi variabelPHASED_PROFILING_DIRdi lingkungan sistem operasi, menambahkan akhiran cakupan operasi, meneruskan jalur ke perintahvllm serve, dan mencatat peringatan ke dalam log. - Eksekutor Ray vLLM menerapkan variabel lingkungan driver pada pekerja jarak jauh
menggunakan metode
os.environ.setdefault. - Pekerja jarak jauh yang sudah memiliki variabel
PHASED_PROFILING_DIRdi lingkungannya akan mempertahankan jalur yang ada, bukan mengadopsi jalur cakupan operasi, yang menulis trace mereka di luar direktoriMLRun.
Menjalankan dan membuat profil workload vLLM
Untuk menyajikan model dengan vLLM dan ML Diagnostics, selesaikan langkah-langkah berikut:
- Bangun image container Docker yang memaketkan vLLM dengan ML Diagnostics
SDK dan mengonfigurasi wrapper
run_vllmsebagai titik entri. - Jalankan container di GKE atau Compute Engine dengan meneruskan
argumen
MLRunbersama argumenvllm serve. - Catat trace performa saat server memproses permintaan inferensi menggunakan pembuatan profil bertahap, manual, atau on-demand, dan lihat hasilnya di konsolGoogle Cloud .
Menyiapkan image Docker untuk vLLM
Untuk menggunakan wrapper run_vllm dalam container, bangun image Docker yang menginstal
ML Diagnostics SDK, paket xprof, dan
dependensi logging di atas image dasar TPU vLLM. Di Dockerfile, tetapkan
modul google_cloud_mldiagnostics.commands.run_vllm sebagai titik entri
container.
Contoh Dockerfile berikut memaketkan image TPU vLLM dengan ML Diagnostics SDK:
FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
pip install --no-cache-dir \
google-cloud-mldiagnostics \
xprof \
google-cloud-logging \
packaging \
tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]
Menjalankan vLLM dengan ML Diagnostics
Setelah membangun image Docker, Anda dapat menjalankan container di GKE atau Compute Engine. Saat Anda memulai container, konfigurasikan variabel lingkungan profiler dan teruskan argumen MLRun bersama dengan argumen vllm serve standar Anda.
Jalankan container vLLM dengan ML Diagnostics diaktifkan:
docker run --name vllm_diagnostics -d --privileged --net=host \
-e HF_HUB_DISABLE_XET=1 \
-e USE_MOE_EP_KERNEL=1 \
-e PJRT_DEVICE=TPU \
-e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
-e VLLM_LOGGING_LEVEL=DEBUG \
-e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PYTHONUNBUFFERED=1 \
-e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
-e HF_TOKEN="HF_TOKEN" \
-e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
VLLM_IMAGE \
--mlrun_name="vllm-tpu-run" \
--run_group="vllm-benchmark" \
--configs='{"user":"ml-team", "running_on":"TPU"}' \
--mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
--project="PROJECT_ID" \
--region="us-central1" \
-- serve Qwen/Qwen2-1.5B \
--kv-cache-dtype=fp8 \
--tensor-parallel-size=1 \
--data-parallel-size=1 \
--max-model-len=2048 \
--max-num-batched-tokens=2048 \
--max-num-seqs=64 \
--no-enable-prefix-caching \
--block-size=256 \
--gpu-memory-utilization=0.95 \
--port=8000 \
--profiler-config.profiler=torch \
--profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"
Ganti kode berikut:
BUCKET_NAME: nama bucket Cloud Storage Anda untuk menyimpan trace dan artefak profilerHF_TOKEN: token akses Hugging Face AndaVLLM_IMAGE: nama atau URI image Docker vLLM AndaPROJECT_ID: Project ID Google Cloud Anda
Membuat profil workload vLLM
Saat Anda memulai container dengan perintah run_vllm, wrapper
akan mengonfigurasi lingkungan profiler dan menyimpan semua trace
profiler di Cloud Storage di bawah
direktori MLRUN_GCS_PATH/RUN_NAME/plugins/profile/:
MLRUN_GCS_PATH: jalur bucket Cloud Storage yang Anda tentukan dengan argumen--mlrun_gcs_pathRUN_NAME: ID unik untuk resourceMLRunAnda
Saat container vLLM Anda melayani permintaan inferensi, Anda dapat mengambil rekaman aktivitas profiler dengan menggunakan pembuatan profil bertahap, manual, atau on-demand.
Pembuatan profil bertahap
Pembuatan profil bertahap otomatis menangkap trace di berbagai fase workload inferensi, seperti PREFILL_ONLY, PREFILL_HEAVY, BALANCED, dan DECODE_HEAVY. Saat Anda memberikan jalur Cloud Storage dasar, wrapper run_vllm
akan menambahkan subdirektori RUN_NAME/plugins/profile/ dan mengekspor
jalur yang dihasilkan ke variabel lingkungan PHASED_PROFILING_DIR.
Untuk mengaktifkan pembuatan profil bertahap saat Anda memulai container, konfigurasikan setelan berikut:
- Menetapkan variabel lingkungan
ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True. - Tetapkan variabel lingkungan
PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FORke jumlah langkah yang akan diprofilkan. - Teruskan jalur Cloud Storage dasar Anda menggunakan argumen wrapper
--phased_profiling_dir(atau tetapkan variabel lingkunganPHASED_PROFILING_DIRdalam penyiapan host tunggal).
Pembuatan profil manual (dipicu API)
Pembuatan profil manual memungkinkan Anda memulai dan menghentikan sesi pembuatan profil secara terprogram untuk
periode traffic inferensi tertentu. Saat Anda memulai container, wrapper run_vllm akan memperbarui variabel lingkungan VLLM_TORCH_PROFILER_DIR dan argumen --profiler-config.torch_profiler_dir untuk menyimpan trace di direktori profil untuk operasi ML Anda.
Untuk mengambil profil manual:
- Saat Anda memulai container, tetapkan variabel lingkungan
VLLM_TORCH_PROFILER_DIRdan teruskan argumen--profiler-config.profiler=torchdan--profiler-config.torch_profiler_dirke perintahvllm serve. - Saat menghasilkan beban terhadap server, kirim permintaan HTTP ke endpoint API
/start_profiledan/stop_profilevLLM untuk memulai dan menghentikan sesi pembuatan profil.
Pembuatan profil on-demand di konsol Google Cloud
Pembuatan profil on-demand memungkinkan Anda memicu pengambilan profil live secara interaktif dari konsol Google Cloud tanpa memulai ulang workload atau mengirim permintaan API. Saat Anda memulai container, wrapper run_vllm akan otomatis
memulai server profiler JAX dengan menetapkan variabel lingkungan USE_JAX_PROFILER_SERVER=True dan
JAX_PROFILER_SERVER_PORT.
Untuk mengambil profil on-demand saat workload Anda melayani permintaan, selesaikan langkah-langkah berikut:
- Di Google Cloud console, buka tab Run
Diagnostics dan pilih resource
MLRunAnda:- Cluster Director: Buka halaman Cluster Director, lalu klik tab Run Diagnostics.
- GKE: Buka halaman Kubernetes, klik AI/ML di menu navigasi, lalu klik tab Run Diagnostics.
- Pilih tab Profiles.
- Memulai sesi perekaman.