Menjalankan dan membuat profil workload vLLM dengan ML Diagnostics

vLLM adalah library open source untuk inferensi dan penyajian model bahasa besar (LLM). Mengintegrasikan ML Diagnostics dengan vLLM memungkinkan Anda melacak konfigurasi inferensi, memantau telemetri workload, dan mengambil profil XProf di Google Cloud. Dokumen ini menjelaskan perintah wrapper ML Diagnostics untuk vLLM dan menunjukkan cara membuat container, menjalankan, dan membuat profil workload vLLM.

Argumen command line wrapper

ML Diagnostics menyediakan perintah wrapper bawaan, google_cloud_mldiagnostics.commands.run_vllm, untuk meluncurkan workload inferensi dan penyajian vLLM serta mengonfigurasi telemetri dan pembuatan profil secara otomatis. Anda dapat menetapkan wrapper run_vllm sebagai titik entri di container Docker vLLM atau menjalankannya langsung dari command line di Google Kubernetes Engine (GKE) atau Compute Engine.

Saat Anda memulai workload dengan perintah run_vllm, wrapper akan melakukan tindakan berikut:

  • Daftarkan operasi: Membuat dan mendaftarkan resource MLRun terkelola yang dikonfigurasi untuk workload penyaluran vLLM.
  • Configure profiling: Menetapkan variabel lingkungan profiler dan memperbarui jalur output profiler di Cloud Storage untuk mengatur trace dalam direktori untuk operasi ML Anda.
  • Meneruskan argumen: Meneruskan semua argumen command line yang tersisa langsung ke perintah vllm.

Tabel berikut menjelaskan argumen command line yang diterima wrapper run_vllm:

Argumen Deskripsi
--mlrun_name Wajib. ID unik untuk resource ML run (MLRun).
--mlrun_gcs_path Wajib. Jalur bucket Cloud Storage yang menyimpan trace dan artefak profiler. Contoh: gs://my-bucket/vllm-profiles
--project Opsional. Project ID Google Cloud Anda.
--region Opsional. Region yang menyimpan metadata MLRun. Default: us-central1.
--run_group Opsional. ID yang mengelompokkan beberapa operasi terkait.
--configs Opsional. Konfigurasi yang ditentukan pengguna yang Anda teruskan sebagai string objek JSON. Contoh: '{"user":"my-team", "running_on":"TPU"}'
--framework Opsional. Framework ML yang mendasari workload (pytorch atau jax). Default: pytorch.
--jax_profiler_port Opsional. Port server profiler JAX. Default: 9999.
--phased_profiling_dir Opsional. Direktori Cloud Storage dasar untuk trace pembuatan profil bertahap JAX. Wrapper menambahkan jalur RUN_NAME/plugins/profile/ dan mengekspor hasilnya sebagai variabel lingkungan PHASED_PROFILING_DIR ke proses vLLM. Gunakan argumen ini untuk mengaktifkan profiling bertahap.

Pembuatan profil bertahap dalam penyiapan multi-host

Untuk mengaktifkan pembuatan profil bertahap JAX dalam penyiapan multi-host, seperti backend Ray di LeaderWorkerSet GKE, teruskan argumen --phased_profiling_dir dan hapus variabel lingkungan PHASED_PROFILING_DIR di lingkungan sistem operasi Anda.

Jika Anda menetapkan variabel lingkungan PHASED_PROFILING_DIR tanpa meneruskan argumen --phased_profiling_dir, profil bertahap mungkin tidak muncul di XProf di konsol Google Cloud karena alasan berikut:

  • Wrapper run_vllm mendeteksi variabel PHASED_PROFILING_DIR di lingkungan sistem operasi, menambahkan akhiran cakupan operasi, meneruskan jalur ke perintah vllm serve, dan mencatat peringatan ke dalam log.
  • Eksekutor Ray vLLM menerapkan variabel lingkungan driver pada pekerja jarak jauh menggunakan metode os.environ.setdefault.
  • Pekerja jarak jauh yang sudah memiliki variabel PHASED_PROFILING_DIR di lingkungannya akan mempertahankan jalur yang ada, bukan mengadopsi jalur cakupan operasi, yang menulis trace mereka di luar direktori MLRun.

Menjalankan dan membuat profil workload vLLM

Untuk menyajikan model dengan vLLM dan ML Diagnostics, selesaikan langkah-langkah berikut:

  1. Bangun image container Docker yang memaketkan vLLM dengan ML Diagnostics SDK dan mengonfigurasi wrapper run_vllm sebagai titik entri.
  2. Jalankan container di GKE atau Compute Engine dengan meneruskan argumen MLRun bersama argumen vllm serve.
  3. Catat trace performa saat server memproses permintaan inferensi menggunakan pembuatan profil bertahap, manual, atau on-demand, dan lihat hasilnya di konsolGoogle Cloud .

Menyiapkan image Docker untuk vLLM

Untuk menggunakan wrapper run_vllm dalam container, bangun image Docker yang menginstal ML Diagnostics SDK, paket xprof, dan dependensi logging di atas image dasar TPU vLLM. Di Dockerfile, tetapkan modul google_cloud_mldiagnostics.commands.run_vllm sebagai titik entri container.

Contoh Dockerfile berikut memaketkan image TPU vLLM dengan ML Diagnostics SDK:

FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
    pip install --no-cache-dir \
        google-cloud-mldiagnostics \
        xprof \
        google-cloud-logging \
        packaging \
        tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]

Menjalankan vLLM dengan ML Diagnostics

Setelah membangun image Docker, Anda dapat menjalankan container di GKE atau Compute Engine. Saat Anda memulai container, konfigurasikan variabel lingkungan profiler dan teruskan argumen MLRun bersama dengan argumen vllm serve standar Anda.

Jalankan container vLLM dengan ML Diagnostics diaktifkan:

docker run --name vllm_diagnostics -d --privileged --net=host \
  -e HF_HUB_DISABLE_XET=1 \
  -e USE_MOE_EP_KERNEL=1 \
  -e PJRT_DEVICE=TPU \
  -e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
  -e VLLM_LOGGING_LEVEL=DEBUG \
  -e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
  -e PYTHONUNBUFFERED=1 \
  -e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
  -e HF_TOKEN="HF_TOKEN" \
  -e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
  VLLM_IMAGE \
  --mlrun_name="vllm-tpu-run" \
  --run_group="vllm-benchmark" \
  --configs='{"user":"ml-team", "running_on":"TPU"}' \
  --mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
  --project="PROJECT_ID" \
  --region="us-central1" \
  -- serve Qwen/Qwen2-1.5B \
  --kv-cache-dtype=fp8 \
  --tensor-parallel-size=1 \
  --data-parallel-size=1 \
  --max-model-len=2048 \
  --max-num-batched-tokens=2048 \
  --max-num-seqs=64 \
  --no-enable-prefix-caching \
  --block-size=256 \
  --gpu-memory-utilization=0.95 \
  --port=8000 \
  --profiler-config.profiler=torch \
  --profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"

Ganti kode berikut:

  • BUCKET_NAME: nama bucket Cloud Storage Anda untuk menyimpan trace dan artefak profiler
  • HF_TOKEN: token akses Hugging Face Anda
  • VLLM_IMAGE: nama atau URI image Docker vLLM Anda
  • PROJECT_ID: Project ID Google Cloud Anda

Membuat profil workload vLLM

Saat Anda memulai container dengan perintah run_vllm, wrapper akan mengonfigurasi lingkungan profiler dan menyimpan semua trace profiler di Cloud Storage di bawah direktori MLRUN_GCS_PATH/RUN_NAME/plugins/profile/:

  • MLRUN_GCS_PATH: jalur bucket Cloud Storage yang Anda tentukan dengan argumen --mlrun_gcs_path
  • RUN_NAME: ID unik untuk resource MLRun Anda

Saat container vLLM Anda melayani permintaan inferensi, Anda dapat mengambil rekaman aktivitas profiler dengan menggunakan pembuatan profil bertahap, manual, atau on-demand.

Pembuatan profil bertahap

Pembuatan profil bertahap otomatis menangkap trace di berbagai fase workload inferensi, seperti PREFILL_ONLY, PREFILL_HEAVY, BALANCED, dan DECODE_HEAVY. Saat Anda memberikan jalur Cloud Storage dasar, wrapper run_vllm akan menambahkan subdirektori RUN_NAME/plugins/profile/ dan mengekspor jalur yang dihasilkan ke variabel lingkungan PHASED_PROFILING_DIR.

Untuk mengaktifkan pembuatan profil bertahap saat Anda memulai container, konfigurasikan setelan berikut:

  • Menetapkan variabel lingkungan ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True.
  • Tetapkan variabel lingkungan PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR ke jumlah langkah yang akan diprofilkan.
  • Teruskan jalur Cloud Storage dasar Anda menggunakan argumen wrapper --phased_profiling_dir (atau tetapkan variabel lingkungan PHASED_PROFILING_DIR dalam penyiapan host tunggal).

Pembuatan profil manual (dipicu API)

Pembuatan profil manual memungkinkan Anda memulai dan menghentikan sesi pembuatan profil secara terprogram untuk periode traffic inferensi tertentu. Saat Anda memulai container, wrapper run_vllm akan memperbarui variabel lingkungan VLLM_TORCH_PROFILER_DIR dan argumen --profiler-config.torch_profiler_dir untuk menyimpan trace di direktori profil untuk operasi ML Anda.

Untuk mengambil profil manual:

  1. Saat Anda memulai container, tetapkan variabel lingkungan VLLM_TORCH_PROFILER_DIR dan teruskan argumen --profiler-config.profiler=torch dan --profiler-config.torch_profiler_dir ke perintah vllm serve.
  2. Saat menghasilkan beban terhadap server, kirim permintaan HTTP ke endpoint API /start_profile dan /stop_profile vLLM untuk memulai dan menghentikan sesi pembuatan profil.

Pembuatan profil on-demand di konsol Google Cloud

Pembuatan profil on-demand memungkinkan Anda memicu pengambilan profil live secara interaktif dari konsol Google Cloud tanpa memulai ulang workload atau mengirim permintaan API. Saat Anda memulai container, wrapper run_vllm akan otomatis memulai server profiler JAX dengan menetapkan variabel lingkungan USE_JAX_PROFILER_SERVER=True dan JAX_PROFILER_SERVER_PORT.

Untuk mengambil profil on-demand saat workload Anda melayani permintaan, selesaikan langkah-langkah berikut:

  1. Di Google Cloud console, buka tab Run Diagnostics dan pilih resource MLRun Anda:
    • Cluster Director: Buka halaman Cluster Director, lalu klik tab Run Diagnostics.
    • GKE: Buka halaman Kubernetes, klik AI/ML di menu navigasi, lalu klik tab Run Diagnostics.
  2. Pilih tab Profiles.
  3. Memulai sesi perekaman.