ML Diagnostics로 vLLM 워크로드 실행 및 프로파일링
vLLM은 대규모 언어 모델(LLM) 추론 및 서빙을 위한 오픈소스 라이브러리입니다. ML 진단을 vLLM과 통합하면 Google Cloud에서 서빙 구성을 추적하고, 워크로드 원격 분석을 모니터링하고, XProf 프로필을 캡처할 수 있습니다. 이 문서에서는 vLLM용 ML Diagnostics 래퍼 명령어를 설명하고 vLLM 워크로드를 컨테이너화, 실행, 프로파일링하는 방법을 보여줍니다.
래퍼 명령줄 인수
ML Diagnostics는 vLLM 서빙 및 추론 워크로드를 실행하고 원격 분석 및 프로파일링을 자동으로 구성하는 기본 제공 래퍼 명령어인 google_cloud_mldiagnostics.commands.run_vllm를 제공합니다. run_vllm 래퍼를 vLLM Docker 컨테이너의 진입점으로 설정하거나 Google Kubernetes Engine(GKE) 또는 Compute Engine의 명령줄에서 직접 실행할 수 있습니다.
run_vllm 명령어로 워크로드를 시작하면 래퍼가 다음 작업을 수행합니다.
- 실행 등록: vLLM 서빙 워크로드에 구성된 관리형
MLRun리소스를 만들고 등록합니다. - 프로파일링 구성: 프로파일러 환경 변수를 설정하고 Cloud Storage에서 프로파일러 출력 경로를 업데이트하여 ML 실행을 위해 디렉터리에 trace를 구성합니다.
- 전달 인수: 나머지 모든 명령줄 인수를
vllm명령어에 직접 전달합니다.
다음 표에서는 run_vllm 래퍼가 허용하는 명령줄 인수를 설명합니다.
| 인수 | 설명 |
|---|---|
--mlrun_name |
필수 항목입니다. ML 실행(MLRun) 리소스의 고유 식별자입니다. |
--mlrun_gcs_path |
필수 항목입니다. 프로파일러 trace 및 아티팩트를 저장하는 Cloud Storage 버킷 경로입니다. 예를 들면 gs://my-bucket/vllm-profiles입니다. |
--project |
(선택사항) Google Cloud 프로젝트 ID입니다. |
--region |
(선택사항) MLRun 메타데이터를 저장하는 리전입니다.
기본값: us-central1 |
--run_group |
(선택사항) 관련된 여러 실행을 그룹화하는 식별자입니다. |
--configs |
(선택사항) JSON 객체 문자열로 전달하는 사용자 정의 구성입니다. 예를 들면 '{"user":"my-team", "running_on":"TPU"}'입니다. |
--framework |
(선택사항) 워크로드의 기본 ML 프레임워크(pytorch 또는 jax). 기본값: pytorch |
--jax_profiler_port |
(선택사항) JAX 프로파일러 서버 포트입니다. 기본값: 9999 |
--phased_profiling_dir |
(선택사항) JAX 단계별 프로파일링 trace의 기본 Cloud Storage 디렉터리입니다. 래퍼는 RUN_NAME/plugins/profile/ 경로를 추가하고 결과를 PHASED_PROFILING_DIR 환경 변수로 vLLM 프로세스에 내보냅니다. 이 인수를 사용하여 단계적 프로파일링을 사용 설정합니다. |
멀티 호스트 설정의 단계적 프로파일링
GKE LeaderWorkerSet의 Ray 백엔드와 같은 멀티 호스트 설정에서 JAX 단계별 프로파일링을 사용 설정하려면 --phased_profiling_dir 인수를 전달하고 운영체제 환경에서 PHASED_PROFILING_DIR 환경 변수를 생략합니다.
--phased_profiling_dir 인수를 전달하지 않고 PHASED_PROFILING_DIR 환경 변수를 설정하면 다음과 같은 이유로 Google Cloud 콘솔의 XProf에 단계적 프로필이 표시되지 않을 수 있습니다.
run_vllm래퍼는 운영체제 환경에서PHASED_PROFILING_DIR변수를 감지하고, 실행 범위 서픽스를 추가하고, 경로를vllm serve명령어로 전달하고, 경고를 로깅합니다.- vLLM의 Ray 실행기는
os.environ.setdefault메서드를 사용하여 원격 작업자에 드라이버 환경 변수를 적용합니다. - 환경에 이미
PHASED_PROFILING_DIR변수가 있는 원격 근무자는 실행 범위 경로를 채택하는 대신 기존 경로를 유지하며, 이 경로는MLRun디렉터리 외부에 트레이스를 작성합니다.
vLLM 워크로드 실행 및 프로파일링
vLLM 및 ML 진단으로 모델을 서빙하려면 다음 단계를 완료합니다.
- vLLM을 ML Diagnostics SDK와 패키징하고
run_vllm래퍼를 진입점으로 구성하는 Docker 컨테이너 이미지를 빌드합니다. vllm serve인수와 함께MLRun인수를 전달하여 GKE 또는 Compute Engine에서 컨테이너를 실행합니다.- 단계별, 수동 또는 주문형 프로파일링을 사용하여 서버가 추론 요청을 처리하는 동안 성능 trace를 캡처하고Google Cloud 콘솔에서 결과를 확인합니다.
vLLM용 Docker 이미지 준비
컨테이너에서 run_vllm 래퍼를 사용하려면 vLLM TPU 기본 이미지 위에 ML Diagnostics SDK, xprof 패키지, 로깅 종속 항목을 설치하는 Docker 이미지를 빌드합니다. Dockerfile에서 google_cloud_mldiagnostics.commands.run_vllm 모듈을 컨테이너 진입점으로 설정합니다.
다음 Dockerfile 예시에서는 ML 진단 SDK를 사용하여 vLLM TPU 이미지를 패키징합니다.
FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
pip install --no-cache-dir \
google-cloud-mldiagnostics \
xprof \
google-cloud-logging \
packaging \
tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]
ML 진단으로 vLLM 실행
Docker 이미지를 빌드한 후 GKE 또는 Compute Engine에서 컨테이너를 실행할 수 있습니다. 컨테이너를 시작할 때 프로파일러 환경 변수를 구성하고 표준 vllm serve 인수와 함께 MLRun 인수를 전달합니다.
ML 진단이 사용 설정된 vLLM 컨테이너를 실행합니다.
docker run --name vllm_diagnostics -d --privileged --net=host \
-e HF_HUB_DISABLE_XET=1 \
-e USE_MOE_EP_KERNEL=1 \
-e PJRT_DEVICE=TPU \
-e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
-e VLLM_LOGGING_LEVEL=DEBUG \
-e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PYTHONUNBUFFERED=1 \
-e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
-e HF_TOKEN="HF_TOKEN" \
-e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
VLLM_IMAGE \
--mlrun_name="vllm-tpu-run" \
--run_group="vllm-benchmark" \
--configs='{"user":"ml-team", "running_on":"TPU"}' \
--mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
--project="PROJECT_ID" \
--region="us-central1" \
-- serve Qwen/Qwen2-1.5B \
--kv-cache-dtype=fp8 \
--tensor-parallel-size=1 \
--data-parallel-size=1 \
--max-model-len=2048 \
--max-num-batched-tokens=2048 \
--max-num-seqs=64 \
--no-enable-prefix-caching \
--block-size=256 \
--gpu-memory-utilization=0.95 \
--port=8000 \
--profiler-config.profiler=torch \
--profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"
다음을 바꿉니다.
BUCKET_NAME: 프로파일러 trace 및 아티팩트를 저장하기 위한 Cloud Storage 버킷의 이름HF_TOKEN: Hugging Face 액세스 토큰VLLM_IMAGE: vLLM Docker 이미지의 이름 또는 URIPROJECT_ID: Google Cloud 프로젝트 ID
vLLM 워크로드 프로파일링
run_vllm 명령어로 컨테이너를 시작하면 래퍼가 프로파일러 환경을 구성하고 모든 프로파일러 trace를 Cloud Storage의 MLRUN_GCS_PATH/RUN_NAME/plugins/profile/ 디렉터리에 저장합니다.
MLRUN_GCS_PATH:--mlrun_gcs_path인수로 지정하는 Cloud Storage 버킷 경로RUN_NAME:MLRun리소스의 고유 식별자
vLLM 컨테이너가 추론 요청을 처리하는 동안 단계별, 수동 또는 주문형 프로파일링을 사용하여 프로파일러 trace를 캡처할 수 있습니다.
단계적 프로파일링
단계별 프로파일링은 PREFILL_ONLY, PREFILL_HEAVY, BALANCED, DECODE_HEAVY와 같은 다양한 추론 워크로드 단계에서 trace를 자동으로 캡처합니다. 기본 Cloud Storage 경로를 제공하면 run_vllm 래퍼가 RUN_NAME/plugins/profile/ 하위 디렉터리를 추가하고 결과 경로를 PHASED_PROFILING_DIR 환경 변수로 내보냅니다.
컨테이너를 시작할 때 단계적 프로파일링을 사용 설정하려면 다음 설정을 구성합니다.
ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True환경 변수를 설정합니다.PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR환경 변수를 프로파일링할 단계 수로 설정합니다.--phased_profiling_dir래퍼 인수를 사용하여 기본 Cloud Storage 경로를 전달합니다(또는 단일 호스트 설정에서PHASED_PROFILING_DIR환경 변수 설정).
수동(API 트리거) 프로파일링
수동 프로파일링을 사용하면 특정 추론 트래픽 기간에 대해 프로그래매틱 방식으로 프로파일링 세션을 시작하고 중지할 수 있습니다. 컨테이너를 시작하면 run_vllm 래퍼가 VLLM_TORCH_PROFILER_DIR 환경 변수와 --profiler-config.torch_profiler_dir 인수를 업데이트하여 ML 실행의 프로필 디렉터리에 trace를 저장합니다.
수동 프로필을 캡처하려면 다음 단계를 따르세요.
- 컨테이너를 시작할 때
VLLM_TORCH_PROFILER_DIR환경 변수를 설정하고--profiler-config.profiler=torch및--profiler-config.torch_profiler_dir인수를vllm serve명령어에 전달합니다. - 서버에 부하를 생성하는 동안 vLLM의
/start_profile및/stop_profileAPI 엔드포인트에 HTTP 요청을 전송하여 프로파일링 세션을 시작하고 중지합니다.
Google Cloud 콘솔에서 주문형 프로파일링
주문형 프로파일링을 사용하면 워크로드를 다시 시작하거나 API 요청을 보내지 않고도 Google Cloud 콘솔에서 대화형으로 실시간 프로필 캡처를 트리거할 수 있습니다. 컨테이너를 시작하면 run_vllm 래퍼가 USE_JAX_PROFILER_SERVER=True 및 JAX_PROFILER_SERVER_PORT 환경 변수를 설정하여 JAX 프로파일러 서버를 자동으로 시작합니다.
워크로드가 요청을 처리하는 동안 주문형 프로필을 캡처하려면 다음 단계를 완료합니다.
- Google Cloud 콘솔에서 진단 실행 탭으로 이동하여
MLRun리소스를 선택합니다.- Cluster Director: Cluster Director 페이지로 이동하여 진단 실행 탭을 클릭합니다.
- GKE: Kubernetes 페이지로 이동하고 탐색 메뉴에서 AI/ML을 클릭한 후 진단 실행 탭을 클릭합니다.
- 프로필 탭을 선택합니다.
- 캡처 세션을 시작합니다.