Ejecuta y genera perfiles de cargas de trabajo de vLLM con ML Diagnostics
vLLM es una biblioteca de código abierto para la inferencia y la entrega de modelos de lenguaje grandes (LLM). La integración de ML Diagnostics con vLLM te permite hacer un seguimiento de los parámetros de configuración de entrega, supervisar la telemetría de las cargas de trabajo y capturar perfiles de XProf en Google Cloud. En este documento, se describe el comando de wrapper de ML Diagnostics para vLLM y se muestra cómo incluir en contenedores, ejecutar y generar perfiles de una carga de trabajo de vLLM.
Argumentos de la línea de comandos del wrapper
ML Diagnostics proporciona un comando de wrapper integrado,
google_cloud_mldiagnostics.commands.run_vllm, para iniciar las cargas de trabajo de inferencia y entrega de vLLM,
y configurar automáticamente la telemetría y la generación de perfiles. Puedes
establecer el wrapper run_vllm como el punto de entrada en tu contenedor de Docker de vLLM o
ejecutarlo directamente desde la línea de comandos en
Google Kubernetes Engine (GKE) o
Compute Engine.
Cuando inicias una carga de trabajo con el comando run_vllm, el wrapper realiza las
siguientes acciones:
- Registra la ejecución: Crea y registra un recurso
MLRunadministrado configurado para las cargas de trabajo de entrega de vLLM. - Configura la generación de perfiles: Establece las variables de entorno del generador de perfiles y actualiza las rutas de acceso de salida del generador de perfiles en Cloud Storage para organizar los seguimientos en un directorio para tu ejecución de ML.
- Reenvía argumentos: Pasa todos los argumentos restantes de la línea de comandos directamente
al comando
vllm.
En la siguiente tabla, se describen los argumentos de línea de comandos que acepta el wrapper de run_vllm:
| Argumento | Descripción |
|---|---|
--mlrun_name |
Obligatorio. Identificador único para el recurso de ejecución de AA (MLRun). |
--mlrun_gcs_path |
Obligatorio. Es la ruta de acceso del bucket de Cloud Storage que almacena los seguimientos y artefactos del generador de perfiles. Por ejemplo, gs://my-bucket/vllm-profiles. |
--project |
Es opcional. Es el ID de tu proyecto de Google Cloud . |
--region |
Es opcional. Es la región que almacena los metadatos de MLRun.
Predeterminado: us-central1. |
--run_group |
Es opcional. Es el identificador que agrupa varias ejecuciones relacionadas. |
--configs |
Es opcional. Son parámetros de configuración definidos por el usuario que pasas como una cadena de objeto JSON. Por ejemplo, '{"user":"my-team", "running_on":"TPU"}'. |
--framework |
Es opcional. Es el framework de AA subyacente para la carga de trabajo
(pytorch o jax). El valor predeterminado es
pytorch. |
--jax_profiler_port |
Es opcional. Es el puerto del servidor del generador de perfiles de JAX. Valor predeterminado:
9999. |
--phased_profiling_dir |
Es opcional. Es el directorio base de Cloud Storage para los seguimientos de perfiles por fases de JAX. El wrapper agrega la ruta de acceso RUN_NAME/plugins/profile/ y exporta el resultado como la variable de entorno PHASED_PROFILING_DIR al proceso de vLLM. Usa este argumento para habilitar la generación de perfiles por fases. |
Generación de perfiles por fases en configuraciones de varios hosts
Para habilitar la generación de perfiles por fases de JAX en configuraciones de varios hosts, como un backend de Ray en un
LeaderWorkerSet de GKE, pasa el argumento --phased_profiling_dir
y omite la variable de entorno PHASED_PROFILING_DIR en el entorno de tu sistema
operativo.
Si configuras la variable de entorno PHASED_PROFILING_DIR sin pasar el argumento --phased_profiling_dir, es posible que los perfiles por fases no aparezcan en XProf en la consola de Google Cloud por los siguientes motivos:
- El wrapper
run_vllmdetecta la variablePHASED_PROFILING_DIRen el entorno del sistema operativo, agrega el sufijo con alcance de ejecución, reenvía la ruta de acceso al comandovllm servey registra una advertencia. - El ejecutor de Ray de vLLM aplica variables de entorno del controlador en los trabajadores remotos
con el método
os.environ.setdefault. - Los trabajadores remotos que ya tienen la variable
PHASED_PROFILING_DIRen su entorno conservan su ruta de acceso existente en lugar de adoptar la ruta de acceso con alcance de ejecución, que escribe sus seguimientos fuera del directorioMLRun.
Ejecuta y genera perfiles de cargas de trabajo de vLLM
Para entregar un modelo con vLLM y ML Diagnostics, completa los siguientes pasos:
- Compila una imagen de contenedor de Docker que empaquete vLLM con el SDK de diagnóstico de AA y configura el wrapper de
run_vllmcomo el punto de entrada. - Ejecuta el contenedor en GKE o Compute Engine pasando
tus argumentos
MLRunjunto con tus argumentosvllm serve. - Captura seguimientos de rendimiento mientras el servidor procesa las solicitudes de inferencia con la generación de perfiles por fases, manual o a pedido, y consulta los resultados en la consola deGoogle Cloud .
Prepara una imagen de Docker para vLLM
Para usar el wrapper de run_vllm en un contenedor, compila una imagen de Docker que instale
el SDK de diagnóstico de AA, el paquete xprof y
las dependencias de registro sobre la imagen base de TPU de vLLM. En el Dockerfile, configura
el módulo google_cloud_mldiagnostics.commands.run_vllm como el punto de entrada
del contenedor.
En el siguiente ejemplo de Dockerfile, se empaqueta una imagen de TPU de vLLM con el SDK de diagnóstico de AA:
FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
pip install --no-cache-dir \
google-cloud-mldiagnostics \
xprof \
google-cloud-logging \
packaging \
tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]
Ejecuta vLLM con ML Diagnostics
Después de compilar la imagen de Docker, puedes ejecutar el contenedor en
GKE o
Compute Engine. Cuando inicies el contenedor, configura las variables de entorno del generador de perfiles y pasa los argumentos MLRun junto con los argumentos vllm serve estándar.
Ejecuta el contenedor de vLLM con el diagnóstico de ML habilitado:
docker run --name vllm_diagnostics -d --privileged --net=host \
-e HF_HUB_DISABLE_XET=1 \
-e USE_MOE_EP_KERNEL=1 \
-e PJRT_DEVICE=TPU \
-e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
-e VLLM_LOGGING_LEVEL=DEBUG \
-e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PYTHONUNBUFFERED=1 \
-e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
-e HF_TOKEN="HF_TOKEN" \
-e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
VLLM_IMAGE \
--mlrun_name="vllm-tpu-run" \
--run_group="vllm-benchmark" \
--configs='{"user":"ml-team", "running_on":"TPU"}' \
--mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
--project="PROJECT_ID" \
--region="us-central1" \
-- serve Qwen/Qwen2-1.5B \
--kv-cache-dtype=fp8 \
--tensor-parallel-size=1 \
--data-parallel-size=1 \
--max-model-len=2048 \
--max-num-batched-tokens=2048 \
--max-num-seqs=64 \
--no-enable-prefix-caching \
--block-size=256 \
--gpu-memory-utilization=0.95 \
--port=8000 \
--profiler-config.profiler=torch \
--profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"
Reemplaza lo siguiente:
BUCKET_NAME: Es el nombre de tu bucket de Cloud Storage para almacenar seguimientos y artefactos del generador de perfiles.HF_TOKEN: Tu token de acceso de Hugging FaceVLLM_IMAGE: Es el nombre o el URI de tu imagen de Docker de vLLM.PROJECT_ID: Es el ID del proyecto de Google Cloud .
Genera perfiles de cargas de trabajo de vLLM
Cuando inicias tu contenedor con el comando run_vllm, el wrapper
configura el entorno del generador de perfiles y guarda todos los seguimientos
del generador de perfiles en Cloud Storage en el
directorio MLRUN_GCS_PATH/RUN_NAME/plugins/profile/:
MLRUN_GCS_PATH: Es la ruta de acceso del bucket de Cloud Storage que especificas con el argumento--mlrun_gcs_path.RUN_NAME: el identificador único de tu recursoMLRun
Mientras tu contenedor de vLLM entrega solicitudes de inferencia, puedes capturar seguimientos del generador de perfiles con la generación de perfiles por fases, manual o a pedido.
Generación de perfiles por fases
La generación de perfiles por fases captura automáticamente seguimientos en diferentes fases de la carga de trabajo de inferencia,
como PREFILL_ONLY, PREFILL_HEAVY, BALANCED y
DECODE_HEAVY. Cuando proporcionas una ruta de acceso base de Cloud Storage, el wrapper de run_vllm
agrega el subdirectorio RUN_NAME/plugins/profile/ y exporta la
ruta de acceso resultante a la variable de entorno PHASED_PROFILING_DIR.
Para habilitar la generación de perfiles por fases cuando inicias el contenedor, establece los siguientes parámetros de configuración:
- Configura la variable de entorno
ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True. - Establece la variable de entorno
PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FORen la cantidad de pasos que se deben perfilar. - Pasa la ruta de acceso base de Cloud Storage con el argumento de wrapper
--phased_profiling_dir(o establece la variable de entornoPHASED_PROFILING_DIRen configuraciones de host único).
Generación de perfiles manual (activada por la API)
La generación de perfiles manual te permite iniciar y detener sesiones de generación de perfiles de manera programática para
ventanas específicas de tráfico de inferencia. Cuando inicias el contenedor, el wrapper run_vllm actualiza la variable de entorno VLLM_TORCH_PROFILER_DIR y el argumento --profiler-config.torch_profiler_dir para guardar los seguimientos en el directorio de perfiles de tu ejecución de ML.
Para capturar un perfil de forma manual, sigue estos pasos:
- Cuando inicies el contenedor, configura la variable de entorno
VLLM_TORCH_PROFILER_DIRy pasa los argumentos--profiler-config.profiler=torchy--profiler-config.torch_profiler_diral comandovllm serve. - Mientras generas carga en el servidor, envía solicitudes HTTP a los endpoints de API de vLLM
/start_profiley/stop_profilepara iniciar y detener la sesión de generación de perfiles.
Generación de perfiles a pedido en la consola de Google Cloud
La generación de perfiles a pedido te permite activar capturas de perfiles en vivo de forma interactiva desde la consola de Google Cloud sin reiniciar la carga de trabajo ni enviar solicitudes a la API. Cuando inicias el contenedor, el wrapper run_vllm inicia automáticamente
el servidor del generador de perfiles de JAX configurando las variables de entorno USE_JAX_PROFILER_SERVER=True y
JAX_PROFILER_SERVER_PORT.
Para capturar un perfil on demand mientras tu carga de trabajo entrega solicitudes, completa los siguientes pasos:
- En la consola deGoogle Cloud , ve a la pestaña Ejecutar
diagnóstico y selecciona tu recurso de
MLRun:- Cluster Director: Ve a la página Cluster Director y haz clic en la pestaña Ejecutar diagnóstico.
- GKE: Ve a la página de Kubernetes, haz clic en IA/AA en el menú de navegación y, luego, en la pestaña Ejecutar diagnóstico.
- Selecciona la pestaña Perfiles.
- Inicia una sesión de captura.