Gestisci Qwen2-7B-Instruct con vLLM su TPU

Questo tutorial mostra come pubblicare il modello Qwen/Qwen2-7B-Instruct utilizzando il framework di pubblicazione vLLM TPU su una VM TPU v6e.

Obiettivi

1. Configurare l'ambiente.
2. Eseguire vLLM con Qwen2-7B-Instruct.
3. Inviare una richiesta di inferenza.
4. Eseguire un carico di lavoro di benchmark.
5. Liberare spazio.

Costi

Questo tutorial utilizza i componenti fatturabili di Google Cloud, tra cui:

• Cloud TPU
• Compute Engine

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

Prima di iniziare

Prima di seguire questo tutorial, segui le istruzioni riportate nella pagina Configurare l'ambiente Cloud TPU. Le istruzioni ti guidano nei passaggi necessari per creare un Google Cloud progetto e configurarlo per l'utilizzo di Cloud TPU. Puoi anche utilizzare un progetto esistente Google Cloud Se scegli di farlo, puoi saltare il passaggio di creazione del Google Cloud progetto e iniziare con la configurazione dell'ambiente per utilizzare Cloud TPU.

Per utilizzare questo tutorial, devi disporre di un token di accesso a Hugging Face. Puoi registrarti per un account senza costi su Hugging Face. Una volta creato un account, genera un token di accesso:

1. Nella pagina Benvenuto in Hugging Face, fai clic sull'avatar del tuo account e seleziona Token di accesso.
2. Nella pagina Token di accesso, fai clic su Crea nuovo token.
3. Seleziona il tipo di token Lettura e inserisci un nome per il token.
4. Viene visualizzato il token di accesso. Salva il token in un luogo sicuro.

Configurare l'ambiente

Risorse in coda

Crea una VM Cloud TPU v6e utilizzando l'API Risorse in coda. Per qwen2-7b-instruct, ti consigliamo di utilizzare una TPU v6e-1.

export PROJECT_ID=<PROJECT>
export TPU_NAME=<TPU_NAME>
export ZONE=<ZONE>
export QR_ID=<QR_ID>
export TPU_TYPE=<TPU_TYPE>

Imposta le variabili:

• PROJECT - Il nome del progetto.
• TPU_NAME - Il nome della macchina VM TPU che creerai.
• ZONE - La zona cloud in cui crei la nuova VM.
• TPU_TYPE - Il tipo di VM TPU che crei. Ad esempio: v6e-1 o v6e-4.
• QR_ID - Il nome della risorsa in coda che crei.

Crea la richiesta di risorsa in coda:

gcloud alpha compute tpus queued-resources create $QR_ID \
 --node-id $TPU_NAME \
 --project $PROJECT_ID \
 --zone $ZONE \
 --accelerator-type $TPU_TYPE \
 --runtime-version v2-alpha-tpuv6e

Assicurati che la VM TPU sia pronta.

gcloud compute tpus queued-resources describe $QR_ID \
  --project $PROJECT_ID \
  --zone $ZONE

Suggerimento: inizialmente, lo stato della richiesta di risorsa in coda sarà WAITING_FOR_RESOURCES. Una volta creata la VM TPU, lo stato cambierà in ACTIVE. Questa operazione può richiedere del tempo a seconda della disponibilità delle risorse. Se i tempi di attesa sono molto lunghi, puoi provare a utilizzare un'altra zona. Attendi che lo stato sia ACTIVE prima di procedere.

Ad esempio, quando lo stato è ACTIVE:

name: projects/your-project-id/locations/your-zone/queuedResources/your-queued-resource-id
  state:
  state: ACTIVE
  tpu:
  nodeSpec:
  - node:
      acceleratorType: v6e-1
      bootDisk: {}
      networkConfig:
          enableExternalIps: true
      queuedResource: projects/your-project-number/locations/your-zone/queuedResources/your-queued-resource-id
      runtimeVersion: v2-alpha-tpuv6e
      schedulingConfig: {}
      serviceAccount: {}
      shieldedInstanceConfig: {}
      useTpuVm: true
      nodeId: your-node-id
      parent: projects/your-project-number/locations/your-zone

Prenotazione

Crea una VM Cloud TPU v6e utilizzando una prenotazione. Per qwen2-7b-instruct, ti consigliamo di utilizzare una TPU v6e-1. Inizia impostando le variabili di ambiente:

export PROJECT_ID="YOUR_PROJECT_ID"
export TPU_NAME="TPU_MACHINE_NAME"
export ZONE="ZONE_NAME"
export TPU_TYPE=v6e-8
export HF_TOKEN="YOUR_HF_TOKEN"
export RESERVATION="RESERVATION_NAME"

Imposta le variabili:

• PROJECT - Il nome del progetto.
• TPU_NAME - Il nome della macchina VM TPU che creerai.
• ZONE - La zona cloud in cui crei la nuova VM.
• TPU_TYPE - Il tipo di VM TPU che crei. Ad esempio: v6e-1 o v6e-4.
• RESERVATION - Il nome della prenotazione con le tue TPU.

Crea la VM TPU utilizzando la prenotazione:

gcloud alpha compute tpus tpu-vm create $TPU_NAME \
    --zone=$ZONE \
    --project $PROJECT_ID \
    --accelerator-type=$TPU_TYPE \
    --version=v2-alpha-tpuv6e \
    --provisioning-model=reservation-bound \
    --reservation=$RESERVATION

Connettiti alla VM TPU.

gcloud compute tpus tpu-vm ssh $TPU_NAME \
  --project $PROJECT_ID \
  --zone $ZONE

Eseguire vLLM con Qwen2-7B-instruct

1. Imposta le variabili del token di Hugging Face e del nome del modello.

     export HF_TOKEN="YOUR_HF_TOKEN"
     export MODEL_NAME="Qwen/Qwen2-7B-Instruct"
   

2. All'interno della VM TPU, esegui il container Docker vLLM in modalità detached e avvia il server vLLM. Questo comando utilizza una dimensione della memoria condivisa di 10 GB.

   export DOCKER_URI="vllm/vllm-tpu:v0.18.0"
   export CONTAINER_NAME="${USER}-vllm"
   export MAX_MODEL_LEN=4096
   export TP=1 # number of chips
   
   sudo docker run -d --name "${CONTAINER_NAME}" \
       --privileged --net=host \
       -v /dev/shm:/dev/shm \
       --shm-size 10gb \
       -e "HF_HOME=/dev/shm" \
       -e "HF_TOKEN=${HF_TOKEN}" \
       -p 8000:8000 "${DOCKER_URI}" \
           vllm serve ${MODEL_NAME} \
               --seed 42 \
               --gpu-memory-utilization 0.98 \
               --max-num-batched-tokens 1024 \
               --max-num-seqs 128 \
               --tensor-parallel-size $TP \
               --max-model-len $MAX_MODEL_LEN

3. Controlla i log del server per verificare che sia in esecuzione.

   sudo docker logs -f "${CONTAINER_NAME}"

   Quando il server vLLM è in esecuzione, visualizzi un output simile al seguente. Una volta visualizzato l'output, premi CTRL+C per tornare al terminale.

   (APIServer pid=7) INFO:     Started server process [7]
   (APIServer pid=7) INFO:     Waiting for application startup.
   (APIServer pid=7) INFO:     Application startup complete.
   

Inviare una richiesta di inferenza

Una volta che il server vLLM è in esecuzione, puoi inviare richieste all'API. Per saperne di più, consulta la documentazione di riferimento dell'API vLLM.

1. Invia una richiesta di test al server utilizzando curl.

   sudo docker exec "${CONTAINER_NAME}" \
     curl http://localhost:8000/v1/completions \
       -H "Content-Type: application/json" \
       -d '{
           "prompt": "The future of AI is",
           "max_tokens": 200,
           "temperature": 0
         }'

La risposta viene restituita in formato JSON.

Eseguire un carico di lavoro di benchmark

Puoi eseguire benchmark sul server in esecuzione dal secondo terminale.

1. All'interno del container, installa la libreria datasets.

   sudo docker exec "${CONTAINER_NAME}" pip install datasets

2. All'interno del container, esegui il comando vllm bench serve.

   sudo docker exec "${CONTAINER_NAME}" \
       vllm bench serve \
           --backend vllm \
           --dataset-name random \
           --num-prompts 1000 \
           --seed 100

I risultati del benchmark hanno il seguente aspetto:

============ Serving Benchmark Result ============
Successful requests:                     1000
Benchmark duration (s):                  45.35
Total input tokens:                      1024000
Total generated tokens:                  126848
Request throughput (req/s):              22.05
Output token throughput (tok/s):         2797.15
Peak output token throughput (tok/s):    4258.00
Peak concurrent requests:                1000.00
Total Token throughput (tok/s):          25377.57
---------------Time to First Token----------------
Mean TTFT (ms):                          21332.46
Median TTFT (ms):                        21330.37
P99 TTFT (ms):                           42436.47
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms):                          37.36
Median TPOT (ms):                        38.56
P99 TPOT (ms):                           38.69
---------------Inter-token Latency----------------
Mean ITL (ms):                           37.35
Median ITL (ms):                         38.55
P99 ITL (ms):                            39.43
==================================================

Liberare spazio

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

1. Nel terminale, digita exit per disconnetterti dalla VM TPU.

Eliminare le risorse

Puoi eliminare il progetto, che eliminerà tutte le risorse, oppure puoi mantenere il progetto ed eliminare le risorse.

Eliminare il progetto

Per eliminare il tuo Google Cloud progetto e tutte le risorse associate, esegui:

    gcloud projects delete $PROJECT_ID

Eliminare le risorse TPU

Risorse in coda

Elimina le risorse Cloud TPU. Il comando seguente elimina sia la richiesta di risorsa in coda sia la VM TPU utilizzando il parametro --force.

gcloud alpha compute tpus queued-resources delete $QR_ID \
  --project=$PROJECT_ID \
  --zone=$ZONE \
  --force

Prenotazione

Elimina la VM Cloud TPU. Utilizza il seguente comando per terminare la VM, rilasciando le TPU nella prenotazione.

gcloud compute tpus tpu-vm delete $TPU_NAME --zone $ZONE --project $PROJECT_ID --quiet

Nota: continuerai a pagare le TPU finché avrai la prenotazione.

Passaggi successivi

• Scopri di più su vLLM su Cloud TPU.
• Scopri di più su Cloud TPU.