Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Qwen2-7B mit vLLM auf TPUs bereitstellen

In dieser Anleitung wird gezeigt, wie Sie das Qwen/Qwen2-7B-Modell mit dem vLLM TPU-Bereitstellungs-Framework auf einer v6e TPU-VM bereitstellen.

Ziele

die Umgebung einrichten
vLLM mit Qwen2-7B ausführen
Senden Sie eine Inferenzanfrage.
Führen Sie eine Benchmark-Arbeitslast aus.
bereinigen.

Kosten

In dieser Anleitung werden kostenpflichtige Komponenten von Google Cloud verwendet, darunter:

Mit dem Preisrechner können Sie eine Kostenschätzung Ihrer voraussichtlichen Nutzung vornehmen.

Hinweis

Bevor Sie diese Anleitung durcharbeiten, folgen Sie der Anleitung auf der Seite Cloud TPU-Umgebung einrichten. In der Anleitung werden die Schritte beschrieben, die zum Erstellen eines Google Cloud-Projekts und zum Konfigurieren für die Verwendung von Cloud TPU erforderlich sind. Sie können auch ein vorhandenesGoogle Cloud -Projekt verwenden. Wenn Sie dies tun, können Sie den Schritt zum Erstellen einesGoogle Cloud -Projekts überspringen und mit Umgebung für Cloud TPU einrichten beginnen.

Für diese Anleitung benötigen Sie ein Hugging Face-Zugriffstoken. Sie können sich bei Hugging Face für ein kostenloses Konto registrieren. Sobald Sie ein Konto haben, können Sie ein Zugriffstoken generieren:

Klicken Sie auf der Seite Welcome to Hugging Face (Willkommen bei Hugging Face) auf Ihren Konto-Avatar und wählen Sie Access tokens (Zugriffstokens) aus.
Klicken Sie auf der Seite Zugriffstokens auf Neues Token erstellen.
Wählen Sie den Tokentyp Lesen aus und geben Sie einen Namen für Ihr Token ein.
Ihr Zugriffstoken wird angezeigt. Speichern Sie das Token an einem sicheren Ort.

Umgebung einrichten

Cloud TPU v6e-VM mit der API für in die Warteschlange gestellte Ressourcen erstellen Für Qwen2-7B empfehlen wir die Verwendung einer v6e-4-TPU.

export PROJECT_ID=YOUR_PROJECT_ID
export TPU_NAME=Qwen2-7B-tutorial
export ZONE=us-east5-a
export QR_ID=Qwen2-7B-qr

gcloud alpha compute tpus queued-resources create $QR_ID \
 --node-id $TPU_NAME \
 --project $PROJECT_ID \
 --zone $ZONE \
 --accelerator-type v6e-4 \
 --runtime-version v2-alpha-tpuv6e

Prüfen Sie, ob Ihre TPU-VM bereit ist.

gcloud compute tpus queued-resources describe $QR_ID \
  --project $PROJECT_ID \
  --zone $ZONE

Beispiel: Der Status ist ACTIVE:

name: projects/your-project-id/locations/your-zone/queuedResources/your-queued-resource-id
  state:
  state: ACTIVE
  tpu:
  nodeSpec:
  - node:
      acceleratorType: v6e-4
      bootDisk: {}
      networkConfig:
          enableExternalIps: true
      queuedResource: projects/your-project-number/locations/your-zone/queuedResources/your-queued-resource-id
      runtimeVersion: v2-alpha-tpuv6e
      schedulingConfig: {}
      serviceAccount: {}
      shieldedInstanceConfig: {}
      useTpuVm: true
      nodeId: your-node-id
      parent: projects/your-project-number/locations/your-zone

Stellen Sie eine Verbindung zur TPU-VM her.

  gcloud compute tpus tpu-vm ssh $TPU_NAME \
    --project $PROJECT_ID \
    --zone $ZONE

vLLM mit Qwen2-7B ausführen

Legen Sie Ihr Hugging Face-Token fest.
```
  export HF_TOKEN="YOUR_HF_TOKEN"
```

Führen Sie in der TPU-VM den vLLM-Docker-Container im getrennten Modus aus und starten Sie den vLLM-Server. Dieser Befehl verwendet eine Größe des gemeinsam genutzten Speichers von 10 GB.

export DOCKER_URI="vllm/vllm-tpu:v0.18.0"
export CONTAINER_NAME="${USER}-vllm"
export MAX_MODEL_LEN=4096
export TP=1 # number of chips

sudo docker run -d --name "${CONTAINER_NAME}" \
    --privileged --net=host \
    -v /dev/shm:/dev/shm \
    --shm-size 10gb \
    -e "HF_HOME=/dev/shm" \
    -e "HF_TOKEN=${HF_TOKEN}" \
    -p 8000:8000 "${DOCKER_URI}" \
        vllm serve Qwen/Qwen2-7B \
            --seed 42 \
            --gpu-memory-utilization 0.98 \
            --max-num-batched-tokens 1024 \
            --max-num-seqs 128 \
            --tensor-parallel-size $TP \
            --max-model-len $MAX_MODEL_LEN

Prüfen Sie in den Serverlogs, ob der Server ausgeführt wird.

sudo docker logs -f "${CONTAINER_NAME}"

Wenn der vLLM-Server ausgeführt wird, sehen Sie eine Ausgabe wie die folgende. Wenn die Ausgabe angezeigt wird, drücken Sie CTRL+C, um zum Terminal zurückzukehren.

(APIServer pid=7) INFO:     Started server process [7]
(APIServer pid=7) INFO:     Waiting for application startup.
(APIServer pid=7) INFO:     Application startup complete.

Inferenzanfrage senden

Sobald der vLLM-Server ausgeführt wird, können Sie Anfragen an die API senden. Weitere Informationen finden Sie in der vLLM API-Referenzdokumentation.

Senden Sie mit curl eine Testanfrage an den Server.

  sudo docker exec -ti "${CONTAINER_NAME}" \
    curl http://localhost:8000/v1/completions \
      -H "Content-Type: application/json" \
      -d '{
          "model": "Qwen/Qwen2-7B",
          "prompt": "The future of AI is",
          "max_tokens": 200,
          "temperature": 0
        }'

Die Antwort wird im JSON-Format zurückgegeben.

Benchmark-Arbeitslast ausführen

Sie können Benchmarks für den laufenden Server über Ihr zweites Terminal ausführen.

Installieren Sie die datasets-Bibliothek im Container.

sudo docker exec -it "${CONTAINER_NAME}" pip install datasets

Führen Sie im Container den Befehl vllm bench serve aus.

sudo docker exec -it "${CONTAINER_NAME}" \
    vllm bench serve \
        --backend vllm \
        --model "Qwen/Qwen2-7B"  \
        --dataset-name random \
        --num-prompts 1000 \
        --seed 100

Die Benchmark-Ergebnisse sehen so aus:

============ Serving Benchmark Result ============
Successful requests:                     1000
Benchmark duration (s):                  45.35
Total input tokens:                      1024000
Total generated tokens:                  126848
Request throughput (req/s):              22.05
Output token throughput (tok/s):         2797.15
Peak output token throughput (tok/s):    4258.00
Peak concurrent requests:                1000.00
Total Token throughput (tok/s):          25377.57
---------------Time to First Token----------------
Mean TTFT (ms):                          21332.46
Median TTFT (ms):                        21330.37
P99 TTFT (ms):                           42436.47
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms):                          37.36
Median TPOT (ms):                        38.56
P99 TPOT (ms):                           38.69
---------------Inter-token Latency----------------
Mean ITL (ms):                           37.35
Median ITL (ms):                         38.55
P99 ITL (ms):                            39.43
==================================================

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Geben Sie in Ihrem Terminal exit ein, um die Verbindung zur TPU-VM zu trennen.

Ressourcen löschen

Sie können das Projekt löschen, wodurch alle Ressourcen gelöscht werden, oder das Projekt beibehalten und die Ressourcen löschen.

Projekt löschen

So löschen Sie Ihr Google Cloud -Projekt und alle zugehörigen Ressourcen:

    gcloud projects delete $PROJECT_ID

TPU-Ressourcen löschen

Löschen Sie Ihre Cloud TPU-Ressourcen. Mit dem folgenden Befehl werden sowohl die Anfrage für in die Warteschlange gestellte Ressourcen als auch die TPU-VM mit dem Parameter --force gelöscht.

  gcloud alpha compute tpus queued-resources delete $QR_ID \
    --project=$PROJECT_ID \
    --zone=$ZONE \
    --force

Nächste Schritte

Weitere Informationen zu vLLM auf Cloud TPU
Weitere Informationen zu Cloud TPU