הכניסו לשימוש בסביבת הייצור את Qwen2-7B-Instruct עם vLLM ב-TPU

במדריך הזה נסביר איך להשתמש ב-vLLM TPU serving framework כדי להפעיל את המודל Qwen/Qwen2-7B-Instruct במכונה וירטואלית של v6e TPU.

מטרות

1. מגדירים את הסביבה.
2. מריצים את vLLM עם Qwen2-7B-Instruct.
3. שליחת בקשת הסקה.
4. מריצים עומס עבודה להשוואה.
5. מנקים את הבית.

עלויות

במדריך הזה נעשה שימוש ברכיבים של Google Cloud שחלים עליהם חיובים, כולל:

• Cloud TPU
• Compute Engine

כדי ליצור הערכת עלויות על סמך השימוש החזוי, אתם יכולים להשתמש במחשבון התמחור.

לפני שמתחילים

לפני שממשיכים במדריך הזה, צריך לפעול לפי ההוראות בדף הגדרת סביבת Cloud TPU. ההוראות מנחות אתכם בשלבים הנדרשים ליצירת פרויקט ולהגדרה שלו לשימוש ב-Cloud TPU. Google Cloudאפשר גם להשתמש בפרויקט קיים שלGoogle Cloud . אם אתם רוצים, אתם יכולים לדלג על השלב של יצירת פרויקטGoogle Cloud ולהתחיל עם הגדרת הסביבה לשימוש ב-Cloud TPU.

כדי להשתמש במדריך הזה, צריך אסימון גישה של Hugging Face. אפשר להירשם לחשבון בחינם ב-Hugging Face. אחרי שיש לכם חשבון, יוצרים אסימון גישה:

1. בדף Welcome to Hugging Face, לוחצים על הדמות שמייצגת את החשבון ובוחרים באפשרות Access tokens.
2. בדף Access Tokens (אסימוני גישה), לוחצים על Create new token (יצירת אסימון חדש).
3. בוחרים את סוג הטוקן Read (קריאה) ומזינים שם לטוקן.
4. טוקן הגישה יוצג. שומרים את האסימון במקום בטוח.

מגדירים את הסביבה

משאבים בתור

יצירת מכונה וירטואלית של Cloud TPU v6e באמצעות queued resources API. ל-qwen2-7b-instruct, מומלץ להשתמש ב-TPU מדגם v6e-1.

export PROJECT_ID=<PROJECT>
export TPU_NAME=<TPU_NAME>
export ZONE=<ZONE>
export QR_ID=<QR_ID>
export TPU_TYPE=<TPU_TYPE>

מגדירים את המשתנים:

• ‫PROJECT – שם הפרויקט.
• ‫TPU_NAME – השם של מכונת TPU VM שתיצרו.
• ‫ZONE – אזור הענן שבו יוצרים את המכונה הווירטואלית החדשה.
• ‫TPU_TYPE – סוג ה-TPU VM שיוצרים. לדוגמה: v6e-1 או v6e-4.
• ‫QR_ID – השם של משאב התורים שיוצרים.

יוצרים את בקשת המשאב בתור:

gcloud alpha compute tpus queued-resources create $QR_ID \
 --node-id $TPU_NAME \
 --project $PROJECT_ID \
 --zone $ZONE \
 --accelerator-type $TPU_TYPE \
 --runtime-version v2-alpha-tpuv6e

בודקים שהמכונה הווירטואלית של ה-TPU מוכנה.

gcloud compute tpus queued-resources describe $QR_ID \
  --project $PROJECT_ID \
  --zone $ZONE

כדאי לדעת: בהתחלה, הסטטוס של בקשת המשאב שנמצאת בתור יהיה WAITING_FOR_RESOURCES. אחרי שתיצרו את מכונת ה-TPU הווירטואלית, הסטטוס ישתנה ל-ACTIVE. התהליך הזה יכול לקחת זמן, בהתאם לזמינות המשאבים. אם זמן ההמתנה ארוך מאוד, אפשר לנסות אזור אחר. צריך להמתין עד שהסטטוס יהיה ACTIVE לפני שממשיכים.

לדוגמה, כשהסטטוס הוא ACTIVE:

name: projects/your-project-id/locations/your-zone/queuedResources/your-queued-resource-id
  state:
  state: ACTIVE
  tpu:
  nodeSpec:
  - node:
      acceleratorType: v6e-1
      bootDisk: {}
      networkConfig:
          enableExternalIps: true
      queuedResource: projects/your-project-number/locations/your-zone/queuedResources/your-queued-resource-id
      runtimeVersion: v2-alpha-tpuv6e
      schedulingConfig: {}
      serviceAccount: {}
      shieldedInstanceConfig: {}
      useTpuVm: true
      nodeId: your-node-id
      parent: projects/your-project-number/locations/your-zone

הזמנה

יצירת מכונה וירטואלית של Cloud TPU v6e באמצעות בקשה לשמירת מקום. ל-qwen2-7b-instruct, מומלץ להשתמש ב-TPU מדגם v6e-1. מתחילים בהגדרת משתני סביבה:

export PROJECT_ID="YOUR_PROJECT_ID"
export TPU_NAME="TPU_MACHINE_NAME"
export ZONE="ZONE_NAME"
export TPU_TYPE=v6e-8
export HF_TOKEN="YOUR_HF_TOKEN"
export RESERVATION="RESERVATION_NAME"

מגדירים את המשתנים:

• ‫PROJECT – שם הפרויקט.
• ‫TPU_NAME – השם של מכונת TPU VM שתיצרו.
• ‫ZONE – אזור הענן שבו יוצרים את המכונה הווירטואלית החדשה.
• ‫TPU_TYPE – סוג ה-TPU VM שיוצרים. לדוגמה: v6e-1 או v6e-4.
• ‫RESERVATION – שם ההזמנה עם מעבדי ה-TPU.

יוצרים את מכונת ה-TPU הווירטואלית באמצעות ההזמנה:

gcloud alpha compute tpus tpu-vm create $TPU_NAME \
    --zone=$ZONE \
    --project $PROJECT_ID \
    --accelerator-type=$TPU_TYPE \
    --version=v2-alpha-tpuv6e \
    --provisioning-model=reservation-bound \
    --reservation=$RESERVATION

מתחברים ל-TPU VM.

gcloud compute tpus tpu-vm ssh $TPU_NAME \
  --project $PROJECT_ID \
  --zone $ZONE

הפעלת vLLM עם Qwen2-7B-instruct

1. מגדירים את האסימון של Hugging Face ואת משתני שם המודל.

     export HF_TOKEN="YOUR_HF_TOKEN"
     export MODEL_NAME="Qwen/Qwen2-7B-Instruct"
   

2. בתוך מכונת ה-TPU הווירטואלית, מריצים את מאגר ה-Docker של vLLM במצב מנותק ומפעילים את שרת vLLM. בפקודה הזו נעשה שימוש בגודל זיכרון משותף של 10GB.

   export DOCKER_URI="vllm/vllm-tpu:v0.18.0"
   export CONTAINER_NAME="${USER}-vllm"
   export MAX_MODEL_LEN=4096
   export TP=1 # number of chips
   
   sudo docker run -d --name "${CONTAINER_NAME}" \
       --privileged --net=host \
       -v /dev/shm:/dev/shm \
       --shm-size 10gb \
       -e "HF_HOME=/dev/shm" \
       -e "HF_TOKEN=${HF_TOKEN}" \
       -p 8000:8000 "${DOCKER_URI}" \
           vllm serve ${MODEL_NAME} \
               --seed 42 \
               --gpu-memory-utilization 0.98 \
               --max-num-batched-tokens 1024 \
               --max-num-seqs 128 \
               --tensor-parallel-size $TP \
               --max-model-len $MAX_MODEL_LEN

3. כדי לוודא שהיא פועלת, צריך לבדוק את יומני השרת.

   sudo docker logs -f "${CONTAINER_NAME}"

   כשהשרת vLLM פועל, מוצג פלט שדומה לזה שמופיע בהמשך. אחרי שהפלט מוצג, לוחצים על CTRL+C כדי לחזור למסוף.

   (APIServer pid=7) INFO:     Started server process [7]
   (APIServer pid=7) INFO:     Waiting for application startup.
   (APIServer pid=7) INFO:     Application startup complete.
   

שליחת בקשת הסקה

אחרי שהשרת vLLM פועל, אפשר לשלוח בקשות ל-API. מידע נוסף מופיע במאמרי העזרה של vLLM API.

1. שולחים בקשת בדיקה לשרת באמצעות curl.

   sudo docker exec "${CONTAINER_NAME}" \
     curl http://localhost:8000/v1/completions \
       -H "Content-Type: application/json" \
       -d '{
           "prompt": "The future of AI is",
           "max_tokens": 200,
           "temperature": 0
         }'

התגובה מוחזרת בפורמט JSON.

הפעלת עומס עבודה של נקודת השוואה

אפשר להריץ נקודות השוואה מול השרת הפועל מהטרמינל השני.

1. בתוך המאגר, מתקינים את ספריית datasets.

   sudo docker exec "${CONTAINER_NAME}" pip install datasets

2. בתוך המאגר, מריצים את הפקודה vllm bench serve.

   sudo docker exec "${CONTAINER_NAME}" \
       vllm bench serve \
           --backend vllm \
           --dataset-name random \
           --num-prompts 1000 \
           --seed 100

תוצאות ההשוואה לשוק נראות כך:

============ Serving Benchmark Result ============
Successful requests:                     1000
Benchmark duration (s):                  45.35
Total input tokens:                      1024000
Total generated tokens:                  126848
Request throughput (req/s):              22.05
Output token throughput (tok/s):         2797.15
Peak output token throughput (tok/s):    4258.00
Peak concurrent requests:                1000.00
Total Token throughput (tok/s):          25377.57
---------------Time to First Token----------------
Mean TTFT (ms):                          21332.46
Median TTFT (ms):                        21330.37
P99 TTFT (ms):                           42436.47
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms):                          37.36
Median TPOT (ms):                        38.56
P99 TPOT (ms):                           38.69
---------------Inter-token Latency----------------
Mean ITL (ms):                           37.35
Median ITL (ms):                         38.55
P99 ITL (ms):                            39.43
==================================================

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

1. בטרמינל, מקלידים exit כדי להתנתק ממכונת ה-TPU.

מחיקת המשאבים

אתם יכולים למחוק את הפרויקט, וכך למחוק את כל המשאבים, או להשאיר את הפרויקט ולמחוק רק את המשאבים.

מחיקת פרויקט

כדי למחוק את הפרויקט שלכם ב- Google Cloud ואת כל המשאבים שמשויכים אליו, מריצים את הפקודה:

    gcloud projects delete $PROJECT_ID

מחיקת משאבי TPU

משאבים בתור

מוחקים את משאבי Cloud TPU. הפקודה הבאה מוחקת גם את בקשת המשאב שנוספה לתור וגם את מכונת ה-TPU הוירטואלית באמצעות הפרמטר --force.

gcloud alpha compute tpus queued-resources delete $QR_ID \
  --project=$PROJECT_ID \
  --zone=$ZONE \
  --force

הזמנה

מחיקת מכונת ה-VM של Cloud TPU. משתמשים בפקודה הבאה כדי להפסיק את מכונת ה-VM, וכך משחררים את יחידות ה-TPU בחזרה להזמנה.

gcloud compute tpus tpu-vm delete $TPU_NAME --zone $ZONE --project $PROJECT_ID --quiet

הערה: תמשיכו לשלם על ה-TPU כל עוד יש לכם הזמנה.

המאמרים הבאים

• מידע נוסף על vLLM ב-Cloud TPU
• מידע נוסף על Cloud TPU