Menggunakan vLLM di GKE untuk menjalankan inferensi dengan gpt-oss-120b

GPU ter-cluster

Tutorial ini menunjukkan cara men-deploy dan menyajikan model bahasa gpt-oss-120b menggunakan framework vLLM. Anda men-deploy model ini di cluster autopilot Google Kubernetes Engine (GKE) dan menggunakan satu virtual machine (VM) A4 yang memiliki 8 GPU B200.

Penting: Untuk menyelesaikan tutorial ini, Anda harus memesan kapasitas untuk membuat VM A4. Untuk mempelajari lebih lanjut opsi Anda dalam memesan kapasitas di AI Hypercomputer untuk tanggal dan waktu mendatang, lihat Memilih opsi pemakaian.

Tutorial ini ditujukan untuk engineer machine learning (ML), administrator dan operator platform, serta spesialis data dan AI yang tertarik menggunakan kemampuan orkestrasi container Kubernetes untuk menangani workload inferensi.

Tujuan

1. Akses gpt-oss-120b menggunakan Hugging Face.
2. Menyiapkan lingkungan Anda.
3. Membuat cluster GKE dalam mode Autopilot.
4. Buat secret Kubernetes untuk kredensial Hugging Face.
5. Membuat bucket Cloud Storage.
6. Download model ke bucket Cloud Storage Anda.
7. Men-deploy container vLLM ke cluster GKE Anda.
8. Berinteraksi dengan model bahasa gpt-oss menggunakan curl.
9. Jalankan pembersihan.

Biaya

Tutorial ini menggunakan komponen Google Cloudyang dapat ditagih, termasuk:

• Harga GKE
• Harga GPU Cloud

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan Kalkulator Harga.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

Buat atau pilih project Google Cloud .

Peran yang diperlukan untuk memilih atau membuat project

• Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
• Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang akan menghapus semua resource yang terkait dengan project ini.

• Buat project Google Cloud :

  gcloud projects create PROJECT_ID

  Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.

• Pilih project Google Cloud yang Anda buat:

  gcloud config set project PROJECT_ID

  Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

Aktifkan API yang diperlukan, jika belum diaktifkan:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

gcloud services enable container.googleapis.com

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

Buat atau pilih project Google Cloud .

Peran yang diperlukan untuk memilih atau membuat project

• Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
• Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang akan menghapus semua resource yang terkait dengan project ini.

• Buat project Google Cloud :

  gcloud projects create PROJECT_ID

  Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.

• Pilih project Google Cloud yang Anda buat:

  gcloud config set project PROJECT_ID

  Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

Aktifkan API yang diperlukan, jika belum diaktifkan:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

gcloud services enable container.googleapis.com

1. Berikan peran ke akun pengguna Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/container.admin

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

   Ganti kode berikut:

   • PROJECT_ID: Project ID Anda.
   • USER_IDENTIFIER: ID untuk akun pengguna Anda. Misalnya, [e-mail].
   • ROLE: Peran IAM yang Anda berikan ke akun pengguna Anda.
2. Login atau buat akun Hugging Face.

Mengakses gpt-oss menggunakan Hugging Face

Untuk menggunakan Hugging Face guna mengakses gpt-oss, lakukan hal berikut:

1. Login ke Hugging Face dan pelajari model gpt-oss.
2. Buat token akses read Hugging Face.
3. Salin dan simpan nilai token read access. Anda akan menggunakannya nanti dalam tutorial ini.

Menyiapkan lingkungan Anda

Untuk menyiapkan lingkungan Anda, tetapkan variabel lingkungan default:

export PROJECT_ID="YOUR_PROJECT_ID"
export RESERVATION_URL="YOUR_RESERVATION_NAME"
export REGION="YOUR_REGION"
export CLUSTER_NAME="YOUR_CLUSTER_NAME"
export GCS_BUCKET="YOUR_GCS_BUCKET"
export HUGGING_FACE_TOKEN="YOUR_HF_TOKEN"
export NETWORK="YOUR_NETWORK_NAME"
export SUBNETWORK="YOUR_SUBNETWORK_NAME"
export PROJECT_NUMBER=$(gcloud projects describe "${PROJECT_ID}" --format="value(projectNumber)")

gcloud config set project "${PROJECT_ID}"
gcloud config set billing/quota_project "${PROJECT_ID}"

Ganti kode berikut:

• YOUR_PROJECT_ID: ID project Google Cloud tempat Anda ingin membuat cluster GKE.

• YOUR_RESERVATION_NAME: URL pemesanan yang ingin Anda gunakan untuk membuat cluster GKE. Berdasarkan project tempat pemesanan berada, tentukan salah satu nilai berikut:

  • Pemesanan ada di project Anda: RESERVATION_NAME

  • Pemesanan ada di project lain, dan project Anda dapat menggunakan pemesanan: projects/RESERVATION_PROJECT_ID/reservations/RESERVATION_NAME

• YOUR_REGION: region tempat Anda ingin membuat cluster GKE. Anda hanya dapat membuat cluster di region tempat pemesanan Anda berada.

• YOUR_CLUSTER_NAME: nama cluster GKE yang akan dibuat.

• YOUR_GCS_BUCKET: nama bucket Cloud Storage tempat Anda mendownload model.

• YOUR_HF_TOKEN: token akses Hugging Face yang Anda buat di bagian sebelumnya.

• YOUR_NETWORK_NAME: jaringan yang digunakan cluster GKE. Tentukan salah satu nilai berikut:

  • Jika Anda membuat jaringan kustom, tentukan nama jaringan Anda.

  • Jika tidak, tentukan default.

• YOUR_SUBNETWORK_NAME: subnetwork yang digunakan cluster GKE. Tentukan salah satu nilai berikut:

  • Jika Anda membuat subnetwork kustom, tentukan nama subnetwork Anda. Anda hanya dapat menentukan subnetwork yang ada di region yang sama dengan pemesanan.

  • Jika tidak, tentukan default.

Membuat cluster GKE dalam mode Autopilot

Untuk membuat cluster GKE dalam mode Autopilot, jalankan perintah berikut:

gcloud container clusters create-auto $CLUSTER_NAME \
    --project=$PROJECT_ID \
    --region=$REGION \
    --release-channel=rapid \
    --network=$NETWORK \
    --subnetwork=$SUBNETWORK

Mungkin perlu waktu beberapa saat untuk membuat cluster GKE. Untuk memastikan bahwa Google Cloud telah selesai membuat cluster, buka cluster Kubernetes di konsol Google Cloud .

Membuat secret Kubernetes untuk kredensial Hugging Face

Untuk membuat secret Kubernetes untuk kredensial Hugging Face, lakukan hal berikut:

1. Konfigurasi kubectl untuk berkomunikasi dengan cluster GKE Anda:

   gcloud container clusters get-credentials $CLUSTER_NAME \
       --location=$REGION

2. Buat secret Kubernetes untuk menyimpan token Hugging Face Anda:

   kubectl create secret generic hf-secret \
       --from-literal=hf_token=${HUGGING_FACE_TOKEN} \
       --dry-run=client -o yaml | kubectl apply -f -

Membuat bucket Cloud Storage

Jika Anda menggunakan bucket Cloud Storage yang ada, pastikan hal berikut benar:

• Bucket Cloud Storage Anda berada di region yang sama dengan cluster GKE Anda.
• Akun layanan Anda memiliki izin write yang diperlukan di bucket.

Untuk menyimpan model Anda di bucket Cloud Storage baru, selesaikan langkah-langkah berikut:

1. Jalankan perintah berikut untuk membuat bucket:

   gcloud storage buckets create gs://$GCS_BUCKET --location=$REGION --uniform-bucket-level-access

2. Berikan izin write di bucket Cloud Storage ke akun layanan default.

   gcloud storage buckets add-iam-policy-binding gs://$GCS_BUCKET \
       --member="principal://iam.googleapis.com/projects/$PROJECT_NUMBER/locations/global/workloadIdentityPools/$PROJECT_ID.svc.id.goog/subject/ns/default/sa/default" \
       --role="roles/storage.objectAdmin"

Mendownload model ke bucket Cloud Storage Anda

Untuk mendownload model ke bucket Cloud Storage, selesaikan langkah-langkah berikut:

1. Buat file gpt-download-job.yaml:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: gpt-download-job
     namespace: default
   spec:
     template:
       metadata:
         labels:
           app: gpt-oss-downloader
         annotations:
           gke-gcsfuse/volumes: "true"
       spec:
         restartPolicy: OnFailure
         containers:
         - name: downloader
           image: python:3.11-slim
           resources:
             requests:
               cpu: "4"
               memory: "16Gi"
             limits:
               cpu: "4"
               memory: "16Gi"
           env:
           - name: HUGGING_FACE_HUB_TOKEN
             valueFrom:
               secretKeyRef:
                 name: hf-secret
                 key: hf_token
           - name: HF_HUB_ENABLE_HF_TRANSFER
             value: "0"
           - name: HF_HOME
             value: "/tmp/hf_cache"
           command: ["/bin/sh", "-c"]
           args:
           - |
             echo "Installing Hugging Face Hub library..."
             pip install -U "huggingface_hub"
   
             echo "Beginning model snapshot download to GCS Fuse..."
             hf download openai/gpt-oss-120b \
               --token "$HUGGING_FACE_HUB_TOKEN" \
               --local-dir /mnt/gcs/gpt-oss-120b \
               --max-workers 1
   
             DOWNLOAD_STATUS=$?
   
             if [ $DOWNLOAD_STATUS -eq 0 ]; then
               echo "Download Complete!"
             else 
               echo "ERROR: Model download failed with exit code $DOWNLOAD_STATUS"
               exit $DOWNLOAD_STATUS
             fi
   
           volumeMounts:
           - mountPath: /mnt/gcs
             name: gcs-bucket-volume
         volumes:
         - name: gcs-bucket-volume
           csi:
             driver: gcsfuse.csi.storage.gke.io
             volumeAttributes:
               bucketName: $GCS_BUCKET
               mountOptions: "implicit-dirs"

2. Untuk melakukan inisialisasi tugas download, terapkan manifes gpt-download-job.yaml.

   envsubst '$GCS_BUCKET' < gpt-download-job.yaml | kubectl apply -f -

   Resource tugas mendownload bobot model gpt-oss-120b dari Hugging Face ke bucket Cloud Storage Anda. Proses download memerlukan waktu sekitar 30 menit. Setelah download selesai, lanjutkan ke bagian berikutnya untuk meluncurkan deployment model.

3. Untuk melihat status penyelesaian, jalankan perintah berikut:

   kubectl wait \
       --for=condition=Complete \
       --timeout=7200s job/gpt-download-job

   Flag --timeout menentukan berapa lama perintah memantau tugas sebelum waktu tunggu habis.

4. Untuk menghapus tugas, jalankan perintah berikut:

   kubectl delete job gpt-download-job

Men-deploy container vLLM ke cluster GKE Anda

Setelah mendownload model ke bucket Cloud Storage, deploy container vLLM ke cluster GKE Anda:

1. Buat file vllm-gpt-oss-120b.yaml dengan deployment vLLM yang Anda pilih:

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: vllm-gpt-oss-deployment
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: gpt-oss
     template:
       metadata:
         labels:
           app: gpt-oss
           ai.gke.io/model: gpt-oss-120b
           ai.gke.io/inference-server: vllm
           examples.ai.gke.io/source: user-guide
         annotations:
           gke-gcsfuse/volumes: "true"
       spec:
         containers:
         - name: vllm-inference
           image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250822_0916_RC01
           resources:
             requests:
               cpu: "10"
               memory: "128Gi"
               ephemeral-storage: "240Gi"
               nvidia.com/gpu: "8"
             limits:
               cpu: "10"
               memory: "128Gi"
               ephemeral-storage: "240Gi"
               nvidia.com/gpu: "8"
           command: ["python3", "-m", "vllm.entrypoints.openai.api_server"]
           args:
           - --model=/mnt/gcs/gpt-oss-120b
           - --tensor-parallel-size=8
           - --host=0.0.0.0
           - --port=8000
           - --max-model-len=8192
           - --max-num-seqs=4
           volumeMounts:
           - mountPath: /dev/shm
             name: dshm
           - mountPath: /mnt/gcs
             name: gcs-bucket-volume
             readOnly: true
           livenessProbe:
             httpGet:
               path: /health
               port: 8000
             initialDelaySeconds: 900
             periodSeconds: 10
           readinessProbe:
             httpGet:
               path: /health
               port: 8000
             initialDelaySeconds: 900
             periodSeconds: 5
         volumes:
         - name: dshm
           emptyDir:
             medium: Memory
         - name: gcs-bucket-volume
           csi:
             driver: gcsfuse.csi.storage.gke.io
             volumeAttributes:
               bucketName: $GCS_BUCKET
               mountOptions: "implicit-dirs,file-cache:max-size-mb:-1,file-cache:enable-parallel-downloads:true,file-cache:max-parallel-downloads:32,file-cache:parallel-downloads-per-file:8,file-cache:download-chunk-size-mb:16"
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-b200
           cloud.google.com/reservation-name: $RESERVATION_URL
           cloud.google.com/reservation-affinity: "specific"
           cloud.google.com/gke-gpu-driver-version: latest
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: oss-service
   spec:
     selector:
       app: gpt-oss
     type: ClusterIP
     ports:
     - protocol: TCP
       port: 8000
       targetPort: 8000
   ---
   apiVersion: monitoring.googleapis.com/v1
   kind: PodMonitoring
   metadata:
     name: vllm-gpt-oss-monitoring
   spec:
     selector:
       matchLabels:
         app: gpt-oss
     endpoints:
     - port: 8000
       path: /metrics
       interval: 30s

2. Terapkan file vllm-gpt-oss-120b.yaml ke cluster GKE Anda:

   envsubst < vllm-gpt-oss-120b.yaml | kubectl apply -f -

3. Untuk melihat status penyelesaian, jalankan perintah berikut:

   kubectl wait \
       --for=condition=Available \
       --timeout=7200s deployment/vllm-gpt-oss-deployment

   Flag --timeout memungkinkan perintah memantau deployment selama jangka waktu yang ditentukan.

Berinteraksi dengan model gpt-oss menggunakan curl

Untuk memverifikasi model gpt-oss yang Anda deploy, lakukan hal berikut:

1. Siapkan penerusan port ke model gpt-oss:

   kubectl port-forward service/oss-service 8000:8000

2. Buka jendela terminal baru. Kemudian, Anda dapat melakukan chat dengan model Anda menggunakan curl:

   curl http://127.0.0.1:8000/v1/chat/completions \
   -X POST \
   -H "Content-Type: application/json" \
   -d '{
     "model": "openai/gpt-oss-120b",
     "messages": [
       {
         "role": "user",
         "content": "Describe a sailboat in one short sentence?"
       }
     ]
   }' | jq .

3. Output yang Anda lihat mirip dengan berikut ini:

   {
     "id": "chatcmpl-2235c39759c040daae23ce2addc40c0a",
     "object": "chat.completion",
     "created": 1756831629,
     "model": "openai/gpt-oss-120b",
     "choices": [
       {
         "index": 0,
         "message": {
           "role": "assistant",
           "content": "A sleek vessel gliding on water, its cloth sails billowing like captured wind.",
           "refusal": null,
           "annotations": null,
           "audio": null,
           "function_call": null,
           "tool_calls": [],
           "reasoning_content": "User asks: \"Describe a sailboat in one short sentence?\" We need to produce a short sentence description. Should comply with policy. It's fine. Provide a short sentence."
         },
         "logprobs": null,
         "finish_reason": "stop",
         "stop_reason": null
       }
     ],
     "service_tier": null,
     "system_fingerprint": null,
     "usage": {
       "prompt_tokens": 80,
       "total_tokens": 142,
       "completion_tokens": 62,
       "prompt_tokens_details": null
     },
     "prompt_logprobs": null,
     "kv_transfer_params": null
   }
   

Mengamati performa model

Untuk mengamati performa model, Anda dapat menggunakan integrasi dasbor vLLM di Cloud Monitoring. Dasbor ini membantu Anda melihat metrik performa penting untuk model Anda, seperti throughput token, latensi jaringan, dan tingkat error. Untuk mengetahui informasinya, lihat vLLM dalam dokumentasi Monitoring.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus resource

Setelah menyelesaikan tutorial, hapus resource yang tidak diperlukan lagi.

1. Untuk menghapus deployment dan layanan yang ditentukan dalam file vllm-gpt-oss-120b.yaml dan secret Kubernetes dari cluster GKE, jalankan perintah berikut:

   envsubst < vllm-gpt-oss-120b.yaml | kubectl delete -f -
   kubectl delete secret hf-secret

2. Untuk menghapus bucket Cloud Storage, jalankan perintah berikut:

   gcloud storage rm --recursive gs://$GCS_BUCKET

3. Untuk menghapus cluster GKE, lakukan hal berikut:

   gcloud container clusters delete $CLUSTER_NAME \
       --region=$REGION \
       --quiet

Menghapus project Anda

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Menghapus project Google Cloud :

gcloud projects delete PROJECT_ID

Langkah berikutnya

• Mengelola cluster GKE yang dioptimalkan untuk AI
• Pelajari layanan penyimpanan yang direkomendasikan untuk workload AI dan ML