本教學課程說明如何在 Google Kubernetes Engine (GKE) 部署及提供 Qwen3-30B-A3B (Qwen/Qwen3-30B-A3B-FP8),這是一種專家混合模型。部署作業會使用多主機 TPU v6e (Trillium) 加速器和 vLLM TPU 服務架構,並搭配 TorchTPU (torchtpu) 和預填解碼 (PD) 分解。
在本教學課程說明的部署設定中,您會佈建兩個多主機 ct6e-standard-4t 節點集區,每個集區都以 2x4 拓撲排列 (每個節點集區有兩個節點,共八個 TPU v6e 晶片,總計 16 個 TPU v6e 晶片)。您將使用 Kubernetes JobSet API 和 Ray 執行下列操作:
- 在不同的 TPU v6e 切片上,執行分散式多主機預先填入和解碼伺服器,並啟用資料平行處理和專家平行處理。
- 透過解構 Proxy 轉送要求。
如要在 TPU7x (Ironwood) 加速器上,使用較大的 Qwen3.5-397B 模型執行類似的多主機 vLLM TorchTPU 服務工作流程,請參閱「在 GKE 上使用 TPU7x 加速器上的多主機 vLLM TorchTPU 提供 Qwen3.5-397B 服務」。
目標
- 設定 GKE 叢集和多主機 TPU v6e 節點集區。
- 將模型權重暫存至 Cloud Storage bucket。
- 使用 JobSet 部署多主機 vLLM TorchTPU 預填、解碼和 Proxy 伺服器。
- 執行基準測試工作負載,並分析結果。
- 清除所用資源。
費用
在本文件中,您會使用下列Google Cloud計費元件:
您可以使用 Pricing Calculator 根據預測用量估算費用。
完成本文所述工作後,您可以刪除建立的資源,避免繼續計費,詳情請參閱「清除所用資源」一節。
事前準備
為教學課程設定環境:
在 Google Cloud 專案中啟用 Kubernetes Engine API:
安裝
kubectl和gke-gcloud-auth-plugin。如果使用 Cloud Shell,這些工具已預先安裝。如果您是透過 Linux 或 macOS 工作站 (而非 Cloud Shell) 執行本教學課程,請安裝
envsubst公用程式 (包含在gettext或gettext-base套件中)。確認專案在 TPU 容量所在區域有足夠的 SSD 配額和外部 IP 位址配額:
在 Google Cloud 控制台,前往「Quotas & System Limits」(配額與系統限制) 頁面。
依「Persistent Disk SSD (GB)」篩選,確認目標區域有足夠的 SSD 配額。
依「使用中的區域性外部 IPv4 位址」篩選,確認目標區域有足夠的 IP 位址配額。
取得 Hugging Face 存取權杖
您需要 Hugging Face 存取權杖,才能使用本教學課程。您可以在 Hugging Face 註冊免費帳戶。建立帳戶後,請產生存取權杖:
- 在「Welcome to Hugging Face」(歡迎使用 Hugging Face) 頁面,點選帳戶顯示圖片,然後選取「Access tokens」(存取權杖)。
- 在「存取權杖」頁面,點選「建立新權杖」。
- 選取「Read」權杖類型,並輸入權杖名稱。
- 系統會顯示存取權杖。將權杖儲存在安全的地方。
必要的角色
如要取得完成本教學課程所需的權限,請要求管理員在專案中授予您下列 IAM 角色:
- Kubernetes Engine 管理員 (
roles/container.admin) - Compute 管理員 (
roles/compute.admin) - 儲存空間管理員 (
roles/storage.admin) - 服務帳戶使用者 (
roles/iam.serviceAccountUser) - 服務使用情形消費者 (
roles/serviceusage.serviceUsageConsumer)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
設定環境變數
如要設定環境變數,請完成下列步驟:
設定驗證機制:
匯出本教學課程中使用的環境變數:
更改下列內容:
YOUR_PROJECT_ID:Google Cloud 專案的 ID。YOUR_REGION:要部署叢集的區域,例如us-central1。YOUR_ZONE:要部署 TPU v6e 節點集區的可用區,例如us-central1-c。YOUR_CLUSTER_NAME:GKE 叢集的名稱。名稱開頭須為小寫英文字母,只能使用小寫英文字母、數字和連字號 (-),結尾不得為連字號,且長度不得超過 40 個字元。YOUR_RESERVATION_NAME:如果使用預留項目,請提供 TPU v6e 預留項目的名稱。YOUR_GCS_BUCKET:Cloud Storage bucket 的全域不重複名稱,用於暫存模型權重。詳情請參閱「Bucket 命名規定」。YOUR_HF_TOKEN:您的 Hugging Face 存取權杖。
如果您使用自訂 vLLM TorchTPU 容器映像檔,請將
VLLM_IMAGE變數中的預設vllm/vllm-torchtpu映像檔 URI 替換為您的映像檔 URI。如需公開映像檔,請參閱 vLLM TorchTPU 存放區。
建立 GKE 叢集
如要以 Standard 模式建立 GKE 叢集,並連結兩個多主機 TPU v6e 節點集區,用於預先填入和解碼拆解,請完成下列步驟:
建立區域性 GKE 叢集,並啟用 Workload Identity Federation for GKE:
輸出結果會與下列內容相似:
NAME LOCATION MASTER_VERSION MASTER_IP MACHINE_TYPE NODE_VERSION NUM_NODES STATUS STACK_TYPE asq-v6e us-central1 1.35.7-gke.1027000 35.226.172.84 e2-standard-4 1.35.7-gke.1027000 3 RUNNING IPV4建立兩個多主機 TPU v6e 節點集區,每個集區包含兩個
ct6e-standard-4t節點 (每個節點集區有八個 TPU v6e 晶片,採用2x4拓撲,共 16 個 TPU v6e 晶片)。選取容量用量選項:Spot VM
使用 Spot 運算資源 (
--spot) 佈建節點集區:建立節點集區後,使用 Spot 容量的執行個體可能需要一段時間才能建立,且在工作負載執行期間可能會遭到先占。
特定預留項目
使用特定預留項目佈建節點集區:
如要進一步瞭解 TPU 預留項目,請參閱「關於 Cloud TPU 預留項目」。
彈性啟動型 VM
使用彈性啟動用量方案佈建節點集區:
詳情請參閱「使用 TPU 和彈性啟動 VM 執行小型批次工作負載」。
每個節點集區的輸出內容大致如下:
NAME MACHINE_TYPE DISK_SIZE_GB NODE_VERSION np-0 ct6e-standard-4t 100 1.35.7-gke.1027000設定
kubectl憑證,以便與叢集通訊:
將模型權重暫存至 Cloud Storage
在 Cloud Storage bucket 中暫存模型權重,以便執行工作負載:
建立 Cloud Storage bucket,並啟用統一 bucket 層級存取權:
將 bucket 的 Identity and Access Management (IAM) 權限,授予預設 Compute Engine 服務帳戶和預設 Kubernetes 服務帳戶:
建立名為
hf-secret的 Kubernetes Secret,用於儲存 Hugging Face 存取權杖:擷取
download_qwen3_30b.yaml資訊清單:或者,您也可以建立名為
download_qwen3_30b.yaml的檔案,並在其中加入下列內容:將
Qwen/Qwen3-30B-A3B-FP8模型權重下載至暫存磁碟區,並轉移至 Cloud Storage bucket:這個步驟大約需要 5 到 10 分鐘才能完成。
等待 Pod 啟動,並監控下載工作的記錄:
工作完成後,請確認 Cloud Storage bucket 中有全部七個
.safetensorsshard:刪除已完成的暫存工作:
部署多主機 vLLM TorchTPU 伺服器
工作負載資訊清單 (v6e_qwen3_server_multihost_slice.yaml) 定義了 Kubernetes JobSet 資源 (vllm-qwen3-30b-pd-disagg-v6e),其中包含三個複製工作,可協調兩個 2x4 TPU v6e 節點集區中,分散的預先填入和解碼服務:
預先填入伺服器 (
prefill):在一個2x4TPU v6e 節點集區中執行兩個副本 (兩個ct6e-standard-4t節點,每部主機有四個晶片,共八個 TPU 核心)。Pod 會形成雙節點 Ray 叢集,並在通訊埠8000上為Qwen/Qwen3-30B-A3B-FP8啟動 vLLM TorchTPU。伺服器會使用設為kv_producer的TPURaidenConnector,並加上下列旗標:--data-parallel-size=8--tensor-parallel-size=1--enable-expert-parallel--load-format=runai_streamer
解碼伺服器 (
decode):在第二個2x4TPU v6e 節點集區 (共八個 TPU 核心) 執行兩個副本。JobSet 會在cloud.google.com/gke-nodepool標籤上使用 Pod 親和性和反親和性規則,將預先填入和解碼作業隔離至不同的節點集區。Pod 會形成雙節點 Ray 叢集,並在通訊埠7200上啟動 vLLM TorchTPU,TPURaidenConnector則設為kv_consumer。分解 Proxy (
proxy):在通訊埠10000執行toy_proxy_server.py指令碼,協調預先填入伺服器 (通訊埠8000) 和解碼伺服器 (通訊埠7200) 之間的要求轉送和 KV 快取移轉。
如要部署及監控解構式 vLLM 伺服器,請完成下列步驟:
在叢集上安裝 Kubernetes JobSet CustomResourceDefinition 和控制器:
擷取伺服器資訊清單:
或者,您也可以建立名為
v6e_qwen3_server_multihost_slice.yaml的檔案,並在當中加入下列內容:將 Cloud Storage bucket 名稱和容器映像檔替換為
v6e_qwen3_server_multihost_slice.yaml檔案,並套用資訊清單:replicascloud.google.com/gke-tpu-topologyray statusTPU 數量--data-parallel-size
等待 Pod 準備就緒,然後監控預先填入和解碼 Pod 記錄,直到應用程式啟動完成:
等待預先填入、解碼和 Proxy Pod 達到
Ready狀態:串流預先填入伺服器記錄:
串流解碼伺服器記錄:
如要停止串流記錄,請隨時按下 Control+C。首次執行時,初始模型載入和編譯作業約需 15 到 25 分鐘。
如果您使用 Spot 容量或彈性啟動型 VM 等先占容量,建立節點集區後,可能需要較長時間才能建立 TPU 磁碟區節點,而且這些節點可能會在工作負載執行期間遭到先占。詳情請參閱「先占 VM 執行個體」。如要確認 TPU 切片節點是否已建立,請參閱「查看節點的狀態和條件」。
請等待預先填入和解碼伺服器記錄都回報
Application startup complete,再執行基準測試工作負載:(APIServer pid=1) INFO: Started server process [1] (APIServer pid=1) INFO: Waiting for application startup. (APIServer pid=1) INFO: Application startup complete.
執行基準工作負載
如要使用 8,192 個詞元的輸入和 1,024 個詞元的輸出 (8k/1k) 工作負載,對部署的 Qwen3-30B-A3B 模型進行基準測試,請完成下列步驟:
擷取基準測試資訊清單:
或者,您也可以建立名為
v6e_qwen3_benchmark_multihost_slice.yaml的檔案,並加入下列內容:套用基準測試工作資訊清單:
等待基準測試 Pod 準備就緒,並監控基準測試工作記錄:
基準工作負載約需 10 分鐘才能完成。基準 Pod 記錄會停滯,直到完成為止。
基準測試完成後,請尋找包含下列指標的輸出內容:
Output token throughputTotal token throughputTTFTTPOT
清除所用資源
如要避免系統向您的 Google Cloud 帳戶收取這個教學課程所用資源的費用,請刪除 Kubernetes 工作負載、GKE 叢集和 Cloud Storage bucket:
刪除基準測試工作、vLLM 伺服器 JobSet 和 Hugging Face Secret:
刪除 GKE 叢集,這會自動刪除叢集中的所有節點集區:
或者,如要保留 GKE 叢集,請刪除 TPU v6e 節點集區 (
np-0和np-1):刪除儲存暫存模型權重的 Cloud Storage bucket。如要保留模型權重,請略過這個步驟,或將權重複製到偏好的位置:
後續步驟
- 進一步瞭解 Cloud TPU 上的 vLLM。
- 進一步瞭解 TPU v6e (Trillium)。
- 進一步瞭解 Cloud TPU。