本教學課程說明如何使用單一主機 TPU v6e (Trillium) 加速器和 vLLM TPU 服務框架搭配 TorchTPU (torchtpu),在 Google Kubernetes Engine (GKE) 上部署及提供專家混合模型 Qwen3-30B-A3B (Qwen/Qwen3-30B-A3B-FP8)。您會在單一 ct6e-standard-4t 節點上執行工作負載,該節點包含四個 TPU v6e 晶片,採用 2x2 拓撲,並啟用資料平行處理和專家平行處理。
如要在 TPU7x (Ironwood) 加速器上,使用較大的 Qwen3.5-397B 模型執行類似的單一主機 vLLM TorchTPU 服務工作流程,請參閱「在 GKE 上使用 TPU7x 加速器上的 vLLM TorchTPU 提供 Qwen3.5-397B 服務」。
目標
- 設定 GKE 叢集和單一主機 TPU v6e 節點集區。
- 在 GKE 部署單一主機 vLLM TorchTPU 伺服器。
- 向 vLLM TorchTPU 伺服器傳送推論要求。
- 執行基準測試工作負載。
- 清除所用資源。
費用
在本文件中,您會使用下列Google Cloud計費元件:
您可以使用 Pricing Calculator 根據預測用量估算費用。
完成本文所述工作後,您可以刪除建立的資源,避免繼續計費,詳情請參閱「清除所用資源」一節。
事前準備
為教學課程設定環境:
在 Google Cloud 專案中啟用 Kubernetes Engine API:
在 Google Cloud 專案中啟用 Artifact Registry API:
安裝並初始化 Google Cloud CLI。如果使用 Cloud Shell,則 Google Cloud CLI 已預先安裝。
安裝
kubectl、gke-gcloud-auth-plugin、jq和envsubst。如果您使用的是 Cloud Shell,這些工具已預先安裝。確認專案在 TPU 容量所在區域,有足夠的 Google Cloud Hyperdisk Balanced 配額和外部 IP 位址配額:
在 Google Cloud 控制台,前往「Quotas & System Limits」(配額與系統限制) 頁面。
依「Hyperdisk Balanced Capacity (GB)」篩選,確認模型快取磁碟區 (500 GB) 和 TPU 節點開機磁碟 (100 GB) 至少有 600 GB 的可用配額。
依「使用中的區域性外部 IPv4 位址」篩選,確認目標區域有足夠的 IP 位址配額。
取得 Hugging Face 存取權杖
您需要 Hugging Face 存取權杖,才能使用本教學課程。您可以在 Hugging Face 註冊免費帳戶。建立帳戶後,請產生存取權杖:
- 在「Welcome to Hugging Face」(歡迎使用 Hugging Face) 頁面,點選帳戶顯示圖片,然後選取「Access tokens」(存取權杖)。
- 在「存取權杖」頁面,點選「建立新權杖」。
- 選取「Read」權杖類型,並輸入權杖名稱。
- 系統會顯示存取權杖。將權杖儲存在安全的地方。
必要的角色
如要取得完成本教學課程所需的權限,請要求管理員在專案中授予您下列 IAM 角色:
- Kubernetes Engine 管理員 (
roles/container.admin) - Compute 管理員 (
roles/compute.admin) - 服務帳戶使用者 (
roles/iam.serviceAccountUser) - 服務使用情形消費者 (
roles/serviceusage.serviceUsageConsumer)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
設定環境變數
設定驗證機制:
設定環境變數:
更改下列內容:
YOUR_PROJECT_ID: Google Cloud專案的 ID。YOUR_REGION:容量所在及要部署叢集的區域,例如us-central1。YOUR_ZONE:容量所在及要部署 TPU v6e 節點集區的可用區,例如us-central1-c。YOUR_CLUSTER_NAME:GKE 叢集的名稱,例如tpu-v6e-tutorial-cluster。名稱長度不得超過 40 個字元,開頭須為小寫英文字母,且只能使用小寫英文字母、數字和連字號。YOUR_RESERVATION_NAME:如果使用預留項目,請提供 TPU v6e 預留項目的名稱。YOUR_HF_TOKEN:您的 Hugging Face 存取權杖。YOUR_NETWORK_NAME:Google Cloud 網路的名稱。如果您建立了自訂網路,請指定該網路。否則,請指定default。YOUR_SUBNETWORK_NAME:Google Cloud 子網路的名稱。如果您建立了自訂子網路,請指定該子網路。否則,請指定default。
如果您使用自訂 vLLM TorchTPU 容器映像檔,請將 VLLM_IMAGE 變數中的預設 vllm/vllm-torchtpu 映像檔 URI 替換為您的映像檔 URI。如需公開映像檔,請參閱 vLLM TorchTPU 存放區。
建立 GKE 叢集
如要以 Standard 模式建立 GKE 叢集,並連結單一主機 TPU v6e 節點集區,請完成下列步驟:
建立區域性 GKE 叢集:
GKE 叢集的預設機器類型 (
e2-medium) 沒有足夠的 CPU 容量來執行工作負載控制器,因此這個指令會指定e2-standard-4。輸出結果會與下列內容相似:
NAME LOCATION MASTER_VERSION MASTER_IP MACHINE_TYPE NODE_VERSION NUM_NODES STATUS tpu-v6e-tutorial-cluster us-central1 1.35.7-gke.1027000 34.63.222.246 e2-standard-4 1.35.7-gke.1027000 3 RUNNING使用預留項目,建立含有一個
ct6e-standard-4t節點 (2x2拓撲中的四個 TPU v6e 晶片) 的單一主機 TPU v6e 節點集區:除了使用特定預留項目,您也可以使用 Spot 運算資源或彈性啟動型 VM 建立節點集區,只要將
--reservation-affinity和--reservation旗標替換為下列旗標即可:- Spot VM:如要使用 Spot 容量佈建節點集區,請傳遞
--spot旗標。使用 Spot 容量的執行個體可能需要一些時間才能建立,且在節點集區建立後,在工作負載執行期間可能會遭到先占。如果 Pod 需要一段時間才能建立,或工作負載在執行期間停止,可能就是這個原因。 - 彈性啟動型 VM:如要使用彈性啟動用量方案佈建節點集區,請傳遞
--flex-start旗標。詳情請參閱「使用 TPU 和彈性啟動 VM 執行小型批次工作負載」。
輸出結果會與下列內容相似:
NAME MACHINE_TYPE DISK_SIZE_GB NODE_VERSION np-0 ct6e-standard-4t 100 1.35.7-gke.1027000- Spot VM:如要使用 Spot 容量佈建節點集區,請傳遞
設定
kubectl憑證,以便與叢集通訊:
設定憑證
建立名為 hf-secret 的 Kubernetes Secret,用於儲存 Hugging Face 存取權杖:
部署 vLLM TorchTPU 伺服器
工作負載資訊清單 (qwen3_server.yaml) 定義下列資源:
StorageClass (
hyperdisk-balanced-qwen3) 和 500 GiB PersistentVolumeClaim (hd-claim-qwen3),由 Google Cloud Hyperdisk Balanced 儲存空間支援,用於儲存下載的模型權重。Deployment (
vllm-qwen3) 排定在單一 TPU v6e 節點上,採用2x2拓撲 (google.com/tpu: '4')。容器會執行vllm serve,用於Qwen/Qwen3-30B-A3B-FP8,並使用下列旗標:--data-parallel-size=4--tensor-parallel-size=1--enable-expert-parallel--kv-cache-dtype=fp8--max-model-len=9236--max-num-seqs=64
公開通訊埠
8000的ClusterIPService (vllm-qwen3-service)。
如要部署及監控工作負載,請完成下列步驟:
擷取伺服器資訊清單:
或者,您也可以選擇建立名為
qwen3_server.yaml的檔案,並加入下列內容:將 vLLM TorchTPU 伺服器資訊清單套用至叢集:
監控伺服器部署記錄,直到應用程式啟動完成:
如要停止串流記錄,請隨時按下 Control+C 鍵。Pod 下載模型權重並編譯模型時,初始服務啟動作業可能需要約 15 到 30 分鐘。
如果使用 Spot 或彈性啟動等先占式運算資源,建立節點集區後,可能需要較長時間才能建立 TPU 切片節點,而且這些節點可能會在工作負載執行期間遭到先占。如果 Pod 啟動時間比預期長,或工作負載中途停止,可能就是這個原因。詳情請參閱「Spot VM 先占」。如要確認 TPU 切片節點是否已建立,請參閱「查看節點的狀態和條件」。
請等到記錄回報
Application startup complete後,再傳送流量:(APIServer pid=1) INFO: Started server process [1] (APIServer pid=1) INFO: Waiting for application startup. (APIServer pid=1) INFO: Application startup complete.開啟第二個終端機工作階段。
在第二個終端機工作階段中,將本機通訊埠
8000轉送至vllm-qwen3-service:讓通訊埠轉送功能在這個終端機工作階段中保持運作。
傳送推論要求
返回第一個終端機工作階段,並將對話完成要求傳送至 /v1/chat/completions 端點:
執行基準工作負載
如要使用 InferenceX 基準套件,以 8,192 個詞元的輸入和 1,024 個詞元的輸出 (8k/1k) 工作負載,對部署的 Qwen3-30B-A3B 模型進行基準測試,請完成下列步驟:
擷取基準測試資訊清單:
或者,您也可以建立名為
qwen3-benchmark-8k1k.yaml的檔案,並在其中加入下列內容:套用基準測試 Pod 資訊清單:
監控基準記錄:
基準測試約需 25 到 30 分鐘才能完成。基準工作負載開始執行後,可能要等到執行完畢才會產生輸出記錄。
基準測試完成後,請尋找包含下列指標的輸出內容:
Output token throughputTotal token throughputTTFTTPOT
清除所用資源
為避免系統持續向您的 Google Cloud 帳戶收取本教學課程所用資源的額外費用,請刪除 Kubernetes 工作負載、TPU 節點集區和 GKE 叢集:
刪除 vLLM TorchTPU 伺服器 Deployment、Service、PersistentVolumeClaim 和 Hugging Face Secret:
刪除 TPU v6e 節點集區和 GKE 叢集:
後續步驟
- 進一步瞭解 Cloud TPU 上的 vLLM。
- 進一步瞭解 TPU v6e (Trillium)。
- 進一步瞭解 Cloud TPU。