範例

使用 JAX 訓練

• 在 Trillium 上使用 JAX、Ray 和 GKE 訓練 Llama 3-8B

  在 GKE 上使用 JAX、Ray Train 和 TPU v6e (Trillium) 搭配 MaxText，對 Llama 3-8B 模型執行分散式訓練，以最佳化多主機擴充。

• 在 Ironwood 上使用 GKE 叢集預先訓練 Llama 3.1-70B

  使用 MaxText 架構，在 TPU7x (Ironwood) 上訓練 Llama 3.1-70B 模型。

• 在 Ironwood 上使用 GKE 叢集預先訓練 DeepSeek 3-671B

  使用針對大規模混合專家 (MoE) 架構最佳化的配方，在 TPU7x 上訓練 DeepSeek 3-671B 模型。

• 在 Ironwood 上使用 GKE 叢集預先訓練 GPT OSS-120B

  使用最佳化配方，在 TPU7x 上訓練 GPT OSS-120B 推論模型，進行大規模分散式訓練。

• 在 Ironwood 使用 GKE 叢集預先訓練 Qwen 3-235B

  使用最佳化配方在 TPU7x 上訓練 Qwen 3-235B-A22B MoE 模型，以達到高效能推論。

• 在 Ironwood 上使用 GKE 叢集預先訓練 Wan 2.1-14B

  使用最佳化配方在 TPU7x 訓練 Wan 2.1-14B 影片生成模型，合成高效能影片。

• 在 Trillium 上使用 GKE 叢集預先訓練 GPT3-175B

  使用 MaxText 和最佳化配方，在 TPU v6e 上訓練 GPT3-175B 模型，以符合成本效益的方式大規模提升效能。

• 在 Trillium 上使用 GKE 叢集預先訓練 Gemma3-12B

  使用 MaxText 和最佳化配方，在 TPU v6e 訓練 Gemma3-12B 模型，開發高效能的開放式模型。

• 在 Trillium 上使用 GKE 叢集預先訓練 Llama 3.1-70B

  使用 MaxText 和最佳化配方，在 TPU v6e 訓練 Llama 3.1-70B，進行高處理量的大規模模型訓練。

• 在 Trillium 上使用 GKE 叢集預先訓練 Llama 3.1-8B

  這項最佳化配方可擴充且高效能，適合用於預先訓練，讓您在 TPU v6e 使用 MaxText 訓練 Llama 3.1-8B。

• 在 Trillium 上使用 GKE 叢集預先訓練 Mixtral-8x22B

  使用 MaxText 在 TPU v6e 上訓練 Mixtral-8x22B，達到最佳效能和效率。

• 在 Trillium 上使用 GKE 叢集預先訓練 Mixtral-8x7B

  在 TPU v6e 上使用 MaxText 訓練 Mixtral-8x7B，並採用最佳化設定，在 Google Cloud 上實現高處理量的 MoE 效能。

• 在 v5p 上使用 GKE 叢集預先訓練 DeepSeek 3-671B

  使用 MaxText 在 TPU v5p 訓練及部署 DeepSeek 3-671B 模型，大規模提升效能。

• 在 v5p 上使用 GKE 叢集預先訓練 GPT3-175B

  使用 MaxText 在 TPU v5p 上訓練 GPT3-175B 模型，並採用最佳化設定，進行大規模分散式訓練。

• 在 v5p 使用 GKE 叢集預先訓練 Mixtral-8x7B

  使用 MaxText 在 TPU v5p 上訓練 Mixtral-8x7B，並採用最佳化設定，以高效能執行 MoE 工作負載。

• 在 v5p 上使用 GKE 叢集預先訓練 SDXL

  使用 MaxDiffusion 在 TPU v5p 訓練及擴充 Stable Diffusion XL (SDXL)，執行高效能生成式 AI 工作負載。

使用 PyTorch 進行訓練

• 在 Ironwood 上使用 GKE 叢集，透過 TorchTitan 預先訓練 Qwen 3-32B

  使用 PyTorch、TorchTPU 和 TorchTitan 架構，在 TPU7x (Ironwood) 上訓練 Qwen 3-32B 模型。

• 在 Ironwood 上使用 GKE 叢集，透過 TorchTitan 預先訓練 Qwen 3-30B-A3B

  使用 PyTorch、TorchTPU 和 TorchTitan，在 TPU7x 上訓練 Qwen 3-30B-A3B 混合專家 (MoE) 模型。

• 在 Ironwood 上使用 GKE 叢集，透過 TorchTitan 預先訓練 Qwen 3-8B

  使用 PyTorch、TorchTPU 和 TorchTitan，在 TPU7x 上訓練 Qwen 3-8B 模型，進行可擴充的分散式訓練。

• 在 Ironwood 上使用 GKE 叢集，透過 TorchTitan 預先訓練 Muse Glimmer 30B

  使用 PyTorch、TorchTPU 和 TorchTitan，在 TPU7x 上訓練 Muse Glimmer 30B 模型。

• 在 Ironwood 上使用 TorchTitan 預先訓練 Llama 3-70B

  使用 PyTorch、TorchTPU 和 TorchTitan，在 TPU7x (Ironwood) 訓練 Llama 3-70B 模型。

• 在 Trillium 上使用 TorchTitan 預先訓練 Llama 3-8B

  使用 PyTorch、TorchTPU 和 TorchTitan，在 TPU v6e (Trillium) 上訓練 Llama 3-8B 模型。

使用 JAX 進行推論

• 在 Trillium 上使用 GKE 和 vLLM 提供 Llama 3.1-70B

  在 GKE 上使用 TPU v6e 和 vLLM 提供 LLM，在 Google Cloud 享有最佳化的自動調度資源和高效能模型服務。

• 使用 GKE 搭配 KubeRay 提供 LLM

  透過 Ray Operator 外掛程式和 vLLM 服務架構，在 GKE 上使用 TPU 提供 LLM。

• 透過 Terraform 使用 GKE 提供開放式 LLM

  佈建 GKE 推論環境，並使用 TPU 和預先設定的 Terraform 架構部署開放式 LLM。

• 使用 GKE 提供 Stable Diffusion XL (SDXL)

  使用 Cloud TPU 和 MaxDiffusion 架構，在 GKE 上提供 Stable Diffusion XL (SDXL)，實現高效能圖像生成。

• 在 Ironwood 上使用 GKE 叢集，透過 vLLM 提供 GPT OSS-120B

  在 TPU7x 使用 vLLM 執行 GPT-OSS 模型的高效能推論，在 Google Cloud 享有最佳處理量和低延遲服務。

• 在 Ironwood 上使用 GKE 叢集，透過 vLLM 提供 Qwen3-Coder-480B 服務

  在 TPU7x 上使用 vLLM 提供 Qwen3-Coder-480B-A35B，以最佳化、高處理量的方式生成程式碼及推論。

• 在 Trillium 上使用 vLLM 提供 Llama 3.1-8B 服務

  使用 vLLM 在 TPU v6e 提供 Llama 3.1-8B，實現最佳化、低延遲推論和高處理量服務。

• 在 Trillium 上使用 vLLM 提供 Qwen 3 服務

  使用 vLLM 在 TPU v6e 上提供 Qwen 3 模型，實現高效能、可擴充的推論和最佳化處理量。

• 在 Trillium 上使用 vLLM 提供 Qwen2.5-32B 服務

  在 TPU v6e 上使用 vLLM 提供 Qwen2.5-32B 模型，實現最佳化的高處理量推論。

• 在 Trillium 上使用 vLLM 提供 Qwen2.5-VL 服務

  在 TPU v6e 上使用 vLLM 提供 Qwen2.5-VL 視覺語言模型，進行最佳化的高效能多模態推論。

使用 PyTorch 進行推論

• 在 Ironwood 上使用 GKE 叢集，透過 vLLM-TorchTPU 提供 Qwen 3.5-397B

  使用 PyTorch 和 vLLM-TorchTPU，在 TPU7x 上提供 Qwen 3.5-397B 模型，進行多主機分散式推論。

• 在 Ironwood 上使用 vLLM-TorchTPU 提供 Gemma 4-26B

  使用 PyTorch 和 vLLM-TorchTPU 後端，在 TPU7x 上提供 Gemma 4-26B 模型，進行高處理量推論。

• 在 Ironwood 上使用 vLLM-TorchTPU 提供 GLM-5.2

  使用 PyTorch 和 vLLM-TorchTPU 後端，在 TPU7x 上提供 GLM-5.2 模型。

• 在 Trillium 上使用 vLLM-TorchTPU 提供 Qwen 3-32B 服務

  使用 PyTorch 和 vLLM-TorchTPU 後端，在 TPU v6e (Trillium) 上提供 Qwen 3-32B 模型。

• 在 Trillium 上使用 vLLM-TorchTPU 提供 Qwen 3.5-35B-A3B 服務

  使用 PyTorch 和 vLLM-TorchTPU 後端，在 TPU v6e 上提供 Qwen 3.5-35B-A3B 混合專家 (MoE) 模型。

• 在 Trillium 上使用 vLLM-TorchTPU 提供 Gemma 4-26B 服務

  使用 PyTorch 和 vLLM-TorchTPU 後端，在 TPU v6e 上提供 Gemma 4-26B 模型。