Cloud TPU 创建概览
Compute Engine 允许您创建和管理 TPU 虚拟机 (VM),这些虚拟机可以作为单个实例或托管式实例组 (MIG) 的一部分。MIG 可以包含多个单主机 TPU 虚拟机或多主机 TPU 切片。如果您的工作负载是多个独立的推理工作负载,那么最好使用包含单主机虚拟机的 MIG。具有多主机 TPU 切片的 MIG 具有多个互连的 TPU 虚拟机,这些虚拟机可作为一个单元协同处理单个工作负载。您创建和管理 TPU 虚拟机的方式取决于您的工作负载要求。
如需了解如何创建单个 TPU 虚拟机,请参阅创建单个 TPU 虚拟机实例。 如需了解 MIG 和 TPU,请参阅创建具有 MIG 的 Cloud TPU 虚拟机
后续步骤
- 了解如何创建具有单主机 Cloud TPU 切片的 MIG。
- 了解如何创建具有多主机 Cloud TPU 切片的 MIG。
- 了解如何管理 TPU 虚拟机。
- 了解 GKE 中的 TPU。
- 了解如何在 TPU 上运行机器学习工作负载,例如在 TPU 上使用 vLLM 部署 Qwen2-72B-Instruct。