大型語言模型
-
v6e 上的 JetStream MaxText 推論
本指南說明如何設定並使用 JetStream 搭配 MaxText,在 v6e 上執行推論。
-
在 v6e 上執行 JetStream PyTorch 推論
本指南說明如何設定及使用 JetStream 搭配 PyTorch,在 v6e 上進行推論。
-
在 v6e 上執行 vLLM 推論
指南:設定及使用 vLLM 在 v6e 上進行推論。
-
透過 vLLM 在 GKE 上使用 TPU 提供 LLM
本指南說明如何在 Google Kubernetes Engine (GKE) 上使用 vLLM 和 Tensor Processing Unit (TPU) 提供大型語言模型 (LLM)。