全代管的 Llama 模型


在 Gemini Enterprise Agent Platform,Llama 模型可做為代管 API 使用,也能自行部署。您可以串流回覆,縮短使用者感受到的延遲時間。串流回覆會使用伺服器傳送事件 (SSE),以遞增方式串流回覆。

代管 Llama 模型

Llama 模型提供全代管和無伺服器模型做為 API。如要在 Agent Platform 使用 Llama 模型,請直接將要求傳送至 Agent Platform API 端點。將 Llama 模型做為代管 API 使用時,不必佈建或管理基礎架構。

Gemini Enterprise Agent Platform 提供下列 Llama 模型。如要存取 Llama 模型,請前往其 Model Garden 模型資訊卡。

Llama 4 Maverick 17B-128E 這是最大、最強大的多模態 Llama 4 模型 (MoE 17B 活躍/400B 總計),專為程式設計、深度推論、複雜對話和高精確度圖像理解而最佳化。
Llama 4 Scout 17B-16E 高效 MoE 模型 (17B 活躍/109B 總計),在長文本檢索、文件摘要和大型程式碼庫推理方面,提供最先進的結果。

使用 Llama 模型

如果是代管模型,您可以使用 curl 指令,透過下列模型名稱將要求傳送至 Gemini Enterprise Agent Platform 端點。如要瞭解如何對 Llama 模型發出串流和非串流呼叫,請參閱「呼叫開放原始碼模型 API」。

如要使用自行部署的 Gemini Enterprise Agent Platform 模型,請按照下列步驟操作:

  1. 前往 Model Garden 控制台。
  2. 找出相關的 Gemini Enterprise Agent Platform 模型。
  3. 按一下「Enable」(啟用),並填寫提供的表單,取得必要的商業用途授權。

如要進一步瞭解如何部署及使用合作夥伴模型,請參閱「部署合作夥伴模型並提出預測要求」。

後續步驟

瞭解如何使用 Llama 模型。