自行部署的 Llama 模型

Llama 是 Meta 開發的一系列開放模型,您可以在 Gemini Enterprise Agent Platform 上微調及部署這些模型。Llama 提供預先訓練和指令微調的生成式文字和多模態模型。

Llama 4

Llama 4 模型系列是一組多模態模型,採用混合專家 (MoE) 架構。使用 MoE 架構時,具有大量參數的模型可以針對任何指定輸入內容啟動部分參數,進而提高推論效率。此外,Llama 4 使用早期融合技術,整合初始處理階段的文字和視覺資訊。這項方法可讓 Llama 4 模型更有效地掌握文字和圖片之間複雜細微的關係。Gemini Enterprise Agent Platform 的 Model Garden 提供兩種 Llama 4 模型:Llama 4 Scout 和 Llama 4 Maverick。

詳情請參閱 Model Garden 中的 Llama 4 模型資訊卡,或參閱「Introducing Llama 4 on Gemini Enterprise Agent Platform」網誌文章。

Llama 4 Maverick

Llama 4 Maverick 是最大且最強大的 Llama 4 模型,在程式設計、推論和圖像基準方面,都具備業界領先的能力。這個模型擁有 170 億個現用參數,總參數則有 4,000 億個,並由 128 位專家訓練。Llama 4 Maverick 使用交替的密集和 MoE 層,其中每個詞元會啟動共用專家,以及 128 位路由專家之一。您可以將模型當做預先訓練 (PT) 模型或指令微調 (IT) 模型使用,並支援 FP8。模型已預先訓練 200 種語言,並透過改良的訓練後管道,針對高品質的對話互動進行最佳化。

Llama 4 Maverick 是多模態模型,脈絡長度達 100 萬個詞元。適合用於進階圖像說明、分析、精確圖像解讀、視覺問與答、創意文字生成、通用型 AI 助理,以及需要頂尖智慧和圖像解讀能力的高階聊天機器人。

Llama 4 Scout

Llama 4 Scout 的脈絡窗口支援 1, 000 萬個詞元,以同級模型來說,可提供最先進的結果,在多項基準測試中,效能都優於前幾代 Llama 模型和其他開放及專有模型。這款模型共有 1,090 億個參數,其中 170 億個為現用參數,並有 16 位專家參與訓練,可做為預先訓練 (PT) 或指令調整 (IT) 模型使用。Llama 4 Scout 適合用於長篇脈絡資料的擷取工作,以及需要大量資訊推論的工作,例如總結多份大型文件、分析大量使用者互動記錄以進行個人化,以及在大型程式碼集進行推論。

Llama 3.3

Llama 3.3 是純文字 70B 指令微調模型,用於純文字應用程式時,效能比 Llama 3.1 70B 和 Llama 3.2 90B 更出色。此外,在某些應用程式中,Llama 3.3 70B 的效能接近 Llama 3.1 405B。

詳情請參閱 Model Garden 中的 Llama 3.3 模型資訊卡。

Llama 3.2

開發人員可透過 Llama 3.2 建構及部署最新的生成式 AI 模型和應用程式,運用 Llama 的功能激發創新,例如圖像推理。Llama 3.2 也經過設計,可更輕鬆地用於裝置端應用程式。以下列出 Llama 3.2 的主要功能:

  • 提供更私密且個人化的 AI 體驗,透過裝置端處理較小的模型。
  • 提供更有效率的模型,可減少延遲時間並提升效能,適用於各種應用程式。
  • 以 Llama Stack 為基礎建構,可輕鬆建構及部署應用程式。Llama Stack 是標準化介面,用於建構標準工具鍊元件和代理程式應用程式。
  • 支援視覺任務,並採用新的模型架構,將圖片編碼器表示法整合至語言模型。

1B 和 3B 模型是輕量型純文字模型,支援裝置端使用案例,例如多語言本機知識檢索、摘要和重寫。

Llama 11B 和 90B 模型是小型和中型多模態模型,可進行圖像推理。例如,分析圖表中的視覺資料,提供更準確的回覆;從圖片中擷取詳細資料,生成文字說明。

詳情請參閱 Model Garden 中的 Llama 3.2 模型資訊卡。

注意事項

使用 11B 和 90B 時,傳送純文字提示不受限制。不過,如果提示包含圖片,圖片必須位於提示開頭,且只能有一張。舉例來說,您無法在訊息中同時加入文字和圖片。

Llama 3.1

Llama 3.1 系列多語言大型語言模型 (LLM) 是一系列預先訓練和指令微調的生成模型,大小為 8B、70B 和 405B (文字輸入/文字輸出)。Llama 3.1 指令調整型純文字模型 (80 億、700 億、4,050 億) 經過最佳化調整,適用於多語言對話情境,在常見的業界基準中,表現優於許多現有的開放原始碼和封閉式聊天模型。

詳情請參閱 Model Garden 中的 Llama 3.1 模型資訊卡。

Llama 3

Llama 3 指令微調模型是一系列經過最佳化的大型語言模型,適用於對話用途。在常見的業界基準中,Llama 3 模型優於許多現有的開放原始碼聊天模型。

詳情請參閱 Model Garden 中的 Llama 3 模型資訊卡。

Llama 2

Llama 2 LLM 是一系列預先訓練和微調的生成式文字模型,參數數量從 70 億到 700 億不等。

詳情請參閱 Model Garden 中的 Llama 2 模型資訊卡。

Code Llama

Meta 的 Code Llama 模型專為程式碼合成、理解和指令而設計。

詳情請參閱 Model Garden 中的 Code Llama 模型資訊卡。

Llama Guard 3

Llama Guard 3 以 Llama Guard 2 的功能為基礎,新增了三種類別:誹謗、選舉和濫用程式碼解譯器。此外,這個模型支援多種語言,提示格式也與 Llama 3 或更新版本的指令模型一致。

詳情請參閱 Model Garden 中的 Llama Guard 模型資訊卡。

資源

如要進一步瞭解 Model Garden,請參閱「探索 Model Garden 中的 AI 模型」。