Llama 是 Meta 開發的開放式模型集合,您可以對其進行微調並在 Vertex AI 上部署。Llama 提供預先訓練及指令調整的生成文字和多模態模型。
Llama 4
Llama 4 系列模型是一系列使用混合專家 (MoE) 架構的多模態模型。透過 MoE 架構,具有極大參數數量的模型可針對任何給定輸入內容啟用這些參數的子集,進而提升推論效率。此外,Llama 4 會使用早期融合功能,整合初始處理階段的文字和視覺資訊。這項方法可讓 Llama 4 模型更有效地掌握文字和圖片之間複雜、細微的關係。Vertex AI 的 Model Garden 提供兩種 Llama 4 模型:Llama 4 Scout 和 Llama 4 Maverick。
詳情請參閱 Model Garden 中的 Llama 4 模型資訊卡,或參閱 Vertex AI 網誌文章「Introducing Llama 4」。
Llama 4 Maverick
Llama 4 Maverick 是功能最強大的 Llama 4 模型,在程式設計、推理和圖像基準測試方面,提供業界領先的功能。在 128 位專家協助下,該模型共有 170 億個有效參數,總參數數量則為 4000 億。Llama 4 Maverick 會交替使用密集和 MoE 層,其中每個符記都會啟用共用專家,以及 128 個已路由專家中的一個。您可以使用模型做為預先訓練 (PT) 模型或指令調整 (IT) 模型,並支援 FP8。模型會針對 200 種語言進行預先訓練,並透過精緻的訓練後管道,針對高品質的即時通訊互動進行最佳化。
Llama 4 Maverick 是多模態模型,脈絡長度為 100 萬個詞元。這項服務適合用於進階圖像說明、分析、精確的圖像理解、圖像問答、創意文字產生、通用 AI 助理,以及需要頂尖智慧和圖像理解功能的複雜聊天機器人。
Llama 4 Scout
Llama 4 Scout 在 1 千萬個符號上下文窗口中提供同類型產品的頂尖結果,在多項基準測試中勝過先前的 Llama 系列和其他開放式和專屬模型。這個模型有 16 個專家,總參數為 1,090 億,其中有 170 億個參數處於活動狀態,可做為預先訓練 (PT) 或指令調整 (IT) 模型使用。Llama 4 Scout 適合用於長篇脈絡中的擷取工作,以及需要大量資訊推理的工作,例如總結多個大型文件、分析大量使用者互動記錄,以便在大型程式碼集上進行個人化和推理。
Llama 3.3
Llama 3.3 是專為文字應用程式設計的 70B 指令調整模型,相較於 Llama 3.1 70B 和 Llama 3.2 90B,可提供更佳效能。此外,對於某些應用程式,Llama 3.3 70B 的效能接近 Llama 3.1 405B。
詳情請參閱 Model Garden 中的 Llama 3.3 模型資訊卡。
Llama 3.2
Llama 3.2 可讓開發人員建構及部署最新的生成式 AI 模型,以及使用 Llama 功能的應用程式,以激發新的創新,例如圖像推理。Llama 3.2 也旨在讓裝置端應用程式更容易存取。以下列表列出 Llama 3.2 的功能:
- 提供更私密且個人化的 AI 體驗,並針對較小的模型提供裝置端處理功能。
- 提供更有效率的模型,可減少延遲並提升效能,適合各種應用程式。
- 建構在 Llama Stack 之上,可讓您更輕鬆地建構及部署應用程式。Llama Stack 是標準化介面,可用於建構標準工具鍊元件和代理應用程式。
- 透過新模型架構,將圖像編碼器表示法整合至語言模型,支援視覺作業。
1B 和 3B 模型是輕量版純文字模型,可支援裝置端用途,例如多語言本土知識擷取、摘要和重寫。
Llama 11B 和 90B 模型是具有圖像推理功能的小型和中型多模態模型。舉例來說,它們可以分析圖表中的視覺資料,提供更準確的回覆,並從圖片中擷取詳細資料,產生文字說明。
詳情請參閱 Model Garden 中的 Llama 3.2 模型資訊卡。
注意事項
使用 11B 和 90B 時,傳送純文字提示訊息時沒有任何限制。不過,如果您在提示中加入圖片,圖片必須位於提示的開頭,且只能加入一張圖片。例如,您無法加入文字和圖片。
Llama 3.1
Llama 3.1 多語言大型語言模型 (LLM) 集合,是一系列預先訓練和指令微調的生成式模型,大小分別為 80 億、70 億和 405 億 (文字輸入/文字輸出)。Llama 3.1 指令調整的純文字模型 (80 億、70 億、405 億) 經過最佳化,可用於多語言對話用途,在常見的業界基準測試中,表現優於許多可用的開放原始碼和封閉式即時通訊模型。
詳情請參閱 Model Garden 中的 Llama 3.1 模型資訊卡。
Llama 3
Llama 3 指令調整模型是一系列經過最佳化處理的對話用途 LLM。在常見的業界基準測試中,Llama 3 模型的表現優於許多可用的開放原始碼聊天模型。
詳情請參閱 Model Garden 中的 Llama 3 模型資訊卡。
Llama 2
Llama 2 LLM 是一系列經過預先訓練和微調的生成式文字模型,參數大小介於 70 億到 700 億之間。
詳情請參閱 Model Garden 中的 Llama 2 模型資訊卡。
Code Llama
Meta 的 Code Llama 模型專為程式碼合成、理解和指令而設計。
詳情請參閱 Model Garden 中的 Code Llama 模型資訊卡。
Llama Guard 3
Llama Guard 3 建構在 Llama Guard 2 的功能之上,新增了三個新類別:誹謗、選舉和程式碼解譯器濫用。此外,這個模型支援多種語言,且提示格式與 Llama 3 以上版本的指令模型一致。
詳情請參閱 Model Garden 中的 Llama Guard 模型資訊卡。
資源
如要進一步瞭解 Model Garden,請參閱「探索 Model Garden 中的 AI 模型」。