Model Garden 是 AI/機器學習模型庫,可協助您探索、測試、自訂及部署 Google 和 Google 合作夥伴提供的模型和資產。
Model Garden 的優點
使用 AI 模型時,Model Garden 提供下列優點:
- 所有可用模型都會集中顯示在同一處
- Model Garden 為不同類型的模型提供一致的部署模式
- Model Garden 內建與 Gemini Enterprise Agent Platform 其他部分的整合功能,例如模型微調、評估和服務
- 提供生成式 AI 模型服務可能很困難,但 Gemini Enterprise Agent Platform 會為您處理模型部署和服務
探索模型
如要查看可用的 Gemini Enterprise Agent Platform 和開放原始碼基礎模型、可調整模型,以及特定工作適用的模型清單,請前往Google Cloud console 中的 Model Garden 頁面。
Model Garden 中的模型類別如下:
| 類別 | 說明 |
|---|---|
| 基礎模型 | 預先訓練的大型多工模型,可透過 Agent Studio、Agent Platform API 和 Agent Platform SDK,針對特定工作進一步調整或自訂。 |
| 可微調的模型 | 可使用自訂筆記本或 pipeline 微調的模型。 |
| 特定工作的解決方案 | 這些預先建構的模型大多立即可用,您能運用自己資料來自訂其中許多模型。 |
如要在篩選器窗格中篩選模型,請指定下列項目:
- 工作:按一下要模型執行的工作。
- 模型集合:按一下即可選擇由 Google、合作夥伴或您管理的模型。
- 供應商:按一下模型供應商。
- 特徵:點選模型中所需的特徵。
如要進一步瞭解各模型,請點選模型資訊卡。
模型安全性掃描
Google 會對提供的服務和調整容器進行徹底測試和基準化,也會對容器構件套用主動式安全漏洞掃描。
精選合作夥伴提供的第三方模型會經過模型檢查點掃描,確保真實性。HuggingFace Hub 的第三方模型則由 HuggingFace 和第三方掃描器直接掃描,檢查是否含有惡意軟體、Pickle 檔案、Keras Lambda 層和機密資訊。如果掃描結果顯示模型不安全,HuggingFace 會標記並禁止在 Model Garden 中部署。如果模型可疑或可能執行遠端程式碼,Model Garden 會標示,但仍可部署。建議您在 Model Garden 中部署任何可疑模型前,先仔細檢查。
定價
使用 Gemini Enterprise Agent Platform 的 Model Garden 中的開放原始碼模型時,系統會針對下列項目收費:
- 模型微調:系統會按照自訂訓練的費率,收取所用運算資源的費用。請參閱自訂訓練的定價。
- 模型部署作業:將模型部署至端點時,系統會收取所用運算資源的相關費用。請參閱預測定價。
- Colab Enterprise:請參閱 Colab Enterprise 定價。
控管特定模型的存取權
您可以在機構、資料夾或專案層級設定Model Garden 機構政策,控管 Model Garden 中特定模型的存取權。舉例來說,您可以允許存取您審查過的特定模型,並拒絕存取所有其他模型。
進一步瞭解 Model Garden
如要進一步瞭解 Model Garden 中模型的部署選項和自訂項目,請參閱下列各節中的資源,包括教學課程、參考資料、筆記本和 YouTube 影片的連結。
部署及提供服務
進一步瞭解如何自訂部署作業和進階放送功能。
- 使用 Python SDK、CLI、REST API 或控制台部署及提供開放原始碼模型
- 在 Model Garden 中部署及微調 Gemma 3 的 YouTube 影片
- 部署 Gemma 並進行預測
- 透過 Hex-LLM 容器和 Cloud TPU 提供開放原始碼模型
- 使用 Hex-LLM 部署 Llama 模型教學課程筆記本
- 透過 Hex-LLM 或 vLLM 使用前置字串快取和推測解碼功能教學課程筆記本
- 使用 vLLM 和 Cloud GPU 提供純文字和多模態語言模型
- Text-only models tutorial notebook (僅限文字的模型教學課程筆記本)
- 多模態模型教學課程筆記本
- 使用 xDiT GPU 提供容器來生成圖像和影片
- Medium 中的 PyTorch 推論教學課程:透過 Hugging Face DLC 提供具備多個 LoRA 適應器的 Gemma 2
- LinkedIn 中的 PyTorch 推論教學課程:透過 Hugging Face DLC 使用自訂控制代碼來提供 PaliGemma,以便執行圖像說明文字生成工作
- 教學課程筆記本:部署及提供使用 Spot VM 或 Compute Engine 預留項目的模型
- 部署及提供 Hugging Face 模型
調整
進一步瞭解如何調整模型,針對特定用途量身打造回應。
評估
進一步瞭解如何使用 Agent Platform 評估模型回覆