Model Garden 是 AI/ML 模型程式庫,可協助您探索、測試、自訂及部署 Google 和 Google 合作夥伴提供的模型和資產。
Model Garden 的優點
使用 AI 模型時,Model Garden 可提供下列優勢:
- 可用的模型都會集中在單一位置
- Model Garden 為不同類型的模型提供一致的部署模式
- Model Garden 提供內建整合功能,可與 Vertex AI 的其他部分整合,例如模型微調、評估和服務
- 提供生成式 AI 模型可能相當困難,Vertex AI 會為您處理模型部署和服務
探索模型
如要查看可用的 Vertex AI 及開放原始碼模型清單,包括基礎模型、可調整的模型,以及特定工作適用的模型,請前往Google Cloud 控制台的 Model Garden 頁面。
Model Garden 中的模型類別如下:
| 類別 | 說明 |
|---|---|
| 基礎模型 | 預先訓練的大型多工處理模型,可透過 Vertex AI Studio、Vertex AI API 和 Python 適用的 Vertex AI SDK,針對特定工作進一步調整或自訂。 |
| 可微調的模型 | 可使用自訂筆記本或管道微調的模型。 |
| 特定工作的解決方案 | 這些預先建構的模型大多立即可用,您能運用自己資料來自訂其中許多模型。 |
如要篩選篩選器窗格中的模型,請指定下列項目:
- 工作:按一下要讓模型執行的工作。
- 模型集合:點選此選項,選擇由 Google、合作夥伴或您管理的模型。
- 供應商:按一下模型的供應商。
- 功能:按一下模型中所需的功能。
如要進一步瞭解每個模型,請按一下該模型資訊卡。
如需 Model Garden 中可用的模型清單,請參閱「Model Garden 中可用的模型」。
模型安全性掃描
Google 會針對我們提供的服務容器進行徹底測試和基準測試,主動安全漏洞掃描功能也會套用至容器構件。
精選合作夥伴提供的第三方模型會經過模型檢查點掃描,以確保真實性。Hugging Face 和其第三方掃描器會直接掃描 HuggingFace Hub 中的第三方模型,檢查是否含有惡意軟體、pickle 檔案、Keras Lambda 層和機密資料。系統會在掃描後將不安全的模型標記為 Hugging Face,並禁止在 Model Garden 中部署。Model Garden 會標示可疑的模型或可能執行遠端程式碼的模型,但仍可部署這類模型。建議您在 Model Garden 中部署任何可疑模型前,先仔細檢查。
定價
針對 Model Garden 中的開放原始碼模型,您必須支付以下 Vertex AI 使用費用:
- 模型調整:您需要支付所用運算資源的費用,費率與自訂訓練相同。請參閱自訂訓練定價。
- 模型部署作業:系統會針對將模型部署至端點所使用的運算資源收費。請參閱預測功能的定價。
- Colab Enterprise:請參閱 Colab Enterprise 定價。
控管特定機型的存取權
您可以在機構、資料夾或專案層級設定 Model Garden 機構政策,以便控管 Model Garden 中特定模型的存取權。舉例來說,您可以允許特定經過審查的模型存取權,並拒絕其他模型的存取權。
進一步瞭解 Model Garden
如要進一步瞭解 Model Garden 中模型的部署選項和自訂選項,請參閱下列章節中的資源,其中包含教學課程、參考資料、筆記本和 YouTube 影片的連結。
部署及提供服務
進一步瞭解如何自訂部署作業和進階放送功能。
- 使用 Python SDK、CLI、REST API 或控制台部署及提供開放原始碼模型
- 在 Model Garden 中部署及微調 Gemma 3 (YouTube 影片)
- 部署 Gemma 並進行預測
- 在 Cloud TPU 上使用 Hex-LLM 容器提供開放模型
- 使用 Hex-LLM 教學課程筆記本部署 Llama 模型
- 使用前置字串快取和推測解碼功能,搭配 Hex-LLM 或 vLLM 教學筆記本
- 使用 vLLM 在 Cloud GPU 上提供僅文字和多模型語言模型
- 使用 xDiT GPU 服務容器產生圖片和影片
- 使用多個 LoRA 適配器,搭配 HuggingFace DLC 為 PyTorch 推論服務的 Gemma 2 教學課程 (Medium)
- 使用自訂句柄,透過 LinkedIn 上的 PyTorch 推論教學課程,為圖片標題服務 PaliGemma,並搭配 HuggingFace DLC
- 部署並提供使用 Spot VM 或 Compute Engine 預留功能的模型教學筆記本
- 部署及提供 HuggingFace 模型
調整
進一步瞭解如何調整模型,為特定用途量身打造回應。
評估
進一步瞭解如何使用 Vertex AI 評估模型回應