您可以在 Model Garden 自行部署及提供 Vertex AI 上的開放式、合作夥伴和自訂模型。與模型即服務 (MaaS) 產品不同,自行部署的模型會在您的 Google Cloud 專案和虛擬私有雲網路中安全執行,讓您完全控管部署環境。MaaS 產品是無伺服器服務,不需要手動部署。
自行部署開放式模型
開放式模型提供各種 AI 任務的預先訓練功能,包括擅長多模態處理的 Gemini 模型。這些模型可供免費使用,只要遵守授權條款,就能發布模型輸出內容。Vertex AI 提供開放權重和開放原始碼模型。
在 Vertex AI 中使用開放式模型時,您會使用 Vertex AI 做為基礎架構。您也可以搭配其他基礎架構產品 (例如 PyTorch 或 Jax) 使用開放式模型。
開放權重模型
許多開放模型都屬於開放權重大型語言模型 (LLM)。開放權重模型比非開放權重模型更透明。模型的權重是儲存在模型類神經網路架構中的數值,代表模型從訓練資料中學到的模式和關係。開放權重模型會發布預先訓練的參數或權重。您可以將開放權重模型用於推論和微調。 這類模型不一定會提供原始資料集、模型架構和訓練程式碼等詳細資料。
開放原始碼模型
開放模型與開放原始碼 AI 模型不同。開放模型通常會公開權重和所學模式的核心數值表示法,但不一定會提供完整原始碼或訓練詳細資料。另一方面,開放原始碼模型通常會公開整個程式碼集,包括訓練指令碼和資料。提供權重可提升 AI 模型透明度,讓您瞭解模型功能,不必自行建構模型。
自行部署的合作夥伴模型
Model Garden 可協助您向合作夥伴購買及管理模型授權,這些合作夥伴提供專有模型,並支援自行部署。您可以透過 Cloud Marketplace 存取這些模型。取得授權後,您可以選擇在隨選硬體上部署,也可以使用現有的 Compute Engine 預留項目和承諾使用折扣來管理費用。自行部署合作夥伴模型時,您需要支付模型使用量和耗用的基礎 Vertex AI 基礎架構費用。
如要要求使用自行部署的合作夥伴模型,請按照下列步驟操作:
- 前往 Model Garden 控制台。
- 找出相關的合作夥伴模式。
- 按一下「啟用」並填寫表單,取得必要的商業用途授權。
如要進一步瞭解如何部署及使用合作夥伴模型,請參閱「部署合作夥伴模型並提出預測要求」。
注意事項
使用自行部署的合作夥伴模型時,請注意下列事項:
- 權重匯出:與部分開放模型不同,您無法匯出自建合作夥伴模型的權重。
- 端點類型:這些部署作業只支援共用公開端點類型。
進一步瞭解 Vertex AI 中自行部署的模型
- 如要進一步瞭解自訂權重,請參閱「使用自訂權重部署模型」。
- 如要進一步瞭解 Model Garden,請參閱 Model Garden 總覽。
- 如要進一步瞭解如何部署模型,請參閱「在 Model Garden 中使用模型」。
- 使用 Gemma 開放式模型
- 使用 Llama 開放式模型
- 使用 Hugging Face 開放式模型