自行部署模型總覽

Model Garden 提供可自行部署的開放式模型和合作夥伴模型，您可以在 Vertex AI 上部署及提供這些模型。這些模型與模型即服務 (MaaS) 產品不同，後者是無伺服器，不需要手動部署。

您可以自行部署模型，在 Google Cloud 專案和虛擬私有雲端網路中安全地部署模型。

自行部署的開放式模型

開放式模型可為各種 AI 工作提供預先訓練功能，包括擅長多模態處理的 Gemini 模型。開放式模型可供免費使用，您可以自由發布其輸出內容，只要遵守授權條款，即可在任何地方使用。Vertex AI 提供開放式 (也稱為開放權重) 和開放原始碼模型。

在 Vertex AI 中使用開放式模型時，您會將 Vertex AI 用於基礎架構。您也可以搭配其他基礎架構產品 (例如 PyTorch 或 Jax) 使用開放式模型。

開放權重模型

許多開放式模型都屬於開放權重大型語言模型 (LLM)。開放式模型比不開放權重模型提供更高的透明度。模型的權重是儲存在模型神經網路架構中的數值，代表模型從訓練資料中學到的模式和關聯。開放權重模型的預先訓練參數 (或權重) 已發布。您可以使用開放權重模型進行推論和調整，但不提供原始資料集、模型架構和訓練程式碼等詳細資料。

開放原始碼模型

開放模型與開放原始碼 AI 模型不同。雖然開放式模型通常會公開權重和已學習模式的核心數值表示法，但不一定會提供完整的原始碼或訓練詳細資料。提供權重可提供一定程度的 AI 模型資訊公開度，讓您不必自行建構模型，也能瞭解模型的功能。

自行部署的合作夥伴模型

Model Garden 可協助您向提供自有模型的合作夥伴購買及管理模型授權，讓您自行部署模型。在 Cloud Marketplace 購買模型存取權後，您可以選擇在隨選硬體上部署，或是使用 Compute Engine 預留和承諾用量折扣，以符合預算需求。您需要支付模型使用費，以及為您使用的 Vertex AI 基礎架構支付費用。

如要申請使用自行部署合作夥伴模型，請在 Model Garden 控制台中找到相關模型，然後點選「聯絡銷售人員」，並填寫表單，系統就會與 Google Cloud 銷售代表聯絡。

如要進一步瞭解如何部署及使用合作夥伴模型，請參閱「部署合作夥伴模型並提出預測要求」。

注意事項

使用自行部署的合作夥伴模型時，請考量下列限制：

  • 與開放式模型不同，您無法匯出權重。
  • 如果您為專案設定了 VPC Service Controls，就無法上傳模型，因此無法部署合作夥伴模型。
  • 對於端點，系統僅支援共用公開端點類型。

進一步瞭解 Vertex AI 中的自行部署模型