調整簡介

模型調整是讓 Gemini 能更精準地執行特定工作的重要程序。模型調整的運作方式是為模型提供訓練資料集，資料集內有特定下游任務的範例。

本頁面概略說明 Gemini 的模型微調功能，並介紹 Gemini 適用的微調選項，協助您判斷何時應使用各項微調選項。

模型調整的好處

模型調整是根據任務自訂大型模型的有效方法。這是提升模型品質和效率的重要步驟。模型調整的好處如下：

  • 為特定工作提供更高品質的結果
  • 提高模型穩定性
  • 提示較短，因此推論延遲時間和成本較低

與提示設計相比

  • 使用預先訓練的 Gemini 模型撰寫提示：撰寫提示是一門藝術，要能有效引導 Gemini 等 AI 模型生成所需輸出內容。這包括設計提示詞，清楚傳達您想要的工作、格式和任何相關情境。只要完成基本設定，就能使用 Gemini 的功能。最適合：
    • 標籤資料有限：標籤資料量少，或無法負擔冗長的微調程序。
    • 快速原型設計：需要快速測試概念或取得基準效能，但不想投入大量資源進行微調。
  • 自訂微調 Gemini 模型：如要取得更符合需求的結果，您可以根據特定資料集微調 Gemini 模型。如要建立在特定領域表現出色的 AI 模型，建議您進行微調。這項作業會使用您自己的已加上標籤資料集，重新訓練基礎模型，並根據您的工作和資料調整權重。您可以根據用途調整 Gemini。微調最適合用於以下情況：
    • 您有標籤資料：可供訓練的大量資料集 (例如 100 個以上的範例)，讓模型深入瞭解特定工作。
    • 複雜或獨特的工作：如果進階提示策略不足以應付，且需要根據資料量身打造模型的情境。

建議先從提示著手，找出最佳提示。接著，視需要進行微調，進一步提升效能或修正重複發生的錯誤。雖然新增更多範例可能會有幫助，但請務必先評估模型出錯的地方，再新增更多資料。高品質且標籤完善的資料，對良好成效至關重要，比資料量更重要。此外，用於微調的資料應反映模型在正式環境中會遇到的提示分布、格式和背景資訊。

與提示設計相比，微調具有下列優點：

  • 可深度自訂模型，並提升特定工作的成效。
  • 根據自訂語法、指令和特定領域的語意規則調整模型。
  • 提供更一致可靠的結果。
  • 一次可處理更多範例。
  • 在提示中移除少量樣本和長篇指令，即可在推論時節省費用

調整方法

高效參數調整和全面微調是自訂大型模型的兩種方法。這兩種方法在模型品質和資源效率方面各有優缺點。

高效參數調整

高效參數調整 (又稱適應器調整) 可有效率地調整大型模型，因應您的特定任務或領域。參數效率調整會在調整過程中，更新模型一小部分的參數。

如要瞭解 Gemini Enterprise Agent Platform 如何支援轉接器微調和服務，請參閱下列白皮書：大型基礎模型調整。

完整微調

全面微調會更新模型的所有參數，因此適合用於調整模型，以執行複雜度高的工作，並可能提高品質。不過，全面微調需要較多運算資源，因此調整和提供服務的整體成本較高。

高效參數調整與全面微調的比較

與全面微調相比，高效參數調整的資源效率更高，成本效益也更佳。訓練所需的運算資源也大幅減少。能以較小的資料集更快調整模型。參數高效微調的彈性，為多任務學習提供解決方案，無需大量重新訓練。

支援的調整方法

Agent Platform 支援監督式微調，可自訂基礎模型。

監督式微調

監督式微調能讓模型學會新技能，進而提升效能。含數百個有標籤樣本的資料會用於指導模型，讓模型可以模仿所需行為或工作。每個有標籤樣本都會示範模型在推論期間應輸出的結果。

執行監督式微調作業時，模型會學習額外參數，以便將必要資訊編碼，並執行所需工作或瞭解應有行為。這些參數會在推論期間使用。完成調整後，就會產生一個新的模型，結合新學到的參數與原始模型。

如果文字模型的輸出內容不複雜且較容易定義，對模型進行監督式微調會是不錯的選擇，如果內容不複雜，建議使用監督式微調進行分類、情緒分析、實體擷取和摘要，以及撰寫特定領域的查詢。程式碼模型只能使用監督式調整。

支援監督式微調的模型

下列 Gemini 模型支援監督式調整：

按一下即可展開支援的機型

如要進一步瞭解如何對各個模型使用監督式微調，請參閱下列頁面：調整文字、圖片、音訊和文件資料類型。

偏好調整

Gemini Enterprise Agent Platform 偏好設定調整功能以監督式微調為基礎，可讓您使用人類回饋資料調整 Gemini 模型。

偏好設定調整功能可讓模型從主觀的使用者偏好中學習，這些偏好難以單獨使用特定標籤和監督式微調來定義。

支援偏好調整的模型

下列 Gemini 模型支援偏好設定調整功能：

按一下即可展開支援的機型

如要進一步瞭解偏好調整，請參閱「關於 Gemini 模型偏好調整」。

調整查核點

您可以透過調整查核點儲存調整進度、比較查核點成效，並選擇成效最佳的查核點。

支援調整查核點的模型

下列 Gemini 模型支援調整查核點：

按一下即可展開支援的機型

如要進一步瞭解如何調整檢查點，請參閱「在 Gemini 微調中使用檢查點」。

持續調整

持續微調功能可讓您新增更多訓練週期或訓練範例，繼續微調已微調的模型或模型檢查點。

支援持續調整的模型

下列 Gemini 模型支援持續調整：

按一下即可展開支援的模型

如要進一步瞭解持續微調，請參閱「關於 Gemini 模型的持續微調」。

後續步驟