調整簡介

模型調整是調整 Gemini 的重要程序，可讓模型更精準地執行特定工作。模型調整的運作方式是為模型提供訓練資料集，資料集內有一組特定下游任務的範例。

本頁面概略說明 Gemini 的模型調整功能、可用的調整選項，以及各個調整選項的適用時機。

模型調整的好處

模型調整是根據工作自訂大型模型的有效方法。這是提升模型品質和效率的重要步驟。模型調整有下列好處：

  • 針對特定工作提供更高品質的結果
  • 提高模型穩定性
  • 提示較短，因此推論延遲時間和成本較低

調整與提示設計的比較

  • 使用預先訓練的 Gemini 模型提示：提示是一門藝術，需要精心設計有效的指令，引導 Gemini 等 AI 模型生成所需輸出內容。這項技術涉及設計提示詞，清楚傳達工作、所需格式和任何相關背景資訊。只要完成基本設定，就能使用 Gemini 的功能。最適合：
    • 標籤資料有限：如果標籤資料量很少，或無法負擔冗長的微調程序。
    • 快速原型設計：需要快速測試概念或取得基準效能，不想投入大量資源微調。
  • 自訂微調 Gemini 模型：Gemini 可讓您根據特定資料集微調模型，取得更符合需求的結果。如要建立在特定領域表現出色的 AI 模型，可以考慮微調。這項作業會使用您自己的已加上標籤資料集，重新訓練基礎模型，並根據您的工作和資料調整權重。您可以根據用途調整 Gemini。微調最適合用於以下情況：
    • 您有標籤資料：有相當規模的資料集可供訓練 (建議至少 100 個樣本)，讓模型深入瞭解工作的具體內容。
    • 複雜或獨特的工作：進階提示策略不足以應付，且必須根據資料量身打造模型。

先嘗試提示，找出最佳提示。接著，視需要進行微調，進一步提升效能或修正重複發生的錯誤。雖然新增更多樣本可能會有幫助，但請務必先評估模型出錯的地方，再新增更多資料。高品質且標籤完善的資料，對模型成效至關重要，比資料量更重要。此外，用於微調的資料應反映模型在實際工作環境中遇到的提示分布、格式和背景資訊。

相較於提示詞設計，調整功能有下列優點：

  • 可深度自訂模型，在特定任務上取得更佳成效。
  • 根據自訂語法、指令和特定領域的語意規則調整模型。
  • 提供更一致可靠的結果。
  • 一次可處理更多範例。
  • 移除提示中的少量樣本和冗長指示，節省推論成本

調整方法

高效參數調整和全量微調是自訂大型模型的兩種方法。這兩種方法在模型品質和資源效率方面各有優缺點。

理想情況下

高效參數調整 (又稱適應器調整) 能讓大型模型有效率地調整，因應您的特定任務或領域。參數效率調整會在調整過程中，更新模型一小部分的參數。

如要瞭解 Gemini Enterprise Agent Platform 如何支援轉接器調整和提供服務，請參閱白皮書「Adaptation of Large Foundation Models」(大型基礎模型的調整)。

全量微調

全量微調會更新模型的所有參數，因此適合用於調整模型，以執行高度複雜的任務，並有可能達到更高的品質。不過，全面微調在調整和提供服務時，需要較多運算資源，因此整體成本較高。

高效參數調整與全面微調的比較

與全量微調相比，高效參數調整更具資源效率和成本效益。訓練時使用的運算資源也大幅減少。能以較小的資料集更快調整模型。參數高效微調的彈性，為多任務學習提供解決方案，無需大量重新訓練。

支援的調整方法

Agent Platform 支援監督式微調、偏好微調和強化學習微調，可自訂基礎模型。您也可以在訓練執行作業中使用調整查核點和持續調整功能。

下表比較主要調整方法：

調整方法 運作方式 一般資料集大小 最適合
監督式微調 (SFT) 使用加上標籤的輸入/輸出示範內容進行訓練 數百到數千個有標籤樣本 嚴格的輸出格式、分類、情緒分析、實體擷取，以及特定領域的風格或語調。
偏好調整 最佳化成對偏好設定 (選擇與拒絕的回覆) 數百到數千個偏好設定組合 根據主觀的人類偏好、實用性或對話語氣，調整模型行為。
強化學習微調 (RLFT) 生成候選推論軌跡和回覆 (MINIMAL 或 HIGH 思考等級)，並盡可能提高最多 16 個加權獎勵函式的分數 數十到數百個提示，並附上 references 中繼資料 多步驟推論、複雜的領域規則、可驗證的工作 (例如程式碼或 SQL 生成)，以及在不降低推論品質的情況下，最佳化思考模型。

監督式微調

透過監督式微調，模型能學會新技能並增進效能。含數百個有標籤樣本的資料會用於指導模型，讓模型可以模仿目標行為或工作。每個有標籤樣本都會示範模型在推論期間應輸出的結果。

執行監督式微調工作時，模型會學習額外參數，以便將必要資訊編碼，並執行目標工作或瞭解應有行為。這些參數會在推論期間使用。完成調整後，就會產生一個新的模型，結合新學到的參數與原始模型。

如果文字模型的輸出內容不複雜且較容易定義，對模型進行監督式微調會是不錯的選擇，監督式微調適合用於分類、情緒分析、實體擷取、摘要不複雜的內容，以及編寫特定領域的查詢。

支援監督式微調的模型

下列 Gemini 模型支援監督式調整：

按一下即可展開支援的模型

如要進一步瞭解如何對各個資料類型使用監督式微調，請參閱下列頁面：微調文字、圖片、音訊、影片和文件資料類型。

偏好調整

Agent Platform 偏好設定調整功能以監督式微調為基礎，可讓您根據人類回饋資料調整 Gemini 模型。

偏好設定調整功能可讓模型從主觀的使用者偏好中學習，這些偏好很難單靠特定標籤和監督式微調來定義。

支援偏好調整的模型

下列 Gemini 模型支援偏好調整：

按一下即可展開支援的模型

如要進一步瞭解偏好調整，請參閱「關於 Gemini 模型的偏好調整」。

強化學習微調

強化學習微調 (RLFT) 技術會透過程式輔助或模型輔助的獎勵函式，引導 Gemini 模型進行試誤探索，藉此調整模型。訓練期間，模型會針對每個提示，取樣多個候選回覆和推論軌跡 (MINIMAL 或 HIGH 思考層級)，並根據您的獎勵設定，以 [-1, 1] 級別評估這些回覆和軌跡，然後更新參數效率高的 LoRA 轉接器，盡可能提高獎勵。

監督式微調會在訓練期間省略中間的思考詞元，而強化學習微調則會直接最佳化多步驟推論，並能妥善一般化較小的資料集 (通常是數十到數百個提示)。您可以使用單一獎勵函式，或最多 16 個獎勵函式的加權組合，評估輸出內容。獎勵函式分為四種評分器類型：

  • 字串比對：將模型輸出內容與資料集 references 字典中的基準真相欄位進行比較 (完全相符的字串或 JSON，可選擇是否擷取規則運算式)。
  • Gemini 基礎自動評分器：使用 LLM 做為評審標準，傳回數值分數或結構化判斷結果。
  • 執行程式碼：在代管沙箱環境中執行自訂 Python evaluate(example, response) 函式。
  • Cloud Run：將候選回覆傳送至託管於 Cloud Run 的自訂 HTTP 端點，進行特定領域驗證。

支援強化學習微調的模型

下列 Gemini 模型支援強化學習微調：

按一下即可展開支援的模型

如要進一步瞭解強化學習微調，請參閱「關於強化學習微調」。

調整查核點

調整查核點可讓您儲存調整進度、比較查核點成效，並選擇成效最佳的查核點，無論是依週期進行監督式微調，還是依步驟間隔 (checkpointInterval) 進行強化學習微調，都能輕鬆完成。

支援調整查核點的模型

下列 Gemini 模型支援調整查核點：

按一下即可展開支援的模型

如要進一步瞭解調整查核點，請參閱「在 Gemini 調整作業中使用查核點」和「強化學習微調作業的工作狀態、指標和監控」。

持續調整

持續調整功能可讓您繼續調整已調整的模型或模型檢查點。您可以對調整後的模型執行額外的監督式微調週期 (SFT -> SFT)、在監督式微調檢查點上套用強化學習微調，結合嚴格格式和強化推論 (SFT -> RLFT)，或從先前的強化學習檢查點繼續訓練 (RLFT -> RLFT)。

支援持續調整的模型

下列 Gemini 模型支援持續微調：

按一下即可展開支援的模型

如要進一步瞭解持續調整，請參閱「關於 Gemini 模型的持續調整」和「透過強化學習微調持續調整」。

後續步驟