調整簡介

調整模型是重要程序,可讓 Gemini 更精準地執行特定工作。模型調整的運作方式是為模型提供訓練資料集,資料集內有一組特定下游任務的範例。

本頁面概略說明 Gemini 的模型調整功能、可用的調整選項,以及各選項的適用時機。

模型調整的好處

模型調整是依據工作自訂大型模型的有效方法。這是提升模型品質和效率的重要步驟。模型調整的好處如下:

  • 針對特定工作提供更高品質的結果
  • 提高模型穩定性
  • 提示較短,因此推論延遲時間和成本較低

調整與提示設計的比較

  • 使用預先訓練的 Gemini 模型提示:提示是一門藝術,需要設計有效的指令,引導 Gemini 等 AI 模型生成所需輸出內容。這項技術涉及設計提示詞,清楚傳達工作、所需格式和任何相關背景資訊。只要完成基本設定,即可使用 Gemini 的功能。最適合:
    • 標籤資料有限:標籤資料量少,或無法負擔冗長的微調程序。
    • 快速原型設計:需要快速測試概念或取得基準效能,但不想投入大量資源微調。
  • 自訂微調 Gemini 模型:Gemini 可讓您根據特定資料集微調模型,取得更符合需求的結果。如要建立在特定領域表現出色的 AI 模型,建議您進行微調。這項作業會使用您自己的已標籤資料集重新訓練基礎模型,並根據您的工作和資料調整權重。您可以根據用途調整 Gemini。微調最有效的時機如下:
    • 您有標籤資料:有相當規模的資料集可供訓練 (例如 100 個以上的樣本),讓模型深入瞭解工作的具體內容。
    • 複雜或獨特的工作:進階提示策略不足以應付,必須使用專為資料量身打造的模型。

先嘗試提示,找出最佳提示。接著,視需要進行微調,進一步提升效能或修正重複發生的錯誤。雖然新增更多樣本可能會有幫助,但請務必先評估模型出錯的地方,再新增更多資料。高品質且標籤完善的資料,對良好成效至關重要,比資料量更重要。此外,用於微調的資料應反映模型在正式環境中遇到的提示分布、格式和情境。

與提示詞設計相比,調整有下列優點:

  • 可深度自訂模型,在特定任務上獲得更佳成效。
  • 根據自訂語法、指令和特定領域語意規則調整模型。
  • 提供更一致可靠的結果。
  • 一次可處理更多範例。
  • 移除提示中的少量樣本和冗長指示,降低推論成本

調整方法

高效參數調整和全量微調是自訂大型模型的兩種方法。這兩種方法在模型品質和資源效率方面各有優缺點。

理想情況下

高效參數調整,又稱適應器調整,能讓大型模型以有效率的方式調整,因應您的特定任務或領域。參數效率調整會在調整過程中,更新模型一小部分的參數。

如要瞭解 Gemini Enterprise Agent Platform 如何支援轉接器調整和提供服務,請參閱白皮書「Adaptation of Large Foundation Models」(大型基礎模型的調整)。

全量微調

全量微調會更新模型的所有參數,因此適合用於調整模型,以執行高度複雜的任務,並有可能達到更高的品質。不過,全面微調在調整和提供服務時,需要較多運算資源,因此整體成本較高。

高效參數調整與全面微調的比較

與全量微調相比,高效參數調整更具資源和成本效益。訓練所需的運算資源也大幅減少。能以較小的資料集更快調整模型。參數高效微調的彈性,為多任務學習提供解決方案,無需大量重新訓練。

支援的調整方法

Agent Platform 支援監督式微調、偏好微調和強化學習微調,可自訂基礎模型。您也可以在訓練執行作業中使用調整查核點和持續調整功能。

下表比較主要調整方法:

調整方法 運作方式 一般資料集大小 最適合
監督式微調 (SFT) 使用有標籤的輸入/輸出示範內容進行訓練 數百到數千個有標籤樣本 嚴格的輸出格式、分類、情緒分析、實體擷取,以及特定領域的風格或語氣。
偏好調整 最佳化成對偏好設定 (選擇與拒絕的回覆) 數百到數千個偏好設定組合 根據人類的主觀偏好、實用性或對話語氣,調整模型行為。
強化學習微調 (RLFT) 生成候選推論軌跡和回覆 (MINIMAL 或 HIGH 思考程度),並盡可能提高最多 16 個加權獎勵函式的分數 數十到數百個提示,並附上 references 中繼資料 多步驟推論、複雜的領域規則、可驗證的工作 (例如程式碼或 SQL 生成),以及在不降低推論品質的情況下,最佳化思考模型。

監督式微調

監督式微調能讓模型學會新技能,進而提升效能。含數百個有標籤樣本的資料會用於指導模型,讓模型可以模仿目標行為或工作。每個有標籤樣本都會示範模型在推論期間應輸出的結果。

執行監督式微調工作時,模型會學習額外參數,以便將必要資訊編碼,並執行目標工作或瞭解應有行為。這些參數會在推論期間使用。完成調整後,就會產生一個新的模型,結合新學到的參數與原始模型。

如果文字模型的輸出內容不複雜且較容易定義,對模型進行監督式微調會是不錯的選擇,監督式微調適合用於分類、情緒分析、實體擷取、摘要不複雜的內容,以及編寫特定領域的查詢。

支援監督式微調的模型

下列 Gemini 模型支援監督式調整:

按一下即可展開支援的模型

如要進一步瞭解如何對各個資料類型使用監督式微調,請參閱下列頁面:微調文字、圖片、音訊、影片和文件資料類型。

偏好調整

Agent Platform 偏好設定調整功能以監督式微調為基礎,可讓您根據人類回饋資料調整 Gemini 模型。

偏好調整可讓模型從主觀的使用者偏好中學習,這些偏好很難單靠特定標籤和監督式微調來定義。

支援偏好調整的模型

下列 Gemini 模型支援偏好調整:

按一下即可展開支援的模型

如要進一步瞭解偏好調整,請參閱「關於 Gemini 模型的偏好調整」。

強化學習微調

強化學習微調 (RLFT) 技術會依據程式輔助或模型輔助的獎勵函式,透過反覆試驗來調整 Gemini 模型。訓練期間,模型會針對每個提示,取樣多個候選回覆和推論軌跡 (MINIMAL 或 HIGH 思考層級),並使用獎勵設定,以 [-1, 1] 評分標準評估這些回覆和軌跡,然後更新參數效率高的 LoRA 轉接器,盡可能提高獎勵。

監督式微調會在訓練期間省略中間的思考詞元,而強化學習微調則會直接最佳化多步驟推論,並能妥善一般化較小的資料集 (通常是數十到數百個提示)。您可以使用單一獎勵函式,或最多 16 個獎勵函式的加權組合,評估輸出內容。獎勵函式分為四種評分器類型:

  • 字串比對:將模型輸出內容與資料集 references 字典中的基準真相欄位進行比較 (完全符合字串或 JSON,可選用規則運算式擷取)。
  • Gemini 基礎自動評分器:使用 LLM 做為評審標準,傳回數值分數或結構化判斷結果。
  • 執行程式碼:在代管沙箱環境中執行自訂 Python evaluate(example, response) 函式。
  • Cloud Run:將候選回覆傳送至託管於 Cloud Run 的自訂 HTTP 端點,進行特定領域驗證。

支援強化學習微調的模型

下列 Gemini 模型支援強化學習微調:

按一下即可展開支援的模型

如要進一步瞭解強化學習微調,請參閱「關於強化學習微調」。

調整查核點

調整查核點可讓您儲存調整進度、比較查核點成效,並選擇成效最佳的查核點,無論是依週期進行監督式微調,還是依步驟間隔 (checkpointInterval) 進行強化學習微調,都能輕鬆完成。

支援調整查核點的模型

下列 Gemini 模型支援調整查核點:

按一下即可展開支援的模型

如要進一步瞭解調整查核點,請參閱「在 Gemini 調整作業中使用查核點」和「強化學習微調作業的工作狀態、指標和監控」。

持續調整

持續調整功能可讓您繼續調整已調整的模型或模型檢查點。您可以對已調整的模型執行額外的監督式微調訓練週期 (SFT -> SFT)、在監督式微調檢查點上套用強化學習微調,結合嚴格的格式設定和增強的推論能力 (SFT -> RLFT),或從先前的強化學習檢查點繼續訓練 (RLFT -> RLFT)。

支援持續調整的模型

下列 Gemini 模型支援持續微調:

按一下即可展開支援的模型

如要進一步瞭解連續調整,請參閱「關於 Gemini 模型的連續調整」和「透過強化學習微調進行連續調整」。

後續步驟