Gemini Enterprise Agent Platform 偏好調整功能可讓您使用人類意見回饋資料調整 Gemini 模型。
偏好調整可讓模型從主觀的使用者偏好中學習，這些偏好很難透過特定標籤或監督式微調來定義。
偏好調整輸入資料集包含多個範例，每個範例都由提示和一組回應組成，並指出哪個回應較好，哪個回應較差。模型會學習生成機率較高的偏好回覆，以及機率較低的非偏好回覆。
如要瞭解如何準備資料集，請參閱「準備 Gemini 模型的偏好設定調整資料」。
支援的模型
下列 Gemini 模型支援偏好調整：
按一下即可展開支援的模型
限制
| 規格 | 值 |
|---|---|
| 形式 | 文字 |
| 訓練資料集檔案大小 | 1GB |
| 每個訓練範例的輸入和輸出詞元數量上限 | 131,072 |
| 輸入和輸出服務符記數量上限 | 與基礎 Gemini 模型相同 |
| 訓練資料集中的訓練樣本數量上限 | 1,000 萬個純文字訓練樣本 |
| 驗證資料集大小上限 | 5000 個範例，或訓練範例數量的 30% (如果驗證範例超過 1000 個) |
| 轉接器大小 | 支援的值為 1、2、4、8 和 16 |
最佳做法
將偏好最佳化演算法套用至模型前，強烈建議您採取下列行動：
- 使用監督式微調，根據偏好的回覆資料調整模型。這會教導模型在推論期間生成偏好的回覆。
- 繼續調整 使用偏好設定調整功能，以步驟 1 產生的檢查點為基礎進行調整。這會教導模型擴大偏好和不偏好回覆之間的可能性差距。
如要建立監督式微調資料集，請使用偏好資料集中的提示和接受的回覆配對，做為監督式微調資料集的提示和目標。通常只要一到兩個訓練週期就足夠，但這會因資料集大小，以及訓練資料集與 Gemini 模型初始狀態的相符程度而異。
如要使用監督式微調功能調整模型，請按照「使用監督式微調功能調整 Gemini 模型」一文中的步驟操作。
配額
並行調整工作數量設有配額。每項專案都有預設配額，至少可執行一項調整工作。這是全域配額，由所有可用區域和支援的模型共用。如要同時執行
更多工作，請申請提高
Global concurrent tuning jobs配額。
定價
如要瞭解 Gemini 偏好設定調整功能的定價，請參閱 Gemini Enterprise Agent Platform 定價。
計算費用時，每個微調範例的權杖數計算方式如下：提示中的權杖數乘以 2，再加上完成權杖數。