Gemini Enterprise Agent Platform 偏好調整功能可讓您使用人類意見回饋資料調整 Gemini 模型。
偏好調整可讓模型從主觀的使用者偏好中學習，這些偏好很難透過特定標籤或僅透過監督式微調來定義。
偏好調整輸入資料集包含多個範例，每個範例都由提示和一組回覆組成，並指出偏好和不偏好的回覆。模型會學習以較高機率生成偏好的回覆，並以較低機率生成不偏好的回覆。
如要瞭解如何準備資料集，請參閱「準備 Gemini 模型的偏好調整資料」。
支援的模型
下列 Gemini 模型支援偏好調整：
按一下即可展開支援的模型
限制
| 規格 | 值 |
|---|---|
| 形式 | 文字 |
| 訓練資料集的檔案大小 | 1GB |
| 每個訓練樣本的輸入和輸出詞元數量上限 | 131,072 |
| 輸入和輸出服務詞元數量上限 | 與基礎 Gemini 模型相同 |
| 訓練資料集中的訓練樣本數量上限 | 1,000 萬個純文字訓練樣本 |
| 驗證資料集大小上限 | 5,000 個樣本，或訓練樣本數的 30% (如果驗證樣本數超過 1,000 個) |
| 轉接器大小 | 支援的值為 1、2、4、8 和 16 |
最佳做法
將偏好最佳化演算法套用至模型前，強烈建議您採取下列行動：
如要建立監督式微調資料集，請使用偏好資料集中的提示和接受的回覆組合，做為監督式微調資料集的提示和目標。一般來說，一或兩個週期的監督式微調應該就足夠，但這可能會因資料集大小，以及訓練資料集與 Gemini 模型的初始一致程度而異。
如要使用監督式微調功能調整模型，請按照「使用監督式微調功能調整 Gemini 模型」中的步驟操作。
配額
並行調整工作數量設有配額限制。每項專案都有預設配額，至少可執行一項調整工作。這是全域配額，由所有可用區域和支援的模型共用。如要同時執行更多工作，請申請提高 Global concurrent tuning jobs 的配額。
定價
如要查看 Gemini 偏好調整的定價，請前往 Gemini Enterprise Agent Platform 定價。
計算費用時，每個調整樣本的詞元數量計算方式如下：將提示中的詞元數量乘以 2，再加上完成詞元的數量。