Vertex AI 偏好設定調整功能可讓您使用使用者意見回饋資料，調整 Gemini 模型。
偏好設定調整功能可讓模型從主觀使用者偏好設定中學習，這些偏好設定難以使用特定標籤定義，也無法單靠監督式微調來定義。
偏好調整輸入資料集包含提示和一組回應的範例，指出偏好哪個回應，以及不偏好哪個回應。模型會學習生成機率較高的偏好回覆，以及機率較低的非偏好回覆。
如要瞭解如何準備資料集，請參閱「準備 Gemini 模型的偏好設定調整資料」。
支援的模型
下列 Gemini 模型支援偏好設定調整功能：
限制
| 規格 | 值 |
|---|---|
| 形式 | 文字 |
| 訓練資料集檔案大小 | 1GB |
| 每個訓練範例的輸入和輸出權杖數量上限 | 131,072 |
| 輸入和輸出服務符記數量上限 | 與基礎 Gemini 模型相同 |
| 訓練資料集中的訓練範例數量上限 | 1,000 萬個純文字訓練範例 |
| 驗證資料集大小上限 | 5000 個範例，或訓練範例數量的 30% (如果驗證範例超過 1000 個) |
| 轉接器大小 | 支援的值為 1、2、4、8 和 16 |
最佳做法
將偏好最佳化演算法套用至模型前，強烈建議您採取下列行動：
如要建立監督式微調資料集，請使用偏好資料集中的提示和接受的回覆配對，做為監督式微調資料集的提示和目標。通常一到兩個訓練週期就足夠，但這會因資料集大小，以及訓練資料集與 Gemini 模型初始狀態的相符程度而異。
如要使用監督式微調功能調整模型，請按照「使用監督式微調功能調整 Gemini 模型」一文中的步驟操作。
配額
系統會對並行微調工作數量強制執行配額。每個專案都設有預設配額，至少可執行一項微調作業。這是全域配額，適用於所有可用區域和支援的模型。如要同時執行更多工作，請申請更多配額給 Global concurrent tuning jobs。
定價
如要瞭解 Gemini 偏好設定調整功能的定價，請參閱 Vertex AI 定價。
計算費用時，每個微調範例的權杖數量計算方式如下：提示中的權杖數量乘以 2，然後加上完成權杖數量。