Vertex AI のプリファレンス チューニングを使用すると、人間のフィードバック データを使用して Gemini モデルをチューニングできます。
プリファレンス チューニングにより、モデルは特定のラベルと教師ありファインチューニングだけでは定義しにくい主観的なユーザーの好みを学習できます。
プリファレンス チューニングの入力データセットには、プロンプトとレスポンスのペアで構成される例が含まれています。このペアは、どちらが好ましく、どちらが好ましくないかを示します。モデルは、好ましい回答を高い確率で生成し、好ましくない回答を低い確率で生成するように学習します。
データセットを準備する方法については、Gemini モデルのプリファレンス チューニング データを準備するをご覧ください。
サポートされているモデル
プリファレンス チューニングは、次の Gemini モデルでサポートされています。
制限事項
| 仕様 | 値 |
|---|---|
| モダリティ | テキスト |
| トレーニング データセットのファイルサイズ | 1 GB |
| トレーニング例あたりの入力トークンと出力トークンの最大数 | 131,072 |
| 入力トークンと出力トークンの最大サービング数 | ベースの Gemini モデルと同じ |
| トレーニング データセット内のトレーニング サンプルの最大数 | テキストのみのトレーニング用サンプル 1,000 万件 |
| 検証データセットの最大サイズ | 5,000 個のサンプル。検証用サンプルが 1,000 個を超える場合は、トレーニング用サンプルの数の 30% |
| アダプタサイズ | サポートされる値は 1、2、4、8、16 です。 |
ベスト プラクティス
モデルにプリファレンス最適化アルゴリズムを適用する前に、次のことを行うことを強くおすすめします。
- 優先応答データで教師ありファインチューニングを使用して、モデルをチューニングします。これにより、推論時に優先されるレスポンスを生成するようにモデルが学習します。
- ステップ 1 で生成されたチェックポイントから、プリファレンス チューニングを使用してチューニングを続行します。これにより、モデルは好ましい回答と好ましくない回答の尤度のギャップを広げるように学習します。
教師ありファインチューニング データセットを作成するには、プリファレンス データセットのプロンプトと受け入れられたレスポンスのペアを、教師ありファインチューニング データセットのプロンプトとターゲットとして使用します。通常、教師ありファインチューニングの 1～2 エポックで十分ですが、データセットのサイズと、トレーニング データセットが Gemini モデルとどの程度一致しているかによって異なります。
教師ありファインチューニングを使用してモデルをチューニングするには、教師ありファインチューニングを使用して Gemini モデルをチューニングするの手順に沿って操作します。
割り当て
同時チューニング ジョブの数に割り当てが適用されます。どのプロジェクトにも、少なくとも 1 つのチューニング ジョブを実行するためのデフォルトの割り当てがあります。これはグローバル割り当てであり、利用可能なすべてのリージョンとサポートされているモデルで共有されます。複数のジョブを同時に実行する場合は、Global concurrent tuning jobs の追加の割り当てをリクエストする必要があります。
料金
Gemini のプリファレンス チューニングの料金については、Vertex AI の料金をご覧ください。
料金計算で、各チューニング例のトークン数は、プロンプト内のトークン数に 2 を掛け、完了トークンの数を足して計算されます。