強化学習は、ユーザー定義の報酬関数によって提供されるフィードバック報酬を最大化するように大規模言語モデル（LLM）を適応させる強力な手法です。モデルは、考えられる多くの回答を試し、それぞれの数値報酬を観察し、報酬の高い回答の確率が高く、報酬の低い回答の確率が低くなるように徐々に動作を変化させます。このアプローチは、マルチステップの推論、複雑な意思決定、プロンプトの微妙なニュアンスの理解を必要とするシナリオで優れています。
Gemini の強化学習ファインチューニングを使用すると、独自のプロンプトとユーザー定義の報酬関数を使用して Gemini をファインチューニングできます。これを使用して、独自のユースケースとエージェント ワークフローで Gemini モデルの推論能力と出力品質を高めることができます。
仕組み
強化学習ファインチューニングは、LLM の動作を改善するために反復的に動作します。各イテレーションで、モデルは一連のプロンプトに対するレスポンスを生成します。これらのレスポンスは、ユーザー定義の報酬関数によって評価されます。この関数は、目的の基準に基づいて生成された出力の品質を定量化します。このサービスは、この報酬シグナルを使用して、強化学習アルゴリズムを通じてモデルのパラメータを更新し、より高い報酬につながる行動を促します。生成、評価、更新のこの反復プロセスにより、モデルは特定のユースケースを学習して適応できます。
次の図は、強化学習のファインチューニング ワークフローの全体像を示しています。
主な機能
カスタマイズ可能な報酬関数: 独自の報酬関数を定義して、さまざまなカスタム ユースケースに合わせて正確に最適化し、モデルの動作を特定の目標に合わせます。サポートされている報酬タイプの詳細については、報酬関数のページをご覧ください。
効率的なチューニング用のアダプタ: 強化学習ファインチューニングでは、既存のサービング インフラストラクチャを再利用しながら効果的な適応を可能にするアダプタを使用します。
複数の思考レベル: このサービスは、
MINIMALとHIGH（動的思考）の 2 つの思考レベルでのチューニングをサポートしています。これにより、モデルの学習目標と目的のレスポンス生成パターンに最適なアプローチを選択できます。詳細については、ハイパーパラメータのページをご覧ください。継続的なチューニング: 追加のトレーニング例やエポックを組み込んで、以前にチューニングしたモデルをさらに調整します。既存のチューニング済みモデルまたはチェックポイントを基盤として使用すると、チューニング テストのプロセスをより効率的に行うことができます。詳細については、継続的チューニングのページをご覧ください。
マルチモーダル データセット: テキスト、画像、動画、音声のデータ モダリティをサポートします。
強化学習ファインチューニングを使用するタイミング
強化学習ファインチューニングは、教師あり学習では最適な戦略が明らかでない状況で LLM をファインチューニングする場合に適しています。これには、グラウンド トゥルース ラベルがすぐに利用できない特定の指標を最適化することを目的とするタスク、人間の好みとの整合性が重要（かつ判断方法が存在する）なタスク、反復的な改善と探索のメリットがある推論重視のタスクが含まれます。
強化学習ファインチューニングが推奨されるシナリオを次に示します。
複雑な指示の遵守: 「正しい」出力が単一の回答ではなく、一連のチェックが必要となる複雑な指示をモデルが遵守する必要がある場合。強化学習は、モデルがこれらの複雑な命令セットをナビゲートする方法を学習するのに役立ちます。
クリエイティブ コンテンツの生成: 客観的な指標を定義することが難しい、クリエイティブな文章、詩、高度に専門的なコードの生成などのタスク。適切に設計された報酬関数（人間からのフィードバックや専門家の評価を含む可能性あり）を用いた強化学習により、モデルをより望ましい革新的な出力に導くことができます。
推論タスク: 単語パズルや数学の問題を解くなど、高度な推論を必要とするタスクの場合、強化学習により、モデルがさまざまな「思考」シーケンスを探索して、どの推論パターンが問題を解決するのに最も効果的かを学習するように促すことができます。
サポートされているモデルと地域
強化学習ファインチューニングは、次の Gemini モデルでサポートされています。
Gemini 3.5 Flash
| 仕様 | 値 |
|---|---|
| モデル チューニングでサポートされているエンドポイント |
|
| チューニング済みモデル提供でサポートされているエンドポイント |
|
| API のバージョン | v1beta1 のみ使用している |
サポートされているチューニング モダリティ
強化学習ファインチューニングでは、チューニング データセットで次のデータ モダリティがサポートされています。
- テキスト
- 音声
- 画像
- 動画
モードごとのデータセットの上限（プロンプトあたりの最大ファイル数、最大ファイルサイズ、最大合計長など）については、チューニング データセットのページをご覧ください。
継続的チューニング
以前のチューニング ジョブの出力を、新しい強化学習ファインチューニング ジョブのベースとして使用できます。次の継続的チューニング パターンがサポートされています。
- 教師ありファインチューニング → 強化学習ファインチューニング
- 強化学習ファインチューニング → 強化学習ファインチューニング
構成の詳細については、継続的なチューニング ページをご覧ください。
チューニング済みモデルをサービングする
ベースの Gemini モデルで強化学習ファインチューニング ジョブが正常に完了すると、最後のチェックポイントに基づいてチューニングされたモデルがプロジェクトのエンドポイントにデプロイされます。チューニング済みモデルは、ベースモデルと同じサービング エンドポイント戦略を使用します。たとえば、us-central1 でチューニング ジョブを実行すると、チューニング済みのモデルが us マルチリージョン エンドポイント（mREP）にデプロイされます。
デプロイされたチューニング済みモデルのエンドポイントを取得して推論を実行するには、クイック スタート ページをご覧ください。
料金
チューニングの料金
Gemini の強化学習ファインチューニングでは、サンプリング フェーズとトレーニング フェーズの 2 つのフェーズでトークンが生成されます。トレーニング フェーズで生成されたトークンは、Gemini Enterprise Agent Platform の料金ページの「モデル チューニング」セクションに従って課金されます。
推論の料金
チューニング後も、チューニング済みモデルの推論（予測リクエスト）費用は引き続き適用されます。Gemini 3 以降のモデル推論の場合、チューニング済みモデルのエンドポイントの予測料金は、ベースモデルの料金の 1.5 倍です。詳細については、利用可能な Gemini モデルの安定版をご覧ください。
チューニング中に自動的に実行するように Gen AI Evaluation Service を構成すると、評価はバッチ予測ジョブとして課金されます。詳細については、Gemini Enterprise Agent Platform の料金ページの「モデル チューニング」セクションをご覧ください。
次のステップ
- クイックスタートに沿って、最初の強化学習ファインチューニング ジョブを作成します。
- チューニング データセットを準備して、報酬関数を構成する方法を確認する。
- チューニング済み Gemini モデルのデプロイについて確認する。