強化学習は、ユーザー定義の報酬関数によって提供されるフィードバック報酬を最大化するように大規模言語モデル（LLM）を適応させる強力な手法です。モデルは、考えられる多くの回答を探索し、それぞれに対して数値報酬を観察して、報酬の高い回答が生成される可能性が高くなり、報酬の低い回答が生成される可能性が低くなるように、動作を徐々にシフトします。このアプローチは、マルチステップの推論、複雑な意思決定、プロンプトの微妙なニュアンスの理解を必要とするシナリオに最適です。
Gemini の強化学習ファインチューニングでは、独自のプロンプトと自己定義の報酬関数を使用して Gemini をファインチューニングできます。これを使用すると、独自のユースケースや Agentic Workflows で Gemini モデルの推論機能と出力品質を向上させることができます。
仕組み
強化学習ファインチューニングは、LLM の動作を改善するために反復的に動作します。各イテレーションで、モデルは一連のプロンプトに対するレスポンスを生成します。これらのレスポンスは、ユーザー定義の報酬関数によって評価されます。この関数は、ターゲット条件に基づいて生成された出力の品質を定量化します。このサービスは、この報酬シグナルを使用して、強化学習アルゴリズムを通じてモデルのパラメータを更新し、より高い報酬につながる動作を促進します。この生成、評価、パラメータ更新の反復プロセスにより、モデルが特定のユースケースに適応します。
次の図は、強化学習のファインチューニング ワークフローの概要を示しています。
主な機能
強化学習ファインチューニングには、次の主な機能が含まれています。
カスタマイズ可能な報酬関数: 独自の報酬関数を定義して、幅広いカスタム ユースケースを正確に最適化し、モデルの動作を特定の目標に合わせます。サポートされている報酬タイプの詳細については、報酬関数のページをご覧ください。
効率的なチューニングのためのアダプタ: 強化学習ファインチューニングでは、アダプタを使用します。これにより、既存のサービング インフラストラクチャを再利用しながら、効果的な適応が可能になります。
複数の思考レベル: このサービスは、
MINIMALとHIGH（動的思考）の 2 つの思考レベルでのチューニングをサポートしているため、最適化の目標とターゲットのレスポンス生成パターンに最適なアプローチを選択できます。詳細については、ハイパーパラメータのページをご覧ください。継続的なチューニング: トレーニング例やエポックを追加して、以前にチューニングしたモデルをさらに改良します。既存のチューニング済みモデルまたはチェックポイントを基盤として使用すると、チューニング テストのプロセスをより効率的に行うことができます。詳細については、継続的なチューニングのページをご覧ください。
マルチモーダル データセット: テキスト、画像、動画（Gemini 3.5 Flash のみ）、音声データのモダリティをサポートしています。
強化学習ファインチューニングを使用するタイミング
強化学習ファインチューニングは、教師あり学習では最適な戦略が明確でない状況で LLM をファインチューニングする場合に適しています。これには、すぐに利用できる正解ラベルなしで特定の指標を最適化することが目標であるタスク、人間の好みに合わせることが重要であるタスク（判断方法が存在する）、反復的な改善と探索が有益な推論を多用するタスクが含まれます。
強化学習ファインチューニングが推奨されるシナリオは次のとおりです。
複雑な指示の遵守: モデルが複雑な指示に従う必要がある場合。「正しい」出力が単一の回答ではなく、一連のチェックが必要な場合。強化学習により、モデルを適応させて、これらの複雑な命令セットを処理できます。
クリエイティブなコンテンツの生成: クリエイティブな文章、詩、高度に専門的なコードの生成など、客観的な指標を定義することが難しいタスク。適切に設計された報酬関数（人間からのフィードバックや専門家による評価を含む可能性がある）を使用した強化学習により、モデルをより効果的で革新的な出力に導くことができます。
推論タスク: 単語パズルや数学の問題を解くなど、高度な推論を必要とするタスクでは、強化学習を使用して、モデルがさまざまな推論シーケンスを探索し、問題解決に最も効果的なパターンを特定するように促すことができます。
サポートされているモデルとリージョン
強化学習ファインチューニングは、次の Gemini モデルでサポートされています。
Gemini 3.5 Flash
| 仕様 | 値 |
|---|---|
| モデル チューニングでサポートされているエンドポイント |
|
| チューニング済みモデルのサービングでサポートされているエンドポイント |
|
| API のバージョン | v1beta1 のみ |
Gemini 3.1 Flash-Lite
| 仕様 | 値 |
|---|---|
| モデル チューニングでサポートされているエンドポイント |
|
| チューニング済みモデルのサービングでサポートされているエンドポイント |
|
| API のバージョン | v1beta1 のみ |
サポートされているチューニング モダリティ
強化学習ファインチューニングでは、チューニング データセットで次のデータ モダリティがサポートされています。
- テキスト
- 音声
- 画像
- 動画（Gemini 3.5 Flash でのみサポート）
モダリティごとのデータセットの上限（プロンプトあたりの最大ファイル数、最大ファイルサイズ、最大合計長など）については、チューニング データセットのページをご覧ください。
継続的チューニング
以前のチューニング ジョブの出力を、新しい強化学習ファインチューニング ジョブのベースとして使用できます。次の継続的なチューニング パターンがサポートされています。
- 教師ありファインチューニング → 強化学習ファインチューニング
- 強化学習ファインチューニング → 強化学習ファインチューニング
構成の詳細については、継続的なチューニングのページをご覧ください。
チューニング済みモデルをサービングする
ベース Gemini モデルで強化学習ファインチューニング ジョブが正常に完了すると、最後のチェックポイントに基づくチューニング済みモデルがプロジェクトのエンドポイントにデプロイされます。チューニング済みモデルは、ベースモデルと同じサービング エンドポイント戦略を使用します。たとえば、us-central1 でチューニング ジョブを実行すると、チューニング済みモデルは us マルチリージョン エンドポイント（mREP）にデプロイされます。
Google Cloud コンソールまたは API を使用して、デプロイされたチューニング済みモデルのエンドポイントを取得し、それに対して推論を実行するには、Google Cloud コンソールのクイックスタートまたは API のクイックスタートをご覧ください。
料金
チューニングの料金
Gemini の強化学習ファインチューニングでは、サンプリング フェーズとトレーニング フェーズの 2 つのフェーズでトークンが生成されます。トレーニング フェーズ中に生成されたトークンには、Gemini Enterprise Agent Platform の料金ページの「モデルのチューニング」セクションに従って課金されます。
推論の料金
チューニング後も、チューニング済みモデルの推論（予測リクエスト）費用は引き続き適用されます。Gemini 3 以降のモデルの場合、チューニング済みモデルのエンドポイントの予測料金は、ベースモデルの料金の 1.5 倍です。詳細については、利用可能な Gemini モデルの安定版をご覧ください。
チューニング中に自動的に実行するように Gen AI Evaluation Service を構成すると、評価はバッチ予測ジョブとして課金されます。詳細については、Agent Platform の料金ページの「モデルのチューニング」セクションをご覧ください。
次のステップ
- Google Cloud コンソールのクイックスタートまたは API のクイックスタートに沿って、最初の強化学習ファインチューニング ジョブを作成します。
- チューニング データセットを準備し、報酬関数を構成する方法を学習する。
- チューニング済み Gemini モデルのデプロイについて確認する。