チューニングの概要

モデルのチューニングは、Gemini が特定のタスクをより高い適合率と精度で実行するように適応させるための重要なプロセスです。モデルのチューニングは、特定のダウンストリーム タスクのサンプルセットが含まれるトレーニング データセットをモデルに提供することで行われます。

このページでは、Gemini のモデル チューニングの概要、Gemini で利用可能なチューニング オプションについて説明しますので、各チューニング オプションを使用するタイミングを判断する際に役に立ちます。

モデルをチューニングするメリット

モデルのチューニングは、大規模なモデルをタスクに合わせてカスタマイズする効果的な方法です。これは、モデルの品質と効率性を改善するための重要なステップです。モデルのチューニングには次の利点があります。

  • 特定のタスクの品質が向上する
  • モデルの堅牢性が向上する
  • プロンプトが短くなるため、推論のレイテンシとコストが低減される

チューニングとプロンプト設計の比較

  • 事前トレーニング済みの Gemini モデルによるプロンプト: プロンプトとは、Gemini などの AI モデルが目的の出力を生成できるように、効果的な指示を作成する技術です。そのためには、タスク、希望する形式、関連するコンテキストを明確に伝えるプロンプトを設計する必要があります。Gemini の機能は、最小限の設定で使用できます。次の場合に最適です。
    • ラベル付きデータが限られている場合: ラベル付きデータが少ない場合や、長時間のファインチューニング プロセスを実施できない場合。
    • 迅速なプロトタイピング: コンセプトをすばやくテストする必要がある場合や、ファインチューニングに多大な投資をせずにベースラインのパフォーマンスを取得する必要がある場合。
  • Gemini モデルのカスタム ファインチューニング: よりカスタマイズされた結果を得るために、Gemini では特定のデータセットでモデルを微調整できます。特定の分野で優れた AI モデルを作成するには、ファインチューニングを検討してください。これには、独自のラベル付きデータセットでベースモデルを再トレーニングし、その重みをタスクとデータに適応させることが含まれます。Gemini はユースケースに合わせて調整できます。ファインチューニングは、次のような場合に最も効果的です。
    • ラベル付きデータがある: トレーニング用の大規模なデータセット(100 個以上のサンプルなど)があり、モデルがタスクの仕様を深く理解できます。
    • 複雑なタスクや一意のタスク: 高度なプロンプト戦略では不十分で、データに合わせてチューニングされたモデルが必要なシナリオ。

最適なプロンプトを見つけるには、まずプロンプトの作成から始めます。次に、必要に応じてファインチューニングを行い、パフォーマンスをさらに向上させるか、繰り返し発生するエラーを修正します。例を追加することは有効ですが、データを追加する前に、モデルがどこで誤りを行っているか評価することが重要です。高品質で適切にラベル付けされたデータは、優れたパフォーマンスの実現に不可欠であり、データ量が多い場合よりも優れています。また、ファインチューニングに使用するデータは、モデルが本番環境で遭遇するプロンプトの分布、形式、コンテキストを反映している必要があります。

チューニングには、次のような点でプロンプト設計よりもメリットがあります。

  • モデルを詳細にカスタマイズでき、特定のタスクでパフォーマンスが向上します。
  • カスタム構文、指示、ドメイン固有のセマンティック ルールに合わせてモデルを調整します。
  • 一貫性と信頼性の高い結果が得られます。
  • 複数のサンプルを一度に処理できます
  • 少数ショットの例や長い指示をプロンプトから削除して、推論時の費用を削減できます。

チューニングの方法

パラメータ効率チューニングとフル ファインチューニングは、大規模なモデルをカスタマイズするための 2 つのアプローチです。どちらの方法にも、モデルの品質とリソース効率の点でメリットと影響があります。

パラメータ効率チューニング

パラメータ効率チューニング(アダプタ チューニングとも呼ばれます)を使用すると、大規模なモデルを特定のタスクやドメインに効率的に適応させることができます。パラメータ効率チューニングでは、チューニング プロセス中にモデルのパラメータの比較的小さなサブセットを更新します。

Gemini Enterprise Agent Platform がアダプタ チューニングとサービングをサポートする方法については、次のホワイトペーパー(大規模な基盤モデルの適応)をご覧ください。

フル ファインチューニング

フル ファインチューニングでは、モデルのすべてのパラメータが更新されるため、モデルを高度な複雑なタスクに適応させることができ、より高い品質を実現できる可能性があります。ただし、フル ファインチューニングを行うと、チューニングとサービングの両方でコンピューティング リソースが大量に必要になり、全体的なコストが高くなります。

フル ファインチューニングと比較したパラメータ効率チューニング

パラメータ効率チューニングは、フル ファインチューニングよりもリソース効率と費用対効果に優れています。トレーニングに必要な計算リソースが大幅に少なくなります。小規模なデータセットでモデルをより迅速に適応させることができます。パラメータ効率チューニングは、大規模な再トレーニングを必要としないため、マルチタスク学習に適したソリューションとなります。

サポートされているチューニング方法

Agent Platform は、基盤モデルをカスタマイズするための教師ありファインチューニング、プリファレンス チューニング、強化学習ファインチューニングをサポートしています。また、トレーニング実行全体でチューニング チェックポイントと継続的なチューニングを使用することもできます。

次の表は、主なチューニング方法を比較したものです。

チューニング方法 仕組み 一般的なデータセットのサイズ 適した使用例
教師ありファインチューニング(SFT) ラベル付きの入出力デモでトレーニングする 数百から数千のラベル付きサンプル 厳格な出力形式、分類、感情分析、エンティティ抽出、ドメイン固有のスタイルやトーン。
プリファレンス チューニング ペアワイズ設定(選択された回答と拒否された回答)を最適化する 数百から数千のプリファレンス ペア モデルの動作を、人間の主観的な好み、有用性、会話のトーンに合わせる。
強化学習ファインチューニング(RLFT) 候補となる推論トレースと回答(MINIMAL または HIGH の思考レベル)を生成し、最大 16 個の重み付けされた報酬関数からスコアを最大化します。 references メタデータを含む数十から数百のプロンプト マルチステップの推論、複雑なドメインルール、検証可能なタスク(コードや SQL の生成など)、推論の品質を低下させることなく思考モデルを最適化すること。

教師ありファインチューニング

教師ありファインチューニングでは、新しいスキルを教えることでモデルのパフォーマンスを改善します。ラベル付けされた何百ものサンプルを含むデータを使用して、目的の動作やタスクを模倣するようモデルに学習させます。ラベル付きの各例は、推論中にモデルに出力させる内容を示しています。

教師ありファインチューニング ジョブを実行すると、モデルは、ターゲット タスクの実行や想定される動作の学習に必要な情報をエンコードすることに役立つ追加のパラメータを学習します。これらのパラメータは推論の際に使用されます。チューニング ジョブの出力は、新しく学習したパラメータを元のモデルと組み合わせた新しいモデルです。

テキストモデルの教師ありファインチューニングは、モデルの出力が複雑ではなく、比較的定義が簡単な場合に適しています。分類、感情分析、エンティティ抽出、複雑でないコンテンツの要約、ドメイン固有のクエリの作成には、教師ありファインチューニングが推奨されます。

教師ありファインチューニングをサポートするモデル

教師ありチューニングは、次の Gemini モデルでサポートされています。

クリックして、サポートされているモデルを開く

各データタイプで教師ありファインチューニングを使用する方法の詳細については、テキスト、画像、音声、動画、ドキュメントのデータタイプのページをご覧ください。

プリファレンス チューニング

Agent Platform のプリファレンス チューニングは教師ありファインチューニングを基盤とし、人間のフィードバック データを使用して Gemini モデルをチューニングできます。

プリファレンス チューニングにより、モデルは特定のラベルと教師ありファインチューニングだけでは定義しにくい主観的なユーザーの好みを学習できます。

プリファレンス チューニングをサポートするモデル

プリファレンス チューニングは、次の Gemini モデルでサポートされています。

クリックして、サポートされているモデルを開く

プリファレンス チューニングの詳細については、Gemini モデルのプリファレンス チューニングについてをご覧ください。

強化学習ファインチューニング

強化学習ファインチューニング(RLFT)は、プログラムまたはモデルベースの報酬関数に基づく試行錯誤の探索を通じて Gemini モデルを適応させます。トレーニング中、モデルは各プロンプトに対して複数の候補レスポンスと推論トレース(MINIMAL または HIGH の思考レベル)をサンプリングし、報酬構成を使用して [-1, 1] スケールで評価します。そして、報酬を最大化するようにパラメータ効率の高い LoRA アダプタを更新します。

トレーニング中に中間思考トークンを省略する教師ありファインチューニングとは異なり、強化学習ファインチューニングはマルチステップの推論を直接最適化し、より小さなデータセット(多くの場合、数十から数百のプロンプト)で適切に一般化します。出力は、1 つの報酬関数、または 4 つのスコアラー タイプにわたる最大 16 個の報酬関数の重み付けされた複合を使用して評価できます。

  • 文字列の一致: モデル出力と、データセットの references 辞書のグラウンド トゥルース フィールドを比較します(完全な文字列または JSON の一致。オプションで正規表現の抽出を使用)。
  • Gemini ベースの自動評価ツール: LLM-as-a-judge ルーブリックを使用して、数値スコアまたは構造化された判定を返します。
  • コード実行: マネージド サンドボックス環境でカスタム Python evaluate(example, response) 関数を実行します。
  • Cloud Run: ドメイン固有の検証のために、Cloud Run でホストされているカスタム HTTP エンドポイントに候補レスポンスを送信します。

強化学習ファインチューニングをサポートするモデル

強化学習ファインチューニングは、次の Gemini モデルでサポートされています。

クリックして、サポートされているモデルを開く

強化学習ファインチューニングの詳細については、強化学習ファインチューニングについてをご覧ください。

チューニング チェックポイント

チューニング チェックポイントを使用すると、チューニングの進行状況を保存し、チェックポイントのパフォーマンスを比較して、最適なパフォーマンスのチェックポイントを選択できます。教師ありファインチューニングの場合はエポック単位、強化学習ファインチューニングの場合はステップ間隔(checkpointInterval)単位で選択できます。

チューニング チェックポイントをサポートするモデル

次の Gemini モデルはチューニング チェックポイントをサポートしています。

クリックして、サポートされているモデルを開く

チューニング チェックポイントの詳細については、Gemini チューニングでチェックポイントを使用すると強化学習ファインチューニングのジョブ ステータス、指標、モニタリングをご覧ください。

継続的なチューニング

継続的なチューニングでは、チューニング済みのモデルまたはモデル チェックポイントのチューニングを継続できます。チューニング済みモデル(SFT -> SFT)で追加の教師ありファインチューニング エポックを実行したり、教師ありファインチューニング チェックポイントに強化学習ファインチューニングを適用して、厳格な形式と強化された推論を組み合わせたり(SFT -> RLFT)、以前の強化学習チェックポイントからトレーニングを継続したり(RLFT -> RLFT)できます。

継続的なチューニングをサポートするモデル

継続的なチューニングは、次の Gemini モデルでサポートされています。

クリックして、サポートされているモデルを開く

継続的なチューニングの詳細については、Gemini モデルの継続的なチューニングについてと強化学習のファインチューニングによる継続的なチューニングをご覧ください。

次のステップ