強化学習ファインチューニングの継続的なチューニング

継続的なチューニングでは、エポックやトレーニング例を追加して、チューニング済みのモデルまたはモデル チェックポイントのチューニングを継続できます。すでにチューニングされたモデルまたはチェックポイントをベースモデルとして使用すると、チューニング テストをより効率的に行えます。

継続的なチューニングは、次の目的で使用できます。

  • 既存のチューニング済みモデルが過小適合している場合に、より多くのデータでチューニングするため。
  • パフォーマンスを向上させる、または新しいデータでモデルを最新の状態に保つため。
  • 既存のチューニング済みモデルをさらにカスタマイズするため。

サポートされている継続的チューニング パターン

次の継続的チューニング パターンがサポートされています。

  • 教師ありファインチューニング → 強化学習ファインチューニング
  • 強化学習ファインチューニング → 強化学習ファインチューニング

継続的なチューニングを構成する

継続的チューニング ジョブは、 Google Cloud コンソールまたは REST API を使用して構成できます。

コンソール

Google Cloud コンソールで継続的チューニング ジョブを構成するには:

  1. Google Cloud コンソールで、[モデル] > [チューニング] ページに移動します。

    [チューニング] に移動

  2. [チューニング済みモデルを作成] をクリックします。
  3. [チューニング方法] で、[強化学習ファインチューニング] を選択します。
  4. [ベースモデル] セクションで、[事前チューニング済みモデルをチューニングする] を選択します。
  5. [モデルを選択] をクリックし、以前にチューニングしたモデルを選択して、チューニングを続行するバージョンまたはチェックポイントを選択します。
  6. 残りの手順に沿って、報酬関数、トレーニング データセット、ハイパーパラメータを構成します。詳細については、Google Cloud コンソール クイックスタートをご覧ください。

REST

継続的チューニング ジョブをプログラムで構成するには、リクエスト本文に preTunedModel ブロックを含めます。このブロックは、以前にチューニングされたモデル（および、必要に応じて特定のチェックポイント）を指します。リクエストの残りの部分は、新しい強化学習ファインチューニング ジョブと同じスキーマに従います。

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

次のように置き換えます。

  • DESCRIPTION: チューニング ジョブの説明。省略可。
  • TUNED_MODEL_DISPLAY_NAME: チューニング済みモデルの表示名。
  • TRAINING_DATASET: トレーニング データセット JSONL ファイルの Cloud Storage URI。
  • VALIDATION_DATASET: 検証データセット JSONL ファイルの Cloud Storage URI。省略可。
  • HYPERPARAMETERS: 継続的チューニング ジョブのハイパーパラメータ構成。詳細については、ハイパーパラメータのページをご覧ください。
  • REWARD_CONFIG: 報酬構成。詳細については、報酬関数のページをご覧ください。
  • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
  • LOCATION_ID: 地域 ID。
  • PRETUNED_MODEL_ID: 以前にチューニングしたモデルのモデル ID。このモデルから続行します。
  • CHECKPOINT_ID: 以前にチューニングしたモデルの特定のチェックポイントの ID。省略可 - 省略すると、事前調整済みモデルの最新のチェックポイントが使用されます。

次のステップ