快速入門：使用 Google Cloud 控制台微調強化學習模型

本頁面將逐步說明如何使用 Google Cloud 控制台，對 Gemini 模型進行強化學習微調的端對端工作流程：建立微調工作、檢查工作狀態、擷取微調模型端點，以及對模型執行推論。如要使用 Agent Platform API 完成這些工作，請參閱 API 快速入門。

開始之前，請參閱「關於強化學習微調」，瞭解這項功能、支援的模型和支援的地區。

建立強化學習微調工作

如要使用 Google Cloud 控制台建立強化學習微調工作，請執行下列步驟：

  1. 在 Google Cloud 控制台，前往「模型」>「微調」頁面。

    前往「Tuning」(微調)

  2. 按一下「Create tuned model」(建立調整後的模型)。

  3. 在「模型詳細資料」部分，設定下列項目：

    1. 在「調整方法」下方，選取「強化學習微調」。
    2. 在「Tuned model name」(調整後模型名稱) 欄位中，輸入調整後模型的名稱 (例如 my-rl-tuned-model)。
    3. 在「Base model」(基礎模型) 下方，選取「Tune a foundation model」(微調基礎模型)。
    4. 在「Base model」(基礎模型) 下拉式清單中，選取要微調的模型 (例如 gemini-3.5-flash)。
    5. 在「Region」(區域) 下拉式清單中，選取微調工作執行的區域 (例如 us-central1 (Iowa))。微調後的模型會透過 us 多區域端點提供服務。如需支援微調和服務的完整區域清單，請參閱「支援的型號和區域」一節。
    6. 選用：展開「進階選項」，自訂超參數：
      • 訓練週期數：訓練週期數 (例如 15)。
      • 學習率調節係數：用於調整學習率的調節係數 (例如 1.0)。
      • 轉接器大小：高效參數調整的轉接器大小 (例如 16)。
      • 每個提示的樣本數：模型在訓練期間，每個提示產生的候選回應數量 (例如 16)。
      • 思考程度：推理模型的思考程度 (例如 HIGH)。
      • 批量：每個批次的訓練範例數量 (例如 32)。
      • 查核點間隔：儲存中繼查核點的頻率 (以步驟為單位)，例如 5。
      • 輸出詞元數量上限：每個樣本產生的輸出詞元數量上限 (例如 32768)。
      • 評估間隔：評估作業對驗證資料集執行的頻率 (以步數為單位)，例如 5。
    7. 按一下「繼續」。

  4. 在「回饋設定」部分，設定一或多個回饋函式，在訓練期間為模型回覆評分：

    1. 在「獎勵名稱」欄位中，輸入獎勵函式的專屬名稱 (例如 my_reward_function_name)。監控檢視畫面中發出的指標會加上這個名稱做為前置字元。
    2. 在「獎勵類型」下拉式清單中，選取評分者類型：
      • 字串比對獎勵：使用完全比對或規則運算式，評估生成文字與參照內容的相符程度。
      • 透過 LLM 提供回饋：使用 Gemini 模型做為自動評估者，根據評估提示為回覆評分。
      • 透過 Python 函式提供回饋：在安全沙箱中執行自訂 Python 程式碼，評估回覆內容。
      • 透過 Cloud Run 隨意自訂回饋：呼叫 Cloud Run 託管的外部 HTTP 端點，評估回覆。

    3. 設定所選獎勵類型的設定。舉例來說，如果是 Cloud Run 獎勵：

      • 在「Cloud Run URI」欄位中，輸入已部署服務的 HTTPS URI (例如 https://my.cloud.run.uri)。
      • 在「剖析類型」欄位中，選取「IDENTITY」。

      或者，如要獲得字串比對回饋：

      • 在「剖析類型」欄位中，選取「REGEX_EXTRACT」或「IDENTITY」。 如果選取 REGEX_EXTRACT，請在「規則運算式擷取運算式」中輸入規則運算式 (例如 \text{(.*)})。
      • 在「答錯的獎勵」欄位中，輸入答錯的懲罰 (例如 -1)。
      • 在「答對的獎勵」欄位中，輸入答對可獲得的分數 (例如 1)。
      • 在「字串比對運算式類型」下方，選取「字串比對」或「JSON 比對」。
      • 在「比對作業」下拉式清單中，選取比對邏輯 (例如「完全相符」)。
      • 在「Expression」(運算式) 欄位中，輸入參照運算式 (例如 references.reference)。

    4. 在「Reward weight」(獎勵權重) 欄位中，輸入這個獎勵函式的相對權重 (例如 1)。

    5. 按一下「完成」。

    6. 選用：如要定義複合獎勵，請按一下「+ 新增其他獎勵」，並設定其他獎勵函式。你最多可以新增 16 個獎勵函式，並為每個函式指派相對權重。

    7. 按一下「繼續」。

  5. 在「測試獎勵 (選用)」部分，請先驗證獎勵設定，再開始調整工作：

    1. 在「訓練範例」欄位中，輸入包含 contents 和 references 的 JSON 物件範例。
    2. 在「範例模型回覆」欄位中輸入候選回覆，或點選「根據訓練範例生成」，使用基礎模型生成回覆範例。
    3. 按一下「Test」。
    4. 確認評估作業成功，並檢查計算出的分數。如果使用複合式獎勵，請按一下「查看個別獎勵資訊」，檢查每個獎勵的分數細目。
    5. 按一下「繼續」。

  6. 在「微調資料集」下方，指定儲存在 Cloud Storage 中的資料集檔案：

    1. 在「訓練資料集」欄位中，輸入訓練資料集 JSONL 檔案的 Cloud Storage URI (例如 gs://path/to/my/training_dataset.jsonl)。
    2. 在「驗證資料集」欄位中，輸入驗證資料集 JSONL 檔案的 Cloud Storage URI (例如 gs://path/to/my/eval_dataset.jsonl)。
    3. 按一下「Start tuning」(開始調整)。

查看強化學習微調工作狀態

按一下「開始調整」後，控制台會重新導向至「模型」>「調整」頁面。微調工作表格會在清單頂端附近顯示您新建立的工作，並提供下列詳細資料：

  • 模型名稱：您為微調後模型指定的顯示名稱。
  • 狀態：微調作業的目前狀態 (例如「待處理」、「執行中」或「成功」)。
  • 方法：Reinforcement Learning。
  • 基礎模型：基礎或預先調整的模型。
  • 區域：執行微調工作的位置。

按一下模型名稱，開啟微調工作詳細資料頁面。這個頁面提供下列分頁：

  • 監控：顯示調整進度和互動式指標圖表：
    • 微調進度：顯示工作是否正在執行或已完成。
    • 合併圖表：提供驗證資料集時，訓練和驗證曲線 (例如 /train_mean_reward 和 /eval_mean_reward) 會繪製在同一個圖表上。
    • 可收合的圖表群組：指標圖表會整理成群組，包括一般微調指標 (平均獎勵、生成權杖長度、思考詞元長度、取樣延遲和獎勵延遲)，以及以 ${reward_name} 為前置字元的每個獎勵指標。
    • 查核點註解：微調期間儲存的中間查核點會直接在圖表上註解，並沿著訓練時間軸顯示。
    • 篩選列：使用篩選列依名稱搜尋指標，或依類別篩選 (Show Category)。篩選後，篩選列會固定在檢視畫面頂端。
    • 檢查點表格：列出已儲存的中間檢查點，並顯示步驟編號和指標值。使用資料欄選取器選擇要顯示的資料欄。
  • 資料集：顯示資料集詳細資料、範例對話和參考值。
  • 詳細資料：匯總工作設定，包括基礎模型、調整方法、超參數和獎勵設定。按一下獎勵設定資訊卡上的「查看詳細資料」，即可查看非預設的參數值。

如需發出的指標完整清單和解讀方式，請參閱「指標和監控」頁面。

訓練時間

訓練時間會受到下列因素影響：

視設定而定，Gemini 強化學習微調作業可能需要數小時到數天才能完成。

取得微調模型端點

調整作業達到「成功」狀態後，模型檢查點會部署至端點。您可以在Google Cloud 控制台中直接查看及管理已部署的微調模型：

  1. 在微調工作詳細資料頁面的標題中，按一下「查看模型詳細資料」。 「Model Registry」(模型登錄) 頁面隨即開啟，並顯示已調整模型的詳細資料。
  2. 在模型詳細資料頁面中，找到「部署及測試」分頁，即可查看已部署的端點資源路徑 (格式為 projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID})。
  3. 或者，在調整工作詳細資料頁面的「監控」分頁中，找到「檢查點」表格，檢查中間檢查點。 您可以獨立部署及評估個別檢查點。

如果微調工作在 us-central1 中執行，微調後的模型會透過 us 多區域端點提供服務。

對微調模型執行推論

您可以在Google Cloud 控制台中直接測試及執行微調模型的推論作業，方法如下：

  1. 在微調工作詳細資料頁面的標頭中，按一下「測試」。

    Agent Studio 隨即開啟，並預先選取微調模型。

  2. 在提示欄位中輸入提示詞 (例如 "Why is the sky blue?" 或目標網域中的問題)。

  3. 按一下「執行」 (或「傳送」) 即可生成回覆。

  4. 查看生成的輸出內容，評估模型是否符合您期望的推論風格、格式和獎勵目標。

後續步驟