使用監督式微調功能調整翻譯大型語言模型

本文說明如何使用監督式微調功能，調整翻譯 LLM 模型。

事前準備

開始前，您必須先準備監督式微調資料集。視用途而定，您需要滿足不同的條件。

• 準備用於調整的文字資料集：文字調整

支援的模型

• translation-llm-002 (僅支援文字調整)

建立調整工作

您可以使用 REST API 或 Google Gen AI SDK 建立監督式微調工作。

REST

如要建立模型微調工作，請使用 tuningJobs.create 方法傳送 POST 要求。部分參數不適用於所有模型。請務必只加入適用於調整模型的參數。

使用任何要求資料之前，請先修改下列項目的值：

• PROJECT_ID：您的專案 ID。
• TUNING_JOB_REGION：執行調整工作的區域。這也是上傳調整後模型的預設區域。支援的地區：us-central1。
• BASE_MODEL：要調整的翻譯模型名稱。支援的值：translation-llm-002。
• TRAINING_DATASET_URI：訓練資料集的 Cloud Storage URI。資料集必須採用 JSONL 檔案格式。為達最佳效果，請提供至少 100 到 500 個樣本。詳情請參閱「關於監督式調整資料集」。
• VALIDATION_DATASET_URI 選用：驗證資料集檔案的 Cloud Storage URI。
• TUNED_MODEL_DISPLAYNAME 選用：調整後模型的顯示名稱。如未設定，系統會產生隨機名稱。

HTTP 方法和網址：

POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

JSON 要求內文：

{
  "baseModel": "BASE_MODEL",
  "supervisedTuningSpec" : {
      "trainingDatasetUri": "TRAINING_DATASET_URI",
      "validationDatasetUri": "VALIDATION_DATASET_URI"
  },
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME"
}

如要傳送要求，請選擇以下其中一個選項：

curl

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login 透過使用者帳戶登入 gcloud CLI，或是使用 Cloud Shell 自動登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"

PowerShell

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login，透過使用者帳戶登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content

您應該會收到如下的 JSON 回覆。

回應

{
  "name": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID",
  "createTime": "CREATE_TIME",
  "updateTime": "UPDATE_TIME",
  "state": "STATE",
  "supervisedTuningSpec": {
        "trainingDatasetUri": "TRAINING_DATASET_URI",
        "validationDatasetUri": "VALIDATION_DATASET_URI"
    },
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME"
}

cURL 指令範例

PROJECT_ID=PROJECT_ID
LOCATION=us-central1
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/tuningJobs" \
-d \
$'{
   "baseModel": "translation-llm-002",
   "supervisedTuningSpec" : {
      "trainingDatasetUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/text/sft_train_data.jsonl",
      "validationDatasetUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/text/sft_validation_data.jsonl"
   },
   "tunedModelDisplayName": "tuned_translation_llm"
}'

Python

import time

from google import genai
from google.genai.types import (
    CreateTuningJobConfig,
    EvaluationConfig,
    GcsDestination,
    HttpOptions,
    Metric,
    OutputConfig,
    TuningDataset,
)

# TODO(developer): Update and un-comment below line
# output_gcs_uri = "gs://your-bucket/your-prefix"

client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))

training_dataset = TuningDataset(
    gcs_uri="gs://cloud-samples-data/ai-platform/generative_ai/gemini/text/sft_train_data.jsonl",
)
validation_dataset = TuningDataset(
    gcs_uri="gs://cloud-samples-data/ai-platform/generative_ai/gemini/text/sft_validation_data.jsonl",
)

evaluation_config = EvaluationConfig(
    metrics=[
        Metric(
            name="FLUENCY",
            prompt_template="""Evaluate this {prediction}"""
        )
    ],
    output_config=OutputConfig(
        gcs_destination=GcsDestination(
            output_uri_prefix=output_gcs_uri,
        )
    ),
)

tuning_job = client.tunings.tune(
    base_model="gemini-3.5-flash",
    training_dataset=training_dataset,
    config=CreateTuningJobConfig(
        tuned_model_display_name="Example tuning job",
        validation_dataset=validation_dataset,
        evaluation_config=evaluation_config,
    ),
)

running_states = set([
    "JOB_STATE_PENDING",
    "JOB_STATE_RUNNING",
])

while tuning_job.state in running_states:
    print(tuning_job.state)
    tuning_job = client.tunings.get(name=tuning_job.name)
    time.sleep(60)

print(tuning_job.tuned_model.model)
print(tuning_job.tuned_model.endpoint)
print(tuning_job.experiment)
# Example response:
# projects/123456789012/locations/us-central1/models/1234567890@1
# projects/123456789012/locations/us-central1/endpoints/123456789012345
# projects/123456789012/locations/us-central1/metadataStores/default/contexts/tuning-experiment-2025010112345678

if tuning_job.tuned_model.checkpoints:
    for i, checkpoint in enumerate(tuning_job.tuned_model.checkpoints):
        print(f"Checkpoint {i + 1}: ", checkpoint)
    # Example response:
    # Checkpoint 1:  checkpoint_id='1' epoch=1 step=10 endpoint='projects/123456789012/locations/us-central1/endpoints/123456789000000'
    # Checkpoint 2:  checkpoint_id='2' epoch=2 step=20 endpoint='projects/123456789012/locations/us-central1/endpoints/123456789012345'

查看調整工作清單

您可以使用 Google Cloud 控制台、Google Gen AI SDK，或使用 tuningJobs.list 方法傳送 GET 要求，查看目前專案中的調整工作清單。

REST

如要查看模型調整工作清單，請使用 tuningJobs.list 方法傳送 GET 要求。

使用任何要求資料之前，請先修改下列項目的值：

• PROJECT_ID：您的專案 ID。
• TUNING_JOB_REGION：執行調整工作的區域。這也是上傳調整後模型的預設區域。

HTTP 方法和網址：

GET https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

如要傳送要求，請選擇以下其中一個選項：

curl

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login 透過使用者帳戶登入 gcloud CLI，或是使用 Cloud Shell 自動登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

執行下列指令：

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"

PowerShell

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login，透過使用者帳戶登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

執行下列指令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content

您應該會收到如下的 JSON 回覆。

回應

{
  "tuningJobs": [
    TUNING_JOB_1, TUNING_JOB_2, ...
  ]
}

Python

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(http_options=HttpOptions(api_version="v1"))

responses = client.tunings.list()
for response in responses:
    print(response.name)
    # Example response:
    # projects/123456789012/locations/us-central1/tuningJobs/123456789012345

控制台

如要在 Google Cloud 控制台查看調整工作，請前往「Agent Studio」頁面。

前往 Agent Studio

翻譯 LLM 調整工作會列在「Translation LLM tuned models」(翻譯 LLM 調整模型) 專區下方的表格中。

取得調整工作的詳細資料

如要取得目前專案中調整工作的詳細資料，可以使用 Google Cloud 控制台、Google Gen AI SDK，或使用 tuningJobs.get 方法傳送 GET 要求。

REST

如要查看模型調整工作的詳細資料，請使用 tuningJobs.get 方法傳送 GET 要求，並指定 TUNING_JOB_ID。

使用任何要求資料之前，請先修改下列項目的值：

• PROJECT_ID：您的專案 ID。
• TUNING_JOB_REGION：執行調整工作的區域。這也是上傳調整後模型的預設區域。
• TUNING_JOB_ID：調整工作的 ID。

HTTP 方法和網址：

GET https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID

如要傳送要求，請選擇以下其中一個選項：

curl

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login 透過使用者帳戶登入 gcloud CLI，或是使用 Cloud Shell 自動登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

執行下列指令：

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID"

PowerShell

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login，透過使用者帳戶登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

執行下列指令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID" | Select-Object -Expand Content

您應該會收到如下的 JSON 回覆。

回應

{
  "name": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME",
  "createTime": "CREATE_TIME",
  "endTime": "END_TIME",
  "tunedModel": {
      "model": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/models/MODEL_ID",
      "endpoint": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID"
  },
  "experiment": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/metadataStores/default/contexts/EXPERIMENT_ID",
  "tuningDataStats": {
      "supervisedTuningDataStats": {
          "tuningDatasetExampleCount": "TUNING_DATASET_EXAMPLE_COUNT",
          "totalBillableTokenCount": "TOTAL_BILLABLE_TOKEN_COUNT",
          "tuningStepCount": "TUNING_STEP_COUNT"
      }
  },
  "state": "STATE",
  "supervisedTuningSpec" : {
        "trainingDatasetUri": "TRAINING_DATASET_URI",
        "validationDatasetUri": "VALIDATION_DATASET_URI",
        "hyperParameters": {
            "epochCount": EPOCH_COUNT,
            "learningRateMultiplier": LEARNING_RATE_MULTIPLIER
        }
    }
}

Python

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(http_options=HttpOptions(api_version="v1"))

# Get the tuning job and the tuned model.
# Eg. tuning_job_name = "projects/123456789012/locations/us-central1/tuningJobs/123456789012345"
tuning_job = client.tunings.get(name=tuning_job_name)

print(tuning_job.tuned_model.model)
print(tuning_job.tuned_model.endpoint)
print(tuning_job.experiment)
# Example response:
# projects/123456789012/locations/us-central1/models/1234567890@1
# projects/123456789012/locations/us-central1/endpoints/123456789012345
# projects/123456789012/locations/us-central1/metadataStores/default/contexts/tuning-experiment-2025010112345678

控制台

1. 如要在 Google Cloud 控制台查看調整後模型的詳細資料，請前往「Agent Studio」頁面。

   前往 Agent Studio

2. 在「Translation LLM tuned models」(Translation LLM 調整模型) 表格中，找到模型並點選「Details」(詳細資料)。

   畫面上會顯示模型詳細資料。

取消調整工作

您可以使用 Google Cloud 控制台、Google Gen AI SDK，或使用 tuningJobs.cancel 方法傳送 POST 要求，取消目前專案中的調整工作。

REST

如要取消模型調整工作，請使用 tuningJobs.cancel 方法傳送 POST 要求，並指定 TUNING_JOB_ID。

使用任何要求資料之前，請先修改下列項目的值：

• PROJECT_ID：您的專案 ID。
• TUNING_JOB_REGION：執行調整工作的區域。這也是上傳調整後模型的預設區域。
• TUNING_JOB_ID：調整工作的 ID。

HTTP 方法和網址：

POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel

如要傳送要求，請選擇以下其中一個選項：

curl

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login 透過使用者帳戶登入 gcloud CLI，或是使用 Cloud Shell 自動登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

執行下列指令：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d "" \
     "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel"

PowerShell

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login，透過使用者帳戶登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

執行下列指令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel" | Select-Object -Expand Content

您應該會收到如下的 JSON 回覆。

回應

{}

Python

from google import genai
from google.genai.types import HttpOptions


def cancel_tuning_job(tuning_job_name: str) -> None:
    client = genai.Client(http_options=HttpOptions(api_version="v1"))

    # Cancel the tuning job.
    # Eg. tuning_job_name = "projects/123456789012/locations/us-central1/tuningJobs/123456789012345"
    client.tunings.cancel(name=tuning_job_name)

控制台

1. 如要在 Google Cloud 控制台取消調整工作，請前往「Agent Studio」頁面。

   前往 Agent Studio

2. 在「Translation LLM tuned models」(翻譯 LLM 調整模型) 表格中，按一下 「Manage run」(管理執行作業)。

3. 按一下「取消」。

使用提示詞測試微調後的模型

您可以使用 Google Gen AI SDK，或使用 generateContent 方法傳送 POST 要求，在目前專案中測試調整後的模型。

以下範例提示模型將「Hello」從英文翻譯成西班牙文。

REST

如要使用提示測試調整後的模型，請傳送 POST 要求並指定 ENDPOINT_ID。

使用任何要求資料之前，請先修改下列項目的值：

• PROJECT_ID：您的專案 ID。
• TUNING_JOB_REGION：執行調整工作的區域。這也是上傳調整後模型的預設區域。
• ENDPOINT_ID：從 GET API 取得的調整後模型端點 ID。

HTTP 方法和網址：

POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID:generateContent

JSON 要求內文：

{
    "contents": [
        {
            "role": "USER",
            "parts": [
                {
                    "text": "English: Hello. Spanish:"
                }
            ]
        }
    ]
}

如要傳送要求，請選擇以下其中一個選項：

curl

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login 透過使用者帳戶登入 gcloud CLI，或是使用 Cloud Shell 自動登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID:generateContent"

PowerShell

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login，透過使用者帳戶登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID:generateContent" | Select-Object -Expand Content

您應該會收到如下的 JSON 回覆。

回應

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "Hola."
          }
        ]
      },
      "finishReason": "STOP"
    }
  ],
  "usageMetadata": {
    "promptTokenCount": 5,
    "candidatesTokenCount": 2,
    "totalTokenCount": 7
  }
}

Python

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(http_options=HttpOptions(api_version="v1"))

# Get the tuning job and the tuned model.
# Eg. tuning_job_name = "projects/123456789012/locations/us-central1/tuningJobs/123456789012345"
tuning_job = client.tunings.get(name=tuning_job_name)

contents = "Why is the sky blue?"

# Predicts with the tuned endpoint.
response = client.models.generate_content(
    model=tuning_job.tuned_model.endpoint,
    contents=contents,
)
print(response.text)
# Example response:
# The sky is blue because ...

調整和驗證指標

您可以設定模型微調工作，收集並回報模型微調和模型評估指標，然後在 Agent Studio 中以圖表呈現。

1. 如要在 Google Cloud 控制台查看調整後模型的詳細資料，請前往「Agent Studio」頁面。

   前往 Agent Studio

2. 在「Tune and Distill」(調整及精煉) 表格中，按一下要查看指標的調整後模型名稱。

   調整指標會顯示在「Monitor」(監控) 分頁下方。

模型調整指標

模型調整工作會自動收集 translation-llm-002 的下列調整指標。

• /train_total_loss：訓練步驟中調整資料集的損失。
• /train_fraction_of_correct_next_step_preds：訓練步驟的詞元準確率。單一推論是由一連串預測的詞元組成。這項指標會將預測詞元與調整資料集中的基準真相比較，評估預測詞元的準確度。
• /train_num_predictions：訓練步驟中預測的詞元數量。

模型驗證指標

您可以設定模型微調工作，收集 translation-llm-002 的下列驗證指標。

• /eval_total_loss：驗證步驟中驗證資料集的損失。
• /eval_fraction_of_correct_next_step_preds：驗證步驟的詞元準確率。單一推論是由一連串預測的詞元組成。這項指標會將預測詞元與驗證資料集中的基準真相比較，評估預測詞元的準確度。
• /eval_num_predictions：驗證步驟中預測的詞元數量。

調整工作開始執行後，即可查看指標圖表。系統會隨著微調進度即時更新。如果在建立調整工作時未指定驗證資料集，則只能查看調整指標的圖表。

後續步驟

• 如要瞭解如何在建構生成式 AI 知識庫的解決方案中使用監督式微調，請參閱「快速部署解決方案：生成式 AI 知識庫」。