關於翻譯大型語言模型模型的監督式微調

如果翻譯任務有已加上標籤的文字資料,就很適合使用監督式微調功能。在特定領域的應用實例中,如果翻譯內容與大型模型最初的訓練資料大相徑庭,則這項工具的成效將格外顯著。

監督式微調會運用加上標籤的資料集來調整模型運作方式。這個程序會調整模型權重,盡可能減少推論結果和實際標籤間的差異。

支援的模型

下列翻譯 LLM 模型支援監督式微調:

  • translation-llm-002

限制

  • 輸入和輸出詞元數量上限:
    • 放送:1,000 個 (~4,000 個字元)
  • 驗證資料集大小:1024 個範例
  • 訓練資料集檔案大小:JSONL 格式上限為 1 GB
  • 訓練範例長度:1,000 字 (~4,000 個半形字元)
  • 轉接器大小:
    • Translation LLM V2:支援的值只有 4。使用任何其他值 (例如 1 或 8) 都會導致失敗。

監督式微調的用途

如果待翻譯文字的結構與模型學習的一般常見文字結構相似,一般預先訓練翻譯模型就能順利翻譯。如果您希望模型學習與一般翻譯偏離的特定領域或特定知識,則建議微調該模型。舉例來說,您可以透過模型微調,讓模型學會下列事項:

  • 特定產業領域的內容,包含術語或風格
  • 生成輸出內容的特定結構或格式。
  • 特定行為,例如何時提供簡潔或詳細的輸出內容。
  • 針對特定類型的輸入內容,提供特定的自訂輸出內容。

設定微調工作區域

轉換後的資料集和調整後模型等使用者資料,會儲存在調整工作區域。目前僅支援 us-central1 地區。

  • 如果您使用 Vertex AI SDK,可以在初始化時指定區域。例如:

    import vertexai
    vertexai.init(project='myproject', location='us-central1')
    
  • 如果您使用 tuningJobs.create 方法傳送 POST 要求,建立受監督的微調工作,則可使用網址指定執行微調工作的區域。舉例來說,在下列網址中,您可將兩個 TUNING_JOB_REGION 執行個體都替換為執行工作的區域,藉此指定區域。

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
    
  • 如果您使用 Google Cloud 控制台,可以在「模型詳細資料」頁面的「區域」下拉式欄位中選取區域名稱。這個頁面與您選取基礎模型和微調模型名稱的頁面相同。

配額

系統會對並行微調工作數量強制執行配額。每個專案都設有預設配額,至少可執行一項微調作業。這是全域配額,適用於所有可用區域和支援的模型。如要同時執行更多工作,請申請更多配額Global concurrent tuning jobs

定價

系統會根據翻譯模型微調定價,向您收取微調費用。

此外,系統也會針對相關服務 (例如 Cloud Storage 和 Translation LLM Prediction) 向您收費。

瞭解 Translation LLM 定價 Cloud Storage 定價

後續步驟