準備翻譯大型語言模型模型的監督式微調資料

本文說明如何為 Translation LLM 模型定義監督式微調資料集。您可以調整文字資料類型。

關於監督式微調資料集

監督式微調資料集可用於微調預先訓練模型,使其適用於特定領域。輸入資料應與模型在實際應用環境中遇到的資料類似。輸出標籤應代表每個輸入內容的正確答案或結果。

訓練資料集

如要調整模型,請提供訓練資料集。為獲得最佳結果,建議您先提供 100 個樣本。如有需要,您可以擴充至數千個範例。資料集的品質遠比數量重要。

限制:

  • 每個範例的輸入和輸出詞元數量上限:1,000 個
  • 訓練資料集檔案大小上限:JSONL 格式為 1 GB。

驗證資料集

強烈建議您提供驗證資料集。驗證資料集有助於評估微調作業的成效。

限制:

  • 每個範例的輸入和輸出詞元數量上限:1,000 個
  • 驗證資料集中的範例數量上限:1024
  • 訓練資料集檔案大小上限:JSONL 格式為 1 GB。

資料集格式

模型調整資料集必須採用 JSON Lines (JSONL) 格式,其中每一行都包含一個調整範例。 微調模型前,請務必將資料集上傳至 Cloud Storage 值區。請務必上傳至 us-central1。

{
  "contents": [
    {
      "role": string,
      "parts": [
        {
          "text": string,
        }
      ]
    }
  ]
}

參數

這個範例包含下列參數的資料:

參數

contents

必填:Content

目前與模型對話的內容。

如果是單輪查詢,這就是單一執行個體。

「translation-llm-002」的資料集範例

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "English: Hello. Spanish:",
        }
      ]
    }
    {
      "role": "model"",
      "parts": [
        {
          "text": "Hola.",
        }
      ]
    }
  ]
}

目錄

包含郵件多部分內容的基本結構化資料類型。

這個類別包含兩個主要屬性:role 和 parts。role 屬性代表內容的製作人,parts 屬性則包含多個元素,每個元素代表訊息中的資料區段。

參數

role

選填:string

建立訊息的實體身分。支援的值如下:

  • user:表示訊息是由真人傳送,通常是使用者產生的訊息。
  • model:表示訊息是由模型生成。

parts

part

組成單一郵件的排序部分清單。

如要瞭解輸入內容的限制 (例如最多可輸入的權杖數或圖片數),請參閱「Google 模型」頁面的模型規格。

如要計算要求中的權杖數量,請參閱「取得權杖數量」。

零件

包含媒體的資料類型,是多部分 Content 訊息的一部分。

參數

text

選填:string

文字提示或程式碼片段。

將微調資料集上傳至 Cloud Storage

如要執行微調工作,請將一或多個資料集上傳至 Cloud Storage 值區。您可以建立新的 Cloud Storage 值區,也可以使用現有值區儲存資料集檔案。值區的地區不重要,但建議您使用與Google Cloud 計畫微調模型的專案相同的值區。

值區準備就緒後,請將資料集檔案上傳至值區。

準備資料的筆記本範例

以下提供幾個 Colab 筆記本範例,協助您快速上手。

AutoML Translation 資料集

如果您已將 Translation Datasets 上傳至 AutoML Translation,可以按照 Colab 範例匯出這些資料集以進行微調。


在 Colab 中執行

在 Colab Enterprise 中執行

在 GitHub 上查看

本機資料集

如果資料是以 TSV、CSV 或 TMX 格式儲存在本機,可以上傳至 Colab 進行微調。


在 Colab 中執行

在 Colab Enterprise 中執行

在 GitHub 上查看

後續步驟