音訊微調

本頁面提供必要條件和詳細操作說明，說明如何使用監督式學習，根據音訊資料微調 Gemini 模型。

用途

調整音訊模型可根據特定需求進行調整，提升模型效能。這可能包括改善不同口音的語音辨識、微調音樂類型分類、最佳化聲響偵測事件、自訂音訊生成、適應吵雜環境、提升音質，以及提供個人化音訊體驗。以下是一些常見的音訊調整用途：

• 強化語音助理：

  • 語音訂餐：開發語音啟動系統，提供流暢的訂餐和外送服務。

• 音訊內容分析：

  • 自動轉錄：即使在吵雜環境中，也能生成高準確度的轉錄稿。
  • 音訊摘要：總結 Podcast 或有聲書的重點。
  • 音樂分類：根據類型、情境或其他特徵分類音樂。

• 無障礙功能和輔助技術：

  • 即時字幕：為活動或視訊通話提供即時字幕。
  • 語音控制應用程式：開發完全由語音控制的應用程式。
  • 語言學習：建立工具，提供個人化發音意見回饋。

限制

Gemini 2.5 模型

規格	值
每個樣本的音訊長度上限	60 分鐘
每個樣本的音訊檔案數量上限	1
音訊檔案大小上限	100MB

如要進一步瞭解音訊樣本規定，請參閱「音訊理解 (僅限語音)」頁面。

資料集格式

資料集的 fileUri 可以是 Cloud Storage bucket 中檔案的 URI，也可以是公開的 HTTP 或 HTTPS 網址。

如要查看一般格式範例，請參閱「Gemini 資料集範例」。

以下是音訊資料集的範例。

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "audio/mpeg",
            "fileUri": "gs://cloud-samples-data/generative-ai/audio/pixel.mp3"
            }
        },
        {
          "text": "Please summarize the conversation in one sentence."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "The podcast episode features two product managers for Pixel devices discussing the new features coming to Pixel phones and watches."
        }
      ]
    }
  ]
}

後續步驟

• 如要進一步瞭解 Gemini 音訊理解模型，請參閱「音訊理解 (僅限語音)」。
• 如要開始調整，請參閱「使用監督式微調功能調整 Gemini 模型」。