調整圖片

本頁面提供先決條件和詳細操作說明，協助您使用監督式學習，根據圖片資料微調 Gemini。

用途

微調功能可讓您調整基礎 Gemini 模型，以執行專業工作。 以下是一些圖片用途：

• 強化產品目錄：從圖片擷取主要屬性 (例如品牌、顏色、尺寸)，自動建立及豐富產品目錄。
• 圖片內容審核：微調模型，偵測並標記圖片中的不當或有害內容，確保上網體驗安全無虞。
• 目視檢查：訓練模型，在圖片中找出特定物件或瑕疵，自動執行品管或檢查程序。
• 圖片分類：提高特定領域的圖片分類準確率，例如醫學影像或衛星圖像分析。
• 圖片推薦：分析圖片並提供個人化推薦內容，例如建議類似產品或互補商品。
• 表格內容擷取：從圖片中的表格擷取資料，並轉換為試算表或資料庫等結構化格式。

限制

• 每個範例的圖片數量上限：30 張
• 圖片檔案大小上限：20 MB

如要進一步瞭解圖片樣本規定，請參閱「圖片理解」頁面。

資料集格式

資料集的 fileUri 可以是 Cloud Storage 值區中檔案的 URI，也可以是公開的 HTTP 或 HTTPS 網址。

GenerationConfig 物件的 mediaResolution 欄位可用於控制媒體檔案品質與代表媒體的權杖數量之間的取捨。解析度越高，模型就能感知更多細節，進而產生更細緻的微調模型行為，但也會使用更多權杖。這不會影響傳送給模型的圖片尺寸。如未指定，預設解析度為 MEDIA_RESOLUTION_HIGH。

以下是微調圖片資料時支援的 mediaResolution 值：

• MEDIA_RESOLUTION_LOW：64 個權杖
• MEDIA_RESOLUTION_MEDIUM：256 個權杖
• MEDIA_RESOLUTION_HIGH：256 個權杖 + (256 個權杖 * 掃描和平移圖片數量)

如要查看一般格式範例，請參閱「Gemini 的資料集範例」。

以下是圖片資料集的範例。

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        },
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

範例資料集

您可以使用下列範例資料集，瞭解如何調整 Gemini 模型。如要使用這些資料集，請在建立文字模型監督式微調工作時，於適用的參數中指定 URI。

如要使用範例調整用資料集，請指定其位置，如下所示：

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

如要使用範例驗證資料集，請指定其位置，如下所示：

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

後續步驟

• 如要進一步瞭解 Gemini 的圖像理解功能，請參閱圖像理解說明文件。
• 如要開始調整，請參閱「使用監督式微調功能調整 Gemini 模型」一文。
• 如要瞭解如何將監督式微調用於建構生成式 AI 知識庫的解決方案，請參閱「快速部署解決方案：生成式 AI 知識庫」。