本頁面提供必要條件和詳細操作說明,說明如何使用監督式學習,根據圖片資料微調 Gemini 模型。
用途
微調功能可讓您調整基礎 Gemini 模型,以執行特定工作。以下是幾個圖片用途:
- 強化產品目錄:從圖片中擷取重要屬性 (例如品牌、顏色、尺寸),自動建立及充實產品目錄。
- 圖片審核:微調模型,偵測並標記圖片中的不當或有害內容,確保上網體驗更安全。
- 目視檢測:訓練模型來識別圖片中的特定物件或瑕疵,自動執行品質驗證 (QC) 或檢測程序。
- 圖像分類:提高特定領域的圖像分類準確度,例如醫學影像或衛星圖像分析。
- 圖片推薦:分析圖片,提供個人化推薦,例如建議相似產品或互補商品。
- 表格內容擷取:從圖片中的表格擷取資料,並轉換成試算表或資料庫等結構化格式。
限制
- 每個範例的圖片數量上限:30
- 圖片檔大小上限:20 MB
如要進一步瞭解圖片樣本規定,請參閱「圖片理解」頁面。
資料集格式
資料集的 fileUri 可以是 Cloud Storage bucket 中檔案的 URI,也可以是公開的 HTTP 或 HTTPS 網址。
GenerationConfig 物件的 mediaResolution 欄位,可用來控制傳送進行微調的媒體檔案品質,以及用於代表媒體的權杖數量之間的取捨。解析度越高,模型就能感知更多細節,微調後的模型行為也更細緻,但也會使用更多詞元。這不會影響傳送至模型的圖片尺寸。如未指定,預設解析度為 MEDIA_RESOLUTION_HIGH。
Gemini 第 3 版和更早版本的 mediaResolution
以下是 Gemini 3 以下版本微調圖片資料時,支援的 mediaResolution 值:
MEDIA_RESOLUTION_LOW:64 個詞元MEDIA_RESOLUTION_MEDIUM:256 個詞元MEDIA_RESOLUTION_HIGH:256 個詞元 + (256 個詞元 * 平移和掃描圖片數量)
如要查看一般格式範例,請參閱「Gemini 資料集範例」。
以下是圖片資料集的範例:
{
"contents": [
{
"role": "user",
"parts": [
{
"fileData": {
"mimeType": "image/jpeg",
"fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
}
},
{
"text": "Describe this image in detail that captures the essence of it."
}
]
},
{
"role": "model",
"parts": [
{
"text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
}
]
}
],
"generationConfig": {
"mediaResolution": "MEDIA_RESOLUTION_LOW"
}
}
Gemini 3 以上版本:mediaResolution
如果是 Gemini 3 和後續模型,您也可以為個別媒體 Part 設定媒體解析度。這樣一來,您就能在資料集中混合解析度 (例如,將一個項目設為 MEDIA_RESOLUTION_HIGH,另一個項目設為 MEDIA_RESOLUTION_LOW)。如要進一步瞭解部分層級解析度和對應的權杖數量,請參閱「媒體解析度」。
Part層級的媒體解析度設定優先於全域設定。
以下範例資料集在 Part 和全域層級設定媒體解析度:
{
"contents": [
{
"role": "user",
"parts": [
{
"fileData": {
"mimeType": "image/jpeg",
"fileUri": "gs://image.jpeg"
}
},
{
"fileData": {
"mimeType": "image/jpeg",
"fileUri": "gs://ultra_high_res_image.jpeg"
},
"mediaResolution": {
"level": "MEDIA_RESOLUTION_HIGH"
}
},
{
"text": "Describe these images in detail."
}
]
},
{
"role": "model",
"parts": [
{
"text": "Image 1 is low resolution while image 2 is sharp and clear"
}
]
}
],
"generationConfig": {
"mediaResolution": "MEDIA_RESOLUTION_LOW"
}
}
範例資料集
您可以使用下列範例資料集,瞭解如何調整 Gemini 模型。如要使用這些資料集,請在建立文字模型監督式微調工作時,於適用參數中指定 URI。
如要使用範例調整資料集,請按照下列方式指定位置:
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",
如要使用範例驗證資料集,請按照下列方式指定位置:
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",
後續步驟
- 如要進一步瞭解 Gemini 的圖片解讀功能,請參閱圖片解讀說明文件。
- 如要瞭解如何生成及編輯圖片,請參閱「使用 Gemini 生成圖片」和「使用 Gemini 編輯圖片」。
- 如要開始調整,請參閱「使用監督式微調功能調整 Gemini 模型」