שיפור התמונה

בדף הזה מפורטים התנאים המוקדמים וההוראות המפורטות לשיפור וחידוד של מודלים של Gemini על נתוני תמונות באמצעות למידה מפוקחת.

תרחישים לדוגמה

באמצעות כוונון עדין, אתם יכולים להתאים מודלים בסיסיים של Gemini למשימות מיוחדות. הנה כמה תרחישי שימוש בתמונות:

  • שיפור קטלוג המוצרים: המערכת מחלצת תכונות מרכזיות מתמונות (למשל מותג, צבע, מידה) כדי ליצור אוטומטית את קטלוג המוצרים ולשפר אותו.
  • ניהול תמונות: כוונון מדויק של מודל כדי לזהות ולסמן תוכן פוגעני או מזיק בתמונות, וכך להבטיח חוויה בטוחה יותר באינטרנט.
  • בדיקה ויזואלית: אימון מודל לזיהוי אובייקטים או פגמים ספציפיים בתמונות, כדי לאוטומט את תהליכי בקרת האיכות או הבדיקה.
  • סיווג תמונות: שיפור הדיוק של סיווג תמונות בתחומים ספציפיים, כמו הדמיה רפואית או ניתוח של צילומי לוויין.
  • המלצות מבוססות-תמונה: ניתוח תמונות כדי לספק המלצות מותאמות אישית, כמו הצעת מוצרים דומים או פריטים משלימים.
  • חילוץ תוכן מטבלאות: חילוץ נתונים מטבלאות בתוך תמונות והמרה שלהם לפורמטים מובְנים כמו גיליונות אלקטרוניים או מסדי נתונים.

מגבלות

  • מספר התמונות המקסימלי לכל דוגמה: 30
  • גודל קובץ התמונה המקסימלי: 20MB

מידע נוסף על הדרישות בנוגע לדוגמאות של תמונות זמין בדף הבנת תמונות.

פורמט מערך הנתונים

הfileUri של מערך הנתונים יכול להיות ה-URI של קובץ בקטגוריה של Cloud Storage, או כתובת URL של HTTP או HTTPS שזמינה לציבור.

השדה mediaResolution של האובייקט GenerationConfig משמש לשליטה באיזון בין איכות קובץ המדיה שנשלח להתאמה לבין מספר הטוקנים שמשמשים לייצוג המדיה. רזולוציה גבוהה יותר מאפשרת למודל לתפוס יותר פרטים, מה שיכול להוביל להתנהגות מודל מכווננת מדויקת יותר, אבל גם יגרום לשימוש ביותר טוקנים. זה לא משפיע על מידות התמונה שנשלחות למודל. אם לא מציינים רזולוציה, ברירת המחדל היא MEDIA_RESOLUTION_HIGH.

‫mediaResolution ל-Gemini גרסה 3 וגרסאות קודמות

אלה הערכים הנתמכים של mediaResolution לשינוי מדויק של נתוני תמונות בגרסאות 3 ואילך של Gemini:

  • ‫MEDIA_RESOLUTION_LOW: 64 טוקנים
  • ‫MEDIA_RESOLUTION_MEDIUM: 256 טוקנים
  • ‫MEDIA_RESOLUTION_HIGH: 256 טוקנים + (256 טוקנים * מספר התמונות של כרטיסי האשראי שצולמו)

כדי לראות דוגמה לפורמט כללי, אפשר לעיין בדוגמה למערך נתונים ל-Gemini.

דוגמה למערך נתונים של תמונות:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        },
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

‫mediaResolution לגרסאות Gemini 3 ואילך

במודלים של Gemini 3 ומעלה, אפשר גם להגדיר את הרזולוציה של המדיה לכל פריט מדיה בנפרד Part. כך אפשר לשלב רזולוציות שונות במערך הנתונים (לדוגמה, להגדיר MEDIA_RESOLUTION_HIGH לפריט אחד ו-MEDIA_RESOLUTION_LOW לפריט אחר). מידע נוסף על רזולוציה ברמת החלק ועל מספר הטוקנים המתאים זמין במאמר רזולוציית מדיה.

הגדרות רזולוציית המדיה ברמה Part מקבלות קדימות על פני הגדרות גלובליות.

זוהי דוגמה למערך נתונים שבו הרזולוציה של המדיה מוגדרת ברמה הגלובלית וברמת Part:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://image.jpeg"
          }
        },
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://ultra_high_res_image.jpeg"
          },
          "mediaResolution": {
            "level": "MEDIA_RESOLUTION_HIGH"
          }
        },
        {
          "text": "Describe these images in detail."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "Image 1 is low resolution while image 2 is sharp and clear"
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

מערכי נתונים לדוגמה

אתם יכולים להשתמש במערכי הנתונים לדוגמה הבאים כדי ללמוד איך לכוונן מודל Gemini. כדי להשתמש במערכי הנתונים האלה, צריך לציין את מזהי ה-URI בפרמטרים הרלוונטיים כשיוצרים משימת כוונון מפוקח (SFT) של מודל טקסט.

כדי להשתמש במערך הנתונים לדוגמה לצורך התאמה, מציינים את המיקום שלו באופן הבא:

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

כדי להשתמש במערך הנתונים לדוגמה לאימות, מציינים את המיקום שלו באופן הבא:

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

המאמרים הבאים