שיפור התמונה

בדף הזה מפורטים התנאים המוקדמים וההוראות המפורטות לשיפור וחידוד של מודלים של Gemini על נתוני תמונות באמצעות למידה מפוקחת.

תרחישים לדוגמה

באמצעות כוונון עדין, אתם יכולים להתאים מודלים בסיסיים של Gemini למשימות מיוחדות. הנה כמה תרחישי שימוש בתמונות:

  • שיפור קטלוג המוצרים: המערכת מחלצת מאפיינים מרכזיים מתמונות (למשל מותג, צבע, מידה) כדי ליצור אוטומטית קטלוג מוצרים מפורט יותר.
  • ניהול תמונות: אפשר לכוונן מודל כדי לזהות ולסמן תוכן בלתי הולם או תוכן פוגעני בתמונות, וכך להבטיח חוויה בטוחה יותר באינטרנט.
  • בדיקה ויזואלית: אימון מודל לזיהוי אובייקטים ספציפיים או פגמים בתמונות, כדי לאוטומט תהליכי בקרת איכות או בדיקה.
  • סיווג תמונות: שיפור הדיוק של סיווג תמונות בתחומים ספציפיים, כמו הדמיה רפואית או ניתוח של צילומי לוויין.
  • המלצות מבוססות-תמונה: ניתוח תמונות כדי לספק המלצות מותאמות אישית, כמו הצעת מוצרים דומים או פריטים משלימים.
  • חילוץ תוכן מטבלאות: חילוץ נתונים מטבלאות בתוך תמונות והמרה שלהם לפורמטים מובְנים כמו גיליונות אלקטרוניים או מסדי נתונים.

מגבלות

  • מספר התמונות המקסימלי לכל דוגמה: 30
  • גודל קובץ התמונה המקסימלי: 20MB

מידע נוסף על הדרישות בנוגע לתמונות לדוגמה זמין בדף הבנת תמונות.

פורמט מערך הנתונים

ה-fileUri של מערך הנתונים יכול להיות ה-URI של קובץ בקטגוריה של Cloud Storage, או כתובת URL של HTTP או HTTPS שזמינה לציבור.

השדה mediaResolution של האובייקט GenerationConfig משמש לשליטה באיזון בין איכות קובץ המדיה שנשלח לצורך כוונון לבין מספר הטוקנים שמשמשים לייצוג המדיה. רזולוציה גבוהה יותר מאפשרת למודל לתפוס יותר פרטים, מה שיכול להוביל להתנהגות מודל מכוונן עם ניואנסים רבים יותר, אבל גם ישתמש ביותר טוקנים. זה לא משפיע על ממדי התמונה שנשלחים למודל. אם לא מציינים רזולוציה, ברירת המחדל היא MEDIA_RESOLUTION_HIGH.

‫mediaResolution לגרסאות Gemini 3 ואילך

אלה הערכים הנתמכים של mediaResolution לשינוי מדויק של נתוני תמונות בגרסאות 3 ואילך של Gemini:

  • ‫MEDIA_RESOLUTION_LOW: 64 טוקנים
  • ‫MEDIA_RESOLUTION_MEDIUM: 256 טוקנים
  • ‫MEDIA_RESOLUTION_HIGH: 256 טוקנים + (256 טוקנים * מספר התמונות של כרטיסי האשראי שצולמו)

כדי לראות דוגמה לפורמט כללי, אפשר לעיין בדוגמה של מערך נתונים ל-Gemini.

דוגמה למערך נתונים של תמונות:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        },
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

‫mediaResolution לגרסאות Gemini 3 ואילך

במודלים של Gemini 3 ומעלה, אפשר גם להגדיר את רזולוציית המדיה לכל פריט מדיה בנפרד Part. כך אפשר לשלב רזולוציות שונות במערך הנתונים (לדוגמה, להגדיר MEDIA_RESOLUTION_HIGH לפריט אחד ו-MEDIA_RESOLUTION_LOW לפריט אחר). מידע נוסף על רזולוציה ברמת החלק ועל מספר האסימונים התואם זמין במאמר רזולוציית מדיה.

הגדרות רזולוציית המדיה ברמה Part מקבלות עדיפות על פני הגדרות גלובליות.

זוהי דוגמה למערך נתונים שבו הרזולוציה של המדיה מוגדרת ברמה הגלובלית וברמת Part:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://image.jpeg"
          }
        },
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://ultra_high_res_image.jpeg"
          },
          "mediaResolution": {
            "level": "MEDIA_RESOLUTION_HIGH"
          }
        },
        {
          "text": "Describe these images in detail."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "Image 1 is low resolution while image 2 is sharp and clear"
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

מערכי נתונים לדוגמה

אתם יכולים להשתמש במערכי הנתונים לדוגמה הבאים כדי ללמוד איך לכוונן מודל Gemini. כדי להשתמש במערכי הנתונים האלה, צריך לציין את מזהי ה-URI בפרמטרים הרלוונטיים כשיוצרים משימת כוונון מפוקח (SFT) של מודל טקסט.

כדי להשתמש במערך הנתונים לדוגמה לצורך התאמה, מציינים את המיקום שלו באופן הבא:

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

כדי להשתמש במערך הנתונים לדוגמה לאימות, מציינים את המיקום שלו באופן הבא:

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

המאמרים הבאים