התאמה אישית של הנושא

התאמה אישית של נושאים ב-Imagen 3 מאפשרת ליצור תמונות חדשות באמצעות פרומפט טקסטואלי ותמונת הפניה שאתם מספקים. התמונה לדוגמה שאתם מספקים עוזרת להנחות את יצירת התמונה החדשה.

המודלים הבאים תומכים בהתאמה אישית של הנושא:

תרחישים לדוגמה

התאמה אישית של Imagen 3 מאפשרת שימוש בהנחיות חופשיות, ולכן יכול להיווצר הרושם שהיא יכולה לעשות יותר ממה שהיא אומנה לעשות. בחלקים הבאים מתוארים תרחישי שימוש מיועדים בהתאמה אישית של Imagen 3, ודוגמאות לא ממצות לתרחישי שימוש לא מיועדים.

מומלץ להשתמש בהתאמה אישית של Imagen 3 בתרחישי השימוש המיועדים, כי אימנו את המודל על תרחישי השימוש האלה ואנחנו מצפים לתוצאות טובות. לעומת זאת, אתם יכולים להנחות את המודל לעשות דברים שלא נכללים בתרחישי השימוש המיועדים, אבל אל תצפו לתוצאות טובות.

תרחישים לדוגמה לשימוש

הנה תרחישי שימוש שמיועדים להתאמה אישית של נושאים ב-Imagen 3:

  • יצירת תמונה מסוגננת של אדם
  • ליצור סגנון לתמונה של אדם ולשמור על הבעות הפנים שלו
  • (סיכוי נמוך להצלחה) הצבת מוצר, כמו ספה או עוגייה, בסצנות שונות עם זוויות שונות של המוצר.
  • יצירת וריאציות של מוצר בלי לשמור על הפרטים המדויקים
  • עיצוב תמונה של אדם תוך שמירה על הבעת הפנים

דוגמאות לתרחישי שימוש לא מכוונים

הרשימה הבאה כוללת דוגמאות בלבד, והיא איננה מקיפה. אלה תרחישי שימוש שבהם לא בוצע אימון של Imagen 3 Customization, והתוצאות שמתקבלות בהם לא טובות:

  • הצבת שני אנשים או יותר בסצנות שונות תוך שמירה על הזהויות שלהם
  • אפשר למקם שני אנשים או יותר בסצנות שונות, תוך שמירה על הזהות שלהם וציון הסגנון של תמונת הפלט באמצעות תמונה לדוגמה כקלט לסגנון.
  • יצירת סגנון לתמונה של שני אנשים או יותר תוך שמירה על הזהות שלהם
  • הצבת חיית מחמד בסצנות שונות תוך שמירה על הזהות שלה
  • הוספת סגנון לתמונה של חיית מחמד והפיכתה לציור
  • ליצור סגנון לתמונה של חיית מחמד ולהפוך אותה לציור, תוך שמירה או ציון של סגנון התמונה (למשל צבעי מים)
  • הצבת חיית מחמד ואדם בסצנה אחרת, תוך שמירה על הזהויות של שניהם.
  • הוספת סגנון לתמונה של חיית מחמד ואדם אחד או יותר והפיכתה לציור
  • הצבת שני מוצרים בסצנות שונות עם זוויות שונות של המוצרים
  • להציב מוצר, כמו עוגייה או ספה, בסצנות שונות עם זוויות שונות של המוצר, ולפי סגנון תמונה ספציפי (למשל פוטוריאליסטי עם צבעים ספציפיים, סגנונות תאורה או אנימציה)
  • הוספת מוצר לסצנה אחרת, תוך שמירה על הקומפוזיציה הספציפית של הסצנה כפי שצוין בתמונה לדוגמה
  • ממקמים שני מוצרים בסצנות שונות עם זוויות שונות של המוצרים, ומשתמשים בתמונה ספציפית כקלט (למשל, פוטוריאליסטית עם צבעים ספציפיים, סגנונות תאורה או אנימציה)
  • להציב שני מוצרים בסצנות שונות, תוך שמירה על הקומפוזיציה הספציפית של הסצנה כפי שצוין בתמונת הבקרה

דוגמאות להתאמה אישית של הנושא

בקטעים הבאים מפורטים תרחישים נתמכים להתאמה אישית של נושאים ב-Imagen 3:

התאמה אישית של אנשים

קלט לדוגמה פלט לדוגמה
  1. תמונת רפרנס1:
    דוגמה לקלט להתאמה אישית של מוצר
  2. פרומפט טקסטואלי:
    צור תמונה של woman with long hair[1] שתתאים לתיאור הבא: דיוקן של woman with long hair[1] בסגנון סרטים מצוירים בתלת ממד עם רקע מטושטש. דמות חמודה ומקסימה, עם חיוך, מסתכלת למצלמה, גווני פסטל, איכות גבוהה, 4K, יצירת מופת, פרטים קטנים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה וריאליסטית, צבעים עזים.

פלט לדוגמה של התאמה אישית של מוצר

1 תמונת קלט לדוגמה שנוצרה באמצעות יצירת תמונות ב-Imagen 3 מהפרומפט: פורטרט של אישה בפריז. היא לובשת מכנסיים שחורים וחולצה לבנה.

התאמה אישית של מוצרים

קלט לדוגמה פלט לדוגמה
  1. תמונת רפרנס2:
    דוגמה לקלט להתאמה אישית של מוצר
  2. פרומפט טקסטואלי:
    תצור תמונה של perfume bottle [1] אבל בצבע ציאן

פלט לדוגמה של התאמה אישית של מוצר
2 תמונת קלט להפניה שנוצרה באמצעות Imagen 3 ליצירת תמונות מהפרומפט: תמונה בסגנון מוצר של בקבוק בושם על רקע שחור.

הצגת כרטיס המודל של Imagen for Editing and Customization

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    8.

  8. מגדירים אימות לסביבה.

    צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:

    המסוף

    כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי ה-API, לא צריך להגדיר אימות.

    REST

    כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

      התקינו את ה-CLI של Google Cloud.

      אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

    מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

התאמה אישית של הנושא

כשמשתמשים בהתאמה אישית של Imagen 3, אפשר לספק תמונות לדוגמה של סוגי הנושאים. באופן ספציפי, פרומפטים עם כמה דוגמאות (few-shot prompting) בהתאמה אישית של Imagen 3 תומכים בנושאים הבאים: מוצר, אדם וחיית מחמד. הנושא שתבחרו ישפיע על אופן יצירת בקשת הגנרציה.

ההנחיה שבה אתם משתמשים בהתאמה אישית של Imagen 3 עשויה להשפיע על איכות התמונות שנוצרות. בקטעים הבאים מפורטות דוגמאות לתבניות של הנחיות מומלצות לשליחת בקשות להתאמה אישית.

התאמה אישית של אנשים

בטבלה הבאה מפורטות תבניות של הנחיות שאנחנו ממליצים להשתמש בהן כנקודת התחלה כשכותבים הנחיות להתאמה אישית של דמויות:

תרחיש שימוש תמונות לדוגמה תבנית לפרומפט דוגמה
עיצוב תמונה של אדם עם קלט של רשת פנים תמונה של מושא הצילום (1)
תמונה לשליטה ב-Facemesh (1) 		תיצור תמונה של SUBJECT_DESCRIPTION [1] עם facemesh from the control image [2]. ${PROMPT} תיצור תמונה של the person [1] עם facemesh from the control image [2]. האדם צריך להסתכל ישר קדימה עם הבעה ניטרלית. הרקע צריך להיות ...
עיצוב תמונה של אדם בלי קלט של רשת פנים תמונת הנושא (1-4) תצור תמונה של SUBJECT_DESCRIPTION [1] שתתאים לתיאור הבא: דיוקן של SUBJECT_DESCRIPTION [1] ${PROMPT} תמונה של a woman with short hair[1] שתואמת לתיאור: דיוקן של a woman with short hair[1] בסגנון סרטים מצוירים בתלת ממד עם רקע מטושטש. דמות חמודה ומקסימה, פנים מחייכות, מסתכלת למצלמה, גווני פסטל, איכות גבוהה, 4k, יצירת מופת, פרטים קטנים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה ומציאותית, צבעים עזים
עיצוב תמונה של אדם בלי קלט של רשת פנים תמונת הנושא (1-4) תצור תמונה של STYLE_DESCRIPTION [2] בנושא SUBJECT_DESCRIPTION [1] שתתאים לתיאור: פורטרט של SUBJECT_DESCRIPTION [1] STYLE_PROMPT תצור תמונה של 3d-cartoon style [2] בנושא a woman with short hair [1] שתתאים לתיאור הבא: דיוקן של a woman with short hair [1] בסגנון סרטים מצוירים בתלת ממד עם רקע מטושטש. דמות חמודה ומקסימה עם חיוך. מסתכלת למצלמה, גווני פסטל, איכות גבוהה, 4k, יצירת מופת, פרטים קטנים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה ומציאותית, צבעים עזים
עיצוב תמונה של אדם עם קלט של רשת פנים תמונת מושא הצילום (1-3)
תמונת בקרה של רשת הפנים (1) 		תצור תמונה של SUBJECT_DESCRIPTION [1] בתנוחה של CONTROL_IMAGE [2] בהתאם לתיאור: תמונה של SUBJECT_DESCRIPTION [1] ${PROMPT} תיצור תמונה של a woman with short hair [1] בתנוחה של control image [2] בהתאם לתיאור: דיוקן של a woman with short hair [1] בסגנון קריקטורה בתלת-ממד עם רקע מטושטש. דמות חמודה ומקסימה עם פרצוף מחייך. מצלמה, גוון פסטל, איכות גבוהה, 4K, יצירת מופת, פרטים מדויקים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה ומציאותית, צבעים עזים
עיצוב תמונה של אדם עם קלט של רשת פנים תמונת מושא הצילום (1-3)
תמונת בקרה של רשת הפנים (1) 		תצור תמונה של STYLE_DESCRIPTION [3] בנושא SUBJECT_DESCRIPTION [1] בתנוחה של CONTROL_IMAGE [2] בהתאם לתיאור: תמונה לאורך של SUBJECT_DESCRIPTION [1] ${PROMPT} תיצור תמונה של 3d-cartoon style [3] בנושא a woman with short hair [1] בתנוחה של control image [2] כדי להתאים לתיאור: דיוקן של a woman with short hair [1] בסגנון קריקטורה בתלת-ממד עם רקע מטושטש. דמות חמודה ומקסימה עם פרצוף מחייך. מצלמה, גוון פסטל, איכות גבוהה, 4K, יצירת מופת, פרטים מדויקים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה ומציאותית, צבעים עזים

מומלץ שהפנים בתמונת ההפניה יהיו עם המאפיינים הבאים:

  • התמונה ממוקמת במרכז ותופסת לפחות חצי מהתמונה כולה
  • הוא מסובב בתצוגה חזיתית בכל הכיוונים (גלגול, עלרוד וסבסוב)
  • לא מוסתר על ידי אובייקטים, כמו משקפי שמש או מסכות

אפשר להשתמש בדוגמאות הבאות כדי לשלוח בקשת התאמה אישית עם תמונות של אנשים לדוגמה, שישמשו להנחיית יצירת התמונה. אפשר לשלוח בקשה כזו עם או בלי תמונה של רשת פנים כדי להנחות את יצירת התמונה.

REST

למידע נוסף על Imagen API, אפשר לעיין במקורות הבאים:

בדוגמה הזו מוסבר איך לציין אזור בקרה של רשת פנים כדי להנחות את תהליך היצירה, אבל אפשר גם להשמיט את אובייקט ההפניה של הבקרה ("referenceType": "REFERENCE_TYPE_CONTROL") ומערכת Imagen תזהה באופן אוטומטי אזור בקרה של רשת פנים.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: האזור של הפרויקט. לדוגמה, us-central1, europe-west2 או asia-northeast3. רשימת האזורים הזמינים מופיעה במאמר מיקומים של AI גנרטיבי ב-Vertex AI. כשמשתמשים בנקודת קצה ל-API אזורית, האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד, והמערכת מתעלמת מהערך LOCATION בנתיב המשאב אם יש התנגשות.
  • ‫TEXT_PROMPT: הנחיית הטקסט קובעת אילו תמונות המודל יוצר. כדי להשתמש בהתאמה אישית של Imagen 3, צריך לכלול את referenceId של תמונת הרפרנס או תמונות הרפרנס שאתם מספקים בפורמט [$referenceId]. לדוגמה:
    • הפרומפט הטקסטואלי הבא מיועד לבקשה שכוללת שתי תמונות רפרנס עם "referenceId": 1. לשתי התמונות יש תיאור אופציונלי של "subjectDescription": "man with short hair". בנוסף, יש תמונה של רשת פנים שצוינה באמצעות "referenceId": 2: צור תמונה של man with short hair [1] בתנוחה של תמונת הבקרה [2] בהתאם לתיאור: סקיצה בסגנון עיפרון של פורטרט של man with short hair [1] בכל הגוף עם הצללה מצטלבת, סקיצה של פורטרט עם עיפרון 6B ועיפרון גרפיט, רקע לבן, רישום בעיפרון, באיכות גבוהה, משיכת עיפרון, מבט למצלמה, עיניים אנושיות טבעיות
  • ‫"referenceId": המזהה של תמונת רפרנס, או המזהה של סדרה של תמונות רפרנס שמתאימות לאותו נושא או סגנון. בדוגמה הזו, שתי התמונות לדוגמה מציגות את אותו אדם, ולכן יש להן אותו referenceId (1). בתמונה של רשת הפנים לבקרה יש referenceId (2) שונה. התמונה שנוצרת תהיה עם מבנה הפנים של רשת הפנים שחולצה מהתמונה לדוגמה, והמראה של הפנים ישתפר בהתאם. יש תמיכה רק בבקר רשת אחד של פנים.
  • ‫BASE64_REFERENCE_IMAGE: תמונת הפניה שתנחה את יצירת התמונה. התמונה צריכה להיות מחרוזת בייטים בקידוד base64.
  • ‫SUBJECT_DESCRIPTION: אופציונלי. תיאור טקסטואלי של תמונת ההפניה שאפשר להשתמש בו בשדה prompt. לדוגמה: 
          "prompt": "a full-body portrait of a man with short hair [1] with hatch-cross
      drawing",
      [...],
      "subjectDescription": "man with short hair"
  • ‫IMAGE_COUNT: מספר התמונות שנוצרו. ערכים קבילים מסוג מספר שלם: 1-4. ערך ברירת המחדל: 4.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

גוף בקשת JSON: 

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "referenceImages": [

        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectDescription": "SUBJECT_DESCRIPTION",
            "subjectType": "SUBJECT_TYPE_PERSON"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectDescription": "SUBJECT_DESCRIPTION",
            "subjectType": "SUBJECT_TYPE_PERSON"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_CONTROL",
          "referenceId": 2,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "controlImageConfig": {
            "controlType": "CONTROL_TYPE_FACE_MESH",
            "enableControlImageComputation": true
          }
        }
      ]
    }
  ],
  "parameters": {
    "sampleCount": IMAGE_COUNT
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
התגובה לדוגמה הבאה היא לבקשה עם "sampleCount": 2. התגובה מחזירה שני אובייקטים של חיזוי, עם בייטים של התמונה שנוצרה בקידוד base64. 
{
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    }
  ]
}

התאמה אישית של מוצרים

בטבלה הבאה מפורטות תבניות של הנחיות שמומלץ להשתמש בהן כנקודת התחלה כשכותבים הנחיות להתאמה אישית של מוצרים:

תמונות לדוגמה תבנית לפרומפט דוגמה
תמונת הנושא (1-4) תמונה של SUBJECT_DESCRIPTION [1] שתתאים לתיאור הבא: ${PROMPT}

צור תמונה בנושא Luxe Elixir hair oil, golden liquid in glass bottle [1] שתתאים לתיאור: תמונה בתקריב, עם חשיפת יתר, של יד של אישה שמחזיקה Luxe Elixir hair oil, golden liquid in glass bottle [1] על רקע לבן לגמרי. היד של האישה מוארת היטב והפוקוס חד על הבקבוק, עם עומק שדה רדוד שמטשטש את הרקע ומדגיש את המוצר. התאורה רכה ומפוזרת, ויוצרת זוהר עדין מסביב לבקבוק וליד. הקומפוזיציה הכללית פשוטה ואלגנטית, ומדגישה את המראה היוקרתי של המוצר.

תמונת הנושא (1-4) תיצור תמונה של SUBJECT_DESCRIPTION אבל ${PROMPT}

תיצור תמונה של Seiko watch [1] אבל בצבע כחול.

בדוגמאות הבאות אפשר לראות איך שולחים בקשת התאמה אישית עם תמונות לדוגמה של מוצרים שמשמשות להנחיית יצירת התמונה.

המסוף

  1. במסוף Google Cloud , עוברים לדף Vertex AI > Vertex AI Studio .
    מעבר אל Vertex AI Studio
  2. בקטע Model בחלונית Parameters, בוחרים באפשרות Imagen 3 אם היא לא מסומנת.
  3. זה שינוי אופציונלי. בוחרים יחס גובה-רוחב שאינו 1:1 (ברירת מחדל).
  4. זה שינוי אופציונלי. משנים את מספר התוצאות.
  5. זה שינוי אופציונלי. כדאי לתת פרומפט שלילי כדי להנחות את המודל לגבי מה לא ליצור.
  6. זה שינוי אופציונלי. משנים את האפשרויות המתקדמות.
  7. בשדה פרומפט טקסטואלי (כתיבת פרומפט...), לוחצים על הוספת הפניה.
    1. בחלונית הוספת הפניה, בוחרים את סוג ההפניה: Subject - product.
    2. בקטע תמונות להשוואה, לוחצים על העלאה.
    3. בוחרים תמונה ששמורה באופן מקומי ולוחצים על פתיחה.
    4. זה שינוי אופציונלי. מוסיפים תיאור לתמונת רפרנס.
    5. לוחצים על סיום.
    6. זה שינוי אופציונלי. כדי להוסיף עוד תמונות רפרנס, לוחצים על הוספת תמונה ומעלים עוד תמונה.
    7. אחרי שמוסיפים את כל תמונות הרפרנס, לוחצים על הוספת רפרנס.

      לכל התמונות לדוגמה שמוסיפים בחלונית הזו יש אותו מספר לדוגמה. כשמוסיפים את פרומפט הטקסטואלי, צריך להשתמש במספר הסימוכין הזה.

  8. בשדה פרומפט טקסטואלי (כאן כותבים את ההנחיה...), מוסיפים פרומפט טקסטואלי שכולל את מספר הסימוכין של תמונות הרפרנס. לדוגמה:
    1. חדר לבן ומואר, product [1] על שולחן זכוכית
    2. animal [1] עומד בשדה רחב פתוח עם יער ברקע
    3. דיוקן בשחור-לבן של person [1] ברחוב בעיר בfilm noir style [2]

REST

מידע נוסף על בקשות למודלים imagen-3.0-capability-001 זמין במאמר imagen-3.0-capability-001 הפניית API למודלים.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: האזור של הפרויקט. לדוגמה, us-central1, europe-west2 או asia-northeast3. רשימת האזורים הזמינים מופיעה במאמר מיקומים של AI גנרטיבי ב-Vertex AI. כשמשתמשים בנקודת קצה ל-API אזורית, האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד, והמערכת מתעלמת מהערך LOCATION בנתיב המשאב אם יש התנגשות.
  • ‫TEXT_PROMPT: הנחיית הטקסט קובעת אילו תמונות המודל יוצר. כדי להשתמש בהתאמה אישית של Imagen 3, צריך לכלול את referenceId של תמונת הרפרנס או התמונות שאתם מספקים בפורמט [$referenceId]. לדוגמה:
    • צור תמונה של Luxe Elixir hair oil, golden liquid in glass bottle [1] שתתאים לתיאור הבא: תמונה בתקריב עם חשיפת יתר של יד של אישה שמחזיקה Luxe Elixir hair oil, golden liquid in glass bottle [1] על רקע לבן. היד של האישה מוארת היטב והפוקוס חד על הבקבוק, עם עומק שדה רדוד שמטשטש את הרקע ומדגיש את המוצר.
  • ‫"referenceId": המזהה של תמונת רפרנס, או המזהה של סדרה של תמונות רפרנס שמתאימות לאותו נושא או סגנון. בדוגמה הזו, שתי תמונות ההפניה הן של אותו מוצר, ולכן יש להן אותו referenceId (1).
  • ‫BASE64_REFERENCE_IMAGE: תמונת הפניה שתנחה את יצירת התמונה. התמונה צריכה להיות מחרוזת בייטים בקידוד base64.
  • ‫SUBJECT_DESCRIPTION: אופציונלי. תיאור טקסטואלי של תמונת ההפניה שאפשר להשתמש בו בשדה prompt. לדוגמה: 
          "prompt": "Luxe Elixir hair oil, golden liquid in glass bottle [1]
       against a pure white background.",
      [...],
      "subjectDescription": "Luxe Elixir hair oil, golden liquid in glass bottle"
  • ‫IMAGE_COUNT: מספר התמונות שנוצרו. ערכים קבילים מסוג מספר שלם: 1-4. ערך ברירת המחדל: 4.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

גוף בקשת JSON: 

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "referenceImages": [
        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectType": "SUBJECT_TYPE_PRODUCT",
            "subjectDescription": "SUBJECT_DESCRIPTION"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectType": "SUBJECT_TYPE_PRODUCT",
            "subjectDescription": "SUBJECT_DESCRIPTION"
          }
        }
      ]
    }
  ],
  "parameters": {
    "sampleCount": IMAGE_COUNT
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
התגובה לדוגמה הבאה היא לבקשה עם "sampleCount": 2. התגובה מחזירה שני אובייקטים של חיזוי, עם בייטים של התמונה שנוצרה בקידוד base64. 
{
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    }
  ]
}

השימוש במוצר

כדי לראות את תקני השימוש והגבלות התוכן שקשורים ל-Imagen ב-Vertex AI, אפשר לעיין בהנחיות השימוש.

גרסאות המודלים

יש כמה מודלים ליצירת תמונות שאתם יכולים להשתמש בהם. מידע נוסף זמין במאמר בנושא מודלים של Imagen.

המאמרים הבאים

כדאי לקרוא מאמרים על Imagen ועל מוצרים אחרים של AI גנרטיבי ב-Vertex AI: