התאמה אישית של הנושא

התאמה אישית של נושאים ב-Imagen 3 מאפשרת ליצור תמונות חדשות באמצעות פרומפט טקסטואלי ותמונת הפניה שאתם מספקים. התמונה לדוגמה שאתם מספקים עוזרת להנחות את יצירת התמונה החדשה.

המודלים הבאים תומכים בהתאמה אישית של הנושא:

תרחישים לדוגמה

התאמה אישית של Imagen 3 מאפשרת שימוש בהנחיות חופשיות, ולכן יכול להיווצר הרושם שהיא יכולה לעשות יותר ממה שהיא אומנה לעשות. בחלקים הבאים מתוארים תרחישי שימוש מיועדים בהתאמה אישית של Imagen 3, ודוגמאות לא ממצות לתרחישי שימוש לא מיועדים.

מומלץ להשתמש ב-Imagen 3 Customization לתרחישי השימוש המיועדים, כי אימנו את המודל על תרחישי השימוש האלה ואנחנו מצפים לתוצאות טובות. לעומת זאת, אפשר להשתמש במודל למטרות שלא תוכננו מראש, אבל לא צפויים מכך תוצאות טובות.

תרחישי שימוש מיועדים

הנה תרחישי שימוש שמיועדים להתאמה אישית של נושאים ב-Imagen 3:

  • יצירת תמונה מסוגננת של אדם
  • תעצב תמונה של אדם ותשמור על הבעות הפנים שלו
  • (סיכוי נמוך להצלחה) הצבת מוצר, כמו ספה או עוגייה, בסצנות שונות עם זוויות שונות של המוצר.
  • יצירת וריאציות של מוצר בלי לשמור על פרטים מדויקים
  • עיצוב תמונה של אדם תוך שמירה על הבעת הפנים

דוגמאות לתרחישי שימוש לא מכוונים

הרשימה הבאה כוללת דוגמאות בלבד, והיא איננה מקיפה. אלה תרחישי שימוש שבהם לא בוצע אימון של Imagen 3 Customization, והתוצאות שמתקבלות בהם לא טובות:

  • הצבת שני אנשים או יותר בסצנות שונות תוך שמירה על הזהויות שלהם
  • אפשר למקם שני אנשים או יותר בסצנות שונות, תוך שמירה על הזהות שלהם וציון הסגנון של תמונת הפלט באמצעות תמונה לדוגמה כקלט לסגנון.
  • יצירת סגנון לתמונה של שני אנשים או יותר תוך שמירה על הזהות שלהם
  • הוספת חיית מחמד לסצנות שונות תוך שמירה על הזהות שלה
  • הוספת סגנון לתמונה של חיית מחמד והפיכתה לציור
  • להפוך תמונה של חיית מחמד לציור, תוך שמירה על הסגנון של התמונה או ציון הסגנון (למשל, צבעי מים)
  • הצבת חיית מחמד ואדם בסצנה אחרת, תוך שמירה על הזהויות של שניהם.
  • הוספת אפקטים לתמונה של חיית מחמד ואדם אחד או יותר והפיכתה לציור
  • הצבת שני מוצרים בסצנות שונות עם זוויות שונות של המוצרים
  • להציב מוצר, כמו עוגייה או ספה, בסצנות שונות עם זוויות שונות של המוצר, ולפי סגנון תמונה ספציפי (למשל פוטוריאליסטי עם צבעים ספציפיים, סגנונות תאורה או אנימציה)
  • להציב מוצר בסצנה אחרת, תוך שמירה על הקומפוזיציה הספציפית של הסצנה כפי שצוינה בתמונת הבקרה
  • ממקמים שני מוצרים בסצנות שונות עם זוויות שונות של המוצרים, ומשתמשים בתמונה ספציפית כקלט (למשל, פוטוריאליסטית עם צבעים ספציפיים, סגנונות תאורה או אנימציה)
  • הוספת שני מוצרים לסצנות שונות, תוך שמירה על הקומפוזיציה הספציפית של הסצנה כפי שצוין בתמונת הבקרה

דוגמאות להתאמה אישית של נושאים

בקטעים הבאים מפורטים תרחישים נתמכים להתאמה אישית של נושאים ב-Imagen 3:

התאמה אישית של אנשים

קלט לדוגמה פלט לדוגמה
  1. תמונת רפרנס1:
    דוגמה לקלט להתאמה אישית של מוצר
  2. פרומפט טקסטואלי:
    צור תמונה של woman with long hair[1] שתתאים לתיאור הבא: דיוקן של woman with long hair[1] בסגנון סרטים מצוירים בתלת ממד עם רקע מטושטש. דמות חמודה ומקסימה, עם חיוך, מסתכלת למצלמה, גווני פסטל, איכות גבוהה, 4K, יצירת מופת, פרטים קטנים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה וריאליסטית, צבעים עזים.

פלט לדוגמה של התאמה אישית של מוצר

1 תמונת קלט לדוגמה שנוצרה באמצעות יצירת תמונות ב-Imagen 3 מהפרומפט: פורטרט של אישה בפריז. היא לובשת מכנסיים שחורים וחולצה לבנה.

התאמה אישית של מוצרים

קלט לדוגמה פלט לדוגמה
  1. תמונת רפרנס2:
    דוגמה לקלט להתאמה אישית של מוצר
  2. פרומפט טקסטואלי:
    תצור תמונה של perfume bottle [1] אבל בצבע ציאן

פלט לדוגמה של התאמה אישית של מוצר
2 תמונת קלט להפניה שנוצרה באמצעות Imagen 3 ליצירת תמונות מהפרומפט: תמונה בסגנון מוצר של בקבוק בושם על רקע שחור.

הצגת כרטיס המודל של Imagen for Editing and Customization

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    8.

  8. מגדירים אימות לסביבה.

    צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:

    המסוף

    כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי ה-API, לא צריך להגדיר אימות.

    REST

    כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

      התקינו את ה-CLI של Google Cloud.

      אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

    מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

התאמה אישית של הנושא

אתם יכולים לספק תמונות רפרנס של סוגי נושאים כשאתם משתמשים ב-Imagen 3 Customization. באופן ספציפי, הנחיות עם דוגמאות בודדות בהתאמה אישית של Imagen 3 תומכות בנושאים הבאים: מוצר, אדם וחיית מחמד. הנושא שתבחרו ישפיע על האופן שבו תנסחו את בקשת היצירה.

הפרומפט שבו אתם משתמשים ב-Imagen 3 Customization יכול להשפיע על האיכות של התמונות שנוצרות על ידי AI. בקטעים הבאים מפורטות דוגמאות לתבניות לפרומפט מומלצות לשליחת בקשות להתאמה אישית.

התאמה אישית של דמות

בטבלה הבאה מפורטות תבניות לפרומפט שאנחנו ממליצים להשתמש בהן כנקודת התחלה כשכותבים הנחיות להתאמה אישית של דמויות:

תרחיש שימוש תמונות רפרנס תבנית לפרומפט דוגמה
עיצוב תמונה של אדם עם קלט של רשת פנים תמונה של מושא הצילום (1)
תמונה לשליטה ב-Facemesh (1) 		תיצור תמונה של SUBJECT_DESCRIPTION [1] עם facemesh from the control image [2]. ${PROMPT} תיצור תמונה של the person [1] עם facemesh from the control image [2]. האדם צריך להסתכל ישר קדימה עם הבעה ניטרלית. הרקע צריך להיות ...
עיצוב תמונה של אדם בלי קלט של רשת פנים תמונת הנושא (1-4) תצור תמונה של SUBJECT_DESCRIPTION [1] שתתאים לתיאור הבא: דיוקן של SUBJECT_DESCRIPTION [1] ${PROMPT} תמונה של a woman with short hair[1] שתואמת לתיאור: דיוקן של a woman with short hair[1] בסגנון סרטים מצוירים בתלת ממד עם רקע מטושטש. דמות חמודה ומקסימה, עם חיוך, מסתכלת למצלמה, גווני פסטל, איכות גבוהה, 4k, יצירת מופת, פרטים קטנים, מרקם עור, מיפוי טקסטורה, צללים רכים, תאורה רכה ומציאותית, צבעים עזים
עיצוב תמונה של אדם בלי קלט של רשת פנים תמונת הנושא (1-4) תצור תמונה של STYLE_DESCRIPTION [2] בנושא SUBJECT_DESCRIPTION [1] שתתאים לתיאור: פורטרט של SUBJECT_DESCRIPTION [1] STYLE_PROMPT תצור תמונה של 3d-cartoon style [2] בנושא a woman with short hair [1] שתתאים לתיאור הבא: דיוקן של a woman with short hair [1] בסגנון סרטים מצוירים בתלת ממד עם רקע מטושטש. דמות חמודה ומקסימה, פנים מחייכות, מסתכלת למצלמה, גוון צבעי פסטל, איכות גבוהה, 4k, יצירת מופת, פרטים רבים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה ומציאותית, צבעים מלאי חיים
עיצוב תמונה של אדם עם קלט של רשת פנים תמונת מושא הצילום (1-3)
תמונת בקרה של רשת הפנים (1) 		תצור תמונה של SUBJECT_DESCRIPTION [1] בתנוחה של CONTROL_IMAGE [2] כדי שתתאים לתיאור: דיוקן של SUBJECT_DESCRIPTION [1] ${PROMPT} תיצור תמונה של a woman with short hair [1] בתנוחה של control image [2] בהתאם לתיאור: דיוקן של a woman with short hair [1] בסגנון קריקטורה בתלת-ממד עם רקע מטושטש. דמות חמודה ומקסימה עם פרצוף מחייך. See the camera, pastel color tone, high quality, 4k, masterpiece, super details, skin texture, texture mapping, Soft shadows, soft realistic lighting, vibrant colors
עיצוב תמונה של אדם עם קלט של רשת פנים תמונת מושא הצילום (1-3)
תמונת בקרה של רשת הפנים (1) 		תצור תמונה של STYLE_DESCRIPTION [3] בנושא SUBJECT_DESCRIPTION [1] בתנוחה של CONTROL_IMAGE [2] בהתאם לתיאור: תמונה לאורך של SUBJECT_DESCRIPTION [1] ${PROMPT} תיצור תמונה של 3d-cartoon style [3] בנושא a woman with short hair [1] בתנוחה של control image [2] שתתאים לתיאור: דיוקן של a woman with short hair [1] בסגנון של סרט מצויר בתלת-ממד עם רקע מטושטש. דמות חמודה ומקסימה עם פרצוף מחייך. מצלמה, גוון פסטל, איכות גבוהה, 4K, יצירת מופת, פרטים מדויקים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה ומציאותית, צבעים עזים

מומלץ שהפנים בתמונת הרפרנס יהיו עם המאפיינים הבאים:

  • התמונה ממוקמת במרכז ותופסת לפחות חצי מהתמונה כולה
  • הוא מסובב בתצוגה חזיתית בכל הכיוונים (גלגול, עלרוד וסבסוב)
  • הפנים לא מוסתרות על ידי אובייקטים, כמו משקפי שמש או מסכות

אתם יכולים להשתמש בדוגמאות הבאות כדי לשלוח בקשת התאמה אישית עם תמונות רפרנס של אנשים, שישמשו להנחיית יצירת התמונות. אפשר לשלוח בקשה כזו עם או בלי תמונה של רשת פנים כדי להנחות את יצירת התמונה.

REST

למידע נוסף על Imagen API, אפשר לעיין במקורות הבאים:

בדוגמה הזו מוסבר איך לציין אזור בקרה של רשת פנים כדי להנחות את תהליך היצירה, אבל אפשר גם להשמיט את אובייקט ההפניה של הבקרה ("referenceType": "REFERENCE_TYPE_CONTROL") ומערכת Imagen תזהה באופן אוטומטי אזור בקרה של רשת פנים.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: האזור של הפרויקט. לדוגמה, us-central1, europe-west2 או asia-northeast3. רשימת האזורים הזמינים מופיעה במאמר מיקומים של AI גנרטיבי ב-Vertex AI. כשמשתמשים בנקודת קצה ל-API אזורית, האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד, והמערכת מתעלמת מהערך LOCATION בנתיב המשאב אם יש התנגשות.
  • ‫TEXT_PROMPT: פרומפט טקסטואלי קובע אילו תמונות המודל ייצור. כדי להשתמש בהתאמה אישית של Imagen 3, צריך לכלול את referenceId של תמונת הרפרנס או התמונות שאתם מספקים בפורמט [$referenceId]. לדוגמה:
    • הפרומפט הטקסטואלי הבא הוא לבקשה שכוללת שתי תמונות רפרנס עם "referenceId": 1. לשתי התמונות יש תיאור אופציונלי של "subjectDescription": "man with short hair". בנוסף, יש תמונה של רשת פנים שצוינה באמצעות "referenceId": 2: צור תמונה של man with short hair [1] בתנוחה של תמונת הבקרה [2] בהתאם לתיאור: סקיצה בסגנון עיפרון של פורטרט של man with short hair [1] בכל הגוף עם הצללה מצטלבת, סקיצה של פורטרט עם עיפרון 6B ועיפרון גרפיט, רקע לבן, רישום בעיפרון, באיכות גבוהה, משיכת עיפרון, מבט למצלמה, עיניים אנושיות טבעיות
  • ‫"referenceId": המזהה של תמונת רפרנס, או המזהה של סדרה של תמונות רפרנס שמתאימות לאותו נושא או סגנון. בדוגמה הזו, שתי התמונות לדוגמה מציגות את אותו אדם, ולכן יש להן את אותו referenceId (1) והתמונה של רשת הפנים לבקרה כוללת referenceId (2) שונה. התמונה שנוצרת תהיה דומה למבנה הפנים של רשת הפנים שחולצה מהתמונה לדוגמה, והמראה של הפנים ישתפר בהתאם. אפשר להשתמש רק בפקד אחד של רשת פנים.
  • ‫BASE64_REFERENCE_IMAGE: תמונת רפרנס שתשמש להנחיית יצירת התמונה. התמונה צריכה להיות מחרוזת בייטים בקידוד base64.
  • ‫SUBJECT_DESCRIPTION: אופציונלי. תיאור טקסטואלי של תמונת הרפרנס, שאפשר להשתמש בו בשדה prompt. לדוגמה: 
          "prompt": "a full-body portrait of a man with short hair [1] with hatch-cross
      drawing",
      [...],
      "subjectDescription": "man with short hair"
  • ‫IMAGE_COUNT: מספר התמונות שנוצרו. ערכים קבילים מסוג מספר שלם: 1-4. ערך ברירת המחדל: 4.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

גוף בקשת JSON: 

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "referenceImages": [

        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectDescription": "SUBJECT_DESCRIPTION",
            "subjectType": "SUBJECT_TYPE_PERSON"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectDescription": "SUBJECT_DESCRIPTION",
            "subjectType": "SUBJECT_TYPE_PERSON"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_CONTROL",
          "referenceId": 2,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "controlImageConfig": {
            "controlType": "CONTROL_TYPE_FACE_MESH",
            "enableControlImageComputation": true
          }
        }
      ]
    }
  ],
  "parameters": {
    "sampleCount": IMAGE_COUNT
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
התגובה לדוגמה הבאה היא לבקשה עם "sampleCount": 2. התגובה מחזירה שני אובייקטים של חיזוי, עם בייטים של התמונה שנוצרה על ידי AI בקידוד base64. 
{
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    }
  ]
}

התאמה אישית של מוצרים

בטבלה הבאה מפורטות תבניות לפרומפט שמומלץ להשתמש בהן כנקודת התחלה כשכותבים פרומפטים להתאמה אישית של מוצרים:

תמונות רפרנס תבנית לפרומפט דוגמה
תמונת הנושא (1-4) תמונה של SUBJECT_DESCRIPTION [1] שתתאים לתיאור הבא: ${PROMPT}

צור תמונה בנושא Luxe Elixir hair oil, golden liquid in glass bottle [1] שתתאים לתיאור: תמונה בתקריב, עם חשיפת יתר, של יד של אישה שמחזיקה Luxe Elixir hair oil, golden liquid in glass bottle [1] על רקע לבן לגמרי. היד של האישה מוארת היטב והבקבוק נמצא בפוקוס חד, עם עומק שדה רדוד שמטשטש את הרקע ומדגיש את המוצר. התאורה רכה ומפוזרת, ויוצרת זוהר עדין סביב הבקבוק והיד. הקומפוזיציה הכללית פשוטה ואלגנטית, ומדגישה את המראה היוקרתי של המוצר.

תמונת הנושא (1-4) תיצור תמונה של SUBJECT_DESCRIPTION אבל ${PROMPT}

תיצור תמונה של Seiko watch [1] אבל בכחול.

בדוגמאות הבאות אפשר לראות איך שולחים בקשת התאמה אישית עם תמונות לדוגמה של מוצרים שמשמשות להנחיית יצירת התמונה.

המסוף

  1. במסוף Google Cloud , עוברים לדף Vertex AI > Vertex AI Studio .
    מעבר אל Vertex AI Studio
  2. בקטע Model בחלונית Parameters, בוחרים באפשרות Imagen 3 אם היא לא מסומנת.
  3. זה שינוי אופציונלי. בוחרים יחס גובה-רוחב שאינו 1:1 (ברירת מחדל).
  4. זה שינוי אופציונלי. משנים את מספר התוצאות.
  5. זה שינוי אופציונלי. מזינים הנחיה שלילית כדי להנחות את המודל מה לא ליצור.
  6. זה שינוי אופציונלי. משנים את האפשרויות המתקדמות.
  7. בשדה הנחיית טקסט (כתיבת הנחיה...), לוחצים על הוספת הפניה.
    1. בחלונית הוספת הפניה, בוחרים את סוג ההפניה: Subject - product.
    2. בקטע תמונות רפרנס, לוחצים על העלאה.
    3. בוחרים תמונה ששמורה באופן מקומי ולוחצים על פתיחה.
    4. זה שינוי אופציונלי. מוסיפים תיאור לתמונת רפרנס.
    5. לוחצים על סיום.
    6. זה שינוי אופציונלי. כדי להוסיף עוד תמונות רפרנס, לוחצים על הוספת תמונה ומעלים עוד תמונה.
    7. אחרי שמוסיפים את כל תמונות הרפרנס, לוחצים על הוספת רפרנס.

      לכל התמונות לדוגמה שמוסיפים בחלונית הזו יש אותו מספר לדוגמה. השתמשו במספר הסימוכין הזה כשאתם מוסיפים את הפרומפט הטקסטואלי.

  8. בשדה פרומפט טקסטואלי (כתיבת הנחיה…), מוסיפים פרומפט טקסטואלי שכולל את מספר או מספרי הסימוכין של תמונות הרפרנס. לדוגמה:
    1. חדר לבן ומואר, product [1] על שולחן זכוכית
    2. animal [1] עומד בשדה רחב פתוח עם יער ברקע
    3. דיוקן בשחור-לבן של person [1] ברחוב בעיר בfilm noir style [2]

REST

מידע נוסף על בקשות imagen-3.0-capability-001למודלים זמין במאמר imagen-3.0-capability-001 הפניית API למודלים.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: האזור של הפרויקט. לדוגמה, us-central1, europe-west2 או asia-northeast3. רשימת המיקומים שבהם אפשר להשתמש ב-AI גנרטיבי ב-Vertex AI כשמשתמשים בנקודת קצה ל-API אזורית, האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד, והמערכת מתעלמת מהערך LOCATION בנתיב המשאב אם יש התנגשות.
  • ‫TEXT_PROMPT: פרומפט טקסטואלי קובע אילו תמונות המודל ייצור. כדי להשתמש בהתאמה אישית של Imagen 3, צריך לכלול את referenceId של תמונת הרפרנס או התמונות שאתם מספקים בפורמט [$referenceId]. לדוגמה:
    • צור תמונה של Luxe Elixir hair oil, golden liquid in glass bottle [1] שתתאים לתיאור: תמונת תקריב עם תאורה בהירה של יד של אישה שמחזיקה Luxe Elixir hair oil, golden liquid in glass bottle [1] על רקע לבן נקי. היד של האישה מוארת היטב והמיקוד הוא על הבקבוק, עם עומק שדה רדוד שמטשטש את הרקע ומדגיש את המוצר.
  • ‫"referenceId": המזהה של תמונת רפרנס, או המזהה של סדרה של תמונות רפרנס שמתאימות לאותו נושא או סגנון. בדוגמה הזו, שתי תמונות ההפניה הן של אותו מוצר, ולכן יש להן אותו referenceId (1).
  • ‫BASE64_REFERENCE_IMAGE: תמונת רפרנס שתשמש להנחיית יצירת התמונה. התמונה צריכה להיות מחרוזת בייטים בקידוד base64.
  • ‫SUBJECT_DESCRIPTION: אופציונלי. תיאור טקסטואלי של תמונת ההפניה שאפשר להשתמש בו בשדה prompt. לדוגמה: 
          "prompt": "Luxe Elixir hair oil, golden liquid in glass bottle [1]
       against a pure white background.",
      [...],
      "subjectDescription": "Luxe Elixir hair oil, golden liquid in glass bottle"
  • ‫IMAGE_COUNT: מספר התמונות שנוצרו. ערכים קבילים מסוג מספר שלם: 1-4. ערך ברירת המחדל: 4.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

גוף בקשת JSON: 

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "referenceImages": [
        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectType": "SUBJECT_TYPE_PRODUCT",
            "subjectDescription": "SUBJECT_DESCRIPTION"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_SUBJECT",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "subjectImageConfig": {
            "subjectType": "SUBJECT_TYPE_PRODUCT",
            "subjectDescription": "SUBJECT_DESCRIPTION"
          }
        }
      ]
    }
  ],
  "parameters": {
    "sampleCount": IMAGE_COUNT
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
התגובה לדוגמה הבאה היא לבקשה עם "sampleCount": 2. התגובה מחזירה שני אובייקטים של חיזוי, עם בייטים של התמונה שנוצרה על ידי AI בקידוד base64. 
{
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    }
  ]
}

שימוש במוצר

בהנחיות השימוש מפורטים סטנדרטים לשימוש והגבלות תוכן שקשורות ל-Imagen ב-Vertex AI.

גרסאות המודלים

יש כמה מודלים ליצירת תמונות שאפשר להשתמש בהם. מידע נוסף זמין במאמר בנושא מודלים של Imagen.

המאמרים הבאים

מאמרים על Imagen ומוצרים אחרים של AI גנרטיבי ב-Vertex AI: