התאמה אישית של סגנונות

התאמה אישית של סגנון ב-Imagen 3 מאפשרת ליצור תמונות חדשות באמצעות פרומפטים טקסטואליים ותמונות לדוגמה שאתם מספקים. תמונות הרפרנס עוזרות להנחות את יצירת התמונות החדשות.

המודלים הבאים תומכים בהתאמה אישית של הסגנון:

תרחישים לדוגמה

ב-Imagen 3 Customization אפשר להזין הנחיות בסגנון חופשי, ולכן יכול להיות שייראה כאילו הוא יכול לעשות יותר ממה שהוא אומן לעשות. בקטעים הבאים מתוארים תרחישי שימוש מיועדים של Imagen 3 Customization, ודוגמאות לא ממצות לתרחישי שימוש לא מכוונים.

מומלץ להשתמש בהתאמה אישית של Imagen 3 בתרחישי השימוש המיועדים, כי אימנו את המודל על תרחישי השימוש האלה ואנחנו מצפים לתוצאות טובות. לעומת זאת, אם תנסו לגרום למודל לעשות דברים שלא קשורים לתרחישי השימוש המיועדים, סביר להניח שלא תקבלו תוצאות טובות.

תרחישים לדוגמה לשימוש

התרחישים הבאים מיועדים להתאמה אישית של סגנון ב-Imagen 3:

  • יצירת תמונה מטקסט קלט לפי סגנון ספציפי שמופיע בתמונת רפרנס.
  • לשנות תמונה של אדם.
  • תשנה תמונה של אדם ותשמור על הבעת הפנים שלו.

דוגמאות לתרחישי שימוש לא מכוונים

הרשימה הבאה כוללת דוגמאות בלבד, והיא איננה מקיפה. אלה תרחישי שימוש שבהם לא בוצע אימון של Imagen 3 Customization, והתוצאות שמתקבלות בהם לא טובות:

  • תצור תמונה מטקסט ומשימוש בתמונת רפרנס, במטרה לקבל רמה מסוימת של שליטה על הקומפוזיציה שנוצרת מתמונת הרפרנס.

  • ליצור תמונה של אדם על סמך תמונת רפרנס שבה מופיע אדם עם הבעת פנים מסוימת.

  • תמקם שני אנשים בסצנה אחרת, תשמור על הזהויות שלהם ותציין את הסגנון של תמונת הפלט (למשל, ציור שמן) באמצעות תמונת הפניה.

  • ליצור סגנון לתמונה של חיית מחמד ולהפוך אותה לציור, תוך שמירה על הקומפוזיציה של התמונה או ציון שלה.

  • הנחיה ליצור תמונות של מוצר, כמו עוגייה או ספה, בסצנות שונות עם זוויות שונות של המוצר, בסגנון תמונה ספציפי (למשל, פוטוריאליסטי עם צבעים ספציפיים, סגנונות תאורה או אנימציה).

דוגמה להתאמה אישית של הסגנון

הדוגמה הבאה ממחישה איך אפשר להתאים אישית את הסגנון ב-Imagen 3:

קלט לדוגמה פלט לדוגמה
  1. תמונת רפרנס1:
    דוגמה לקלט להתאמה אישית של חיית המחמד
  2. פרומפט טקסטואלי:
    צור תמונה ב-mosaic style [1] על סמך
    הכיתוב הבא: קו הרקיע של ניו יורק

פלט לדוגמה להתאמה אישית של חיות מחמד

‫1 תמונת קלט לדוגמה שנוצרה באמצעות Imagen 3 יצירת תמונה מהפרומפט: פסיפס פשוט.

הצגת כרטיס המודל של Imagen for Editing and Customization

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    8.

  8. מגדירים אימות לסביבה.

    צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:

    המסוף

    כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי ה-API, לא צריך להגדיר אימות.

    REST

    כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

      התקינו את ה-CLI של Google Cloud.

      אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

    מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

התאמה אישית של הסגנון

כשמשתמשים בהתאמה אישית של Imagen 3, אפשר לספק תמונות רפרנס של סוגי סגנונות. הסגנון שתבחרו ישפיע על האופן שבו תנסחו את בקשת היצירה.

ההנחיה שאתם משתמשים בה ב-Imagen 3 Customization יכולה להשפיע על איכות התמונות שנוצרות. בקטעים הבאים מפורטות תבניות מומלצות להנחיות ודוגמאות לשליחת בקשות להתאמה אישית.

תרחיש שימוש תמונות רפרנס תבנית לפרומפט דוגמה
סגנון האובייקט תמונת הנושא (1-4) תיצור תמונה ב-STYLE_DESCRIPTION [1] על סמך הכיתוב הבא: IMAGE_DESCRIPTION. תיצור תמונה ב-neon sign style [1] על סמך הכיתוב הבא: a sign saying have a great day.
עיצוב תמונה של אדם בלי קלט של רשת פנים תמונת הנושא (1-4) תצור תמונה של SUBJECT_DESCRIPTION [1] שתתאים לתיאור הבא: דיוקן של SUBJECT_DESCRIPTION [1] ${PROMPT} צור תמונה של a woman with short hair[1] שתתאים לתיאור: דיוקן של a woman with short hair[1] בסגנון של סרט מצויר בתלת-ממד עם רקע מטושטש. דמות חמודה ומקסימה, עם חיוך, מסתכלת למצלמה, גווני פסטל, איכות גבוהה, 4k, יצירת מופת, פרטים קטנים, מרקם עור, מיפוי טקסטורה, צללים רכים, תאורה רכה ומציאותית, צבעים עזים
עיצוב תמונה של אדם עם קלט של רשת פנים תמונת מושא הצילום (1-3)
תמונת בקרה של רשת הפנים (1) 		תצור תמונה של SUBJECT_DESCRIPTION [1] בתנוחה של CONTROL_IMAGE [2] כדי שתתאים לתיאור: דיוקן של SUBJECT_DESCRIPTION [1] ${PROMPT} תיצור תמונה של a woman with short hair [1] בתנוחה של control image [2] בהתאם לתיאור: דיוקן של a woman with short hair [1] בסגנון קריקטורה בתלת-ממד עם רקע מטושטש. דמות חמודה ומקסימה עם פרצוף מחייך. התמונה צריכה להיות עם מצלמה, גוון פסטל, איכות גבוהה, 4K, יצירת מופת, פרטים מדויקים, מרקם עור, מיפוי מרקם, צללים רכים, תאורה רכה ומציאותית וצבעים עזים

REST

מידע נוסף על Imagen API זמין במקורות הבאים:

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: האזור של הפרויקט. לדוגמה, us-central1, europe-west2 או asia-northeast3. רשימת האזורים הזמינים מופיעה במאמר מיקומים של AI גנרטיבי ב-Vertex AI. כשמשתמשים בנקודת קצה ל-API אזורית, האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד, והמערכת מתעלמת מהערך LOCATION בנתיב המשאב אם יש התנגשות.
  • ‫TEXT_PROMPT: פרומפט טקסטואלי קובע אילו תמונות המודל ייצור. כדי להשתמש בהתאמה אישית של Imagen 3, צריך לכלול את referenceId של תמונת הרפרנס או התמונות שאתם מספקים בפורמט [$referenceId]. לדוגמה:
    • פרומפט הטקסטואלי הבא הוא בקשה שכוללת תמונת רפרנס אחת עם "referenceId": 1 ותיאור אופציונלי של "styleDescription": "glowing style": צור תמונה ב-glowing style [1] על סמך הכיתוב הבא: כנסייה בהר.
  • ‫"referenceId": המזהה של תמונת רפרנס, או המזהה של סדרה של תמונות רפרנס שמתאימות לאותו נושא או סגנון. בדוגמה הזו, לתמונת הרפרנס היחידה יש referenceId של (1).
  • ‫BASE64_REFERENCE_IMAGE: תמונת רפרנס שתשמש להנחיית יצירת התמונה. צריך לציין את התמונה כמחרוזת בייטים בקידוד Base64.
  • ‫STYLE_DESCRIPTION: אופציונלי. תיאור טקסטואלי של תמונת הרפרנס, שאפשר להשתמש בו בשדה prompt. לדוגמה: 
          "prompt": "Generate an image in glowing style [1] based on the following
        caption: A church in the mountain.",
      [...],
      "styleImageConfig": {
        "styleDescription": "glowing style"
      }
  • ‫IMAGE_COUNT: מספר התמונות שנוצרו. ערכים קבילים מסוג מספר שלם: 1-4. ערך ברירת המחדל: 4.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

גוף בקשת JSON: 

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "referenceImages": [
        {
          "referenceType": "REFERENCE_TYPE_STYLE",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "BASE64_REFERENCE_IMAGE"
          },
          "styleImageConfig": {
            "styleDescription": "STYLE_DESCRIPTION"
          }
        }
      ]
    }
  ],
  "parameters": {
    "sampleCount": IMAGE_COUNT
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
התגובה לדוגמה הבאה היא לבקשה עם "sampleCount": 2. התגובה מחזירה שני אובייקטים של חיזוי, עם הבייטים של התמונה שנוצרה על ידי AI בקידוד base64. 
{
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    }
  ]
}

שימוש במוצר

כדי לראות את תקני השימוש והגבלות התוכן שקשורים ל-Imagen ב-Vertex AI, אפשר לעיין בהנחיות השימוש.

גרסאות המודלים

יש כמה מודלים ליצירת תמונות שאתם יכולים להשתמש בהם. מידע נוסף זמין במאמר בנושא מודלים של Imagen.

המאמרים הבאים

כדאי לקרוא מאמרים על Imagen ועל מוצרים אחרים של AI גנרטיבי ב-Vertex AI: