באמצעות Gemini API, אתם יכולים לכלול קלט מסוגים שונים, כמו טקסט, תמונות וסרטונים, כחלק מההנחיה למודלים של Gemini. בדף הזה מפורטות שיטות מומלצות לעיצוב הנחיות מולטי-מודאליות, ואיך לפתור בעיות אם ההנחיות לא פועלות כמו שצריך. להנחיות כלליות בנושא עיצוב הנחיות, עיינו באסטרטגיות המומלצות שלנו לעיצוב הנחיות, או ברשימה הבאה של שיטות מומלצות ספציפיות למולטימודאליות.
יסודות עיצוב ההנחיות
בקטעים הבאים מתוארות שיטות מומלצות בסיסיות ליצירת פרומפטים מולטי-מודאליים יעילים.
שימוש בהוראות ספציפיות
כדי לקבל את התוצאות הכי טובות, כדאי לתת הנחיות ברורות ומפורטות. אם אתם רוצים לקבל פלט מסוים, כדאי לכלול את הדרישה הזו בהנחיה כדי להגדיל את הסיכוי שתקבלו את הפלט הנכון.
גם אם ההנחיה נראית ברורה לאדם שכתב אותה, יכול להיות שהיא לא מפורטת מספיק. כדי להתאים אישית את התנהגות המודל, חשבו איך אפשר לפרש את ההנחיה שלכם וודאו שההוראות שאתם נותנים ספציפיות וברורות.
אם תכללו את התמונה של לוח הטיסות הזה בהנחיה שלכם ותבקשו מהמודל "לתאר את התמונה הזו", יכול להיות שתקבלו תיאור כללי. אם אתם רוצים שהמודל ינתח את השעה והעיר מהתמונה, אתם צריכים לכלול את הבקשה הזו ישירות בהנחיה.
| פרומפט | תשובה מהמודל |
|---|---|
מה מופיע בתמונה? |
בתמונה מוצג לוח המראות ונחיתות בשדה תעופה. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
Parse the time and city from the airport board shown in this image into a list. |
|
הוספת דוגמאות
המודל יכול לקבל כמה קלטים שישמשו כדוגמאות כדי להבין את הפלט הרצוי. הוספת הדוגמאות האלה יכולה לעזור למודל לזהות את הדפוסים ולהחיל את הקשר בין התמונות והתשובות שניתנו על הדוגמה החדשה. השיטה הזו נקראת למידה עם מעט דוגמאות (few-shot).
בדוגמה הבאה, הפלט הראשוני הוא משפט שלם שמכיל גם את המדינה (ברזיל). אם הפלט המועדף הוא רק העיר, ולא המדינה, הוספת פרומפט עם כמה דוגמאות (few-shot) יכולה להנחות את המודל להשיב בפורמט הזה.
| הנחיה | תשובה מהמודל |
|---|---|
לזהות את העיר שבה נמצאת נקודת הציון. |
האתר הוא פסל ישו הגואל בריו דה ז'ניירו, ברזיל. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
|
לזהות את העיר שבה נמצאת נקודת הציון.
|
עיר: רומא, אתר: הקולוסיאום. |
|
עיר: בייג'ינג, ציון דרך: העיר האסורה |
|
עיר: ריו דה ז'ניירו, אתר: פסל ישו הגואל |
פיצול משימות מורכבות למשימות קטנות יותר
במשימות מורכבות, כמו כאלה שדורשות גם הבנה חזותית וגם חשיבה, פצלו את המשימה לשלבים קטנים ופשוטים יותר, או בקשו ישירות מהמודל לחשוב צעד אחר צעד בהנחיה.
| פרומפט | תשובה מהמודל |
|---|---|
מתי ייגמר לי נייר הטואלט? |
בקרוב יישארו לכם רק 3 גלילים. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
|
|
אפשר גם לחלק בעיות מתמטיות או סוגים אחרים של בעיות מילוליות למשימות קטנות יותר.
| הנחיה | תגובה |
|---|---|
מהו האיבר הרביעי בסדרה? |
-135 |
התשובה מהמודל שגויה. נסו לבקש מהמודל לנתח את הבעיה לפני שהוא עונה על ההנחיה.
| הנחיה | תגובה |
|---|---|
קודם צריך לנתח את הנוסחה שבתמונה. ואז, על סמך הנוסחה, לענות על השאלה "מהו האיבר הרביעי בסדרה?". |
לוחצים כדי להרחיב את התוצאה$$b(n) = b(n-1) * (-3)$$ $$b(1) = 15$$
לכן, האיבר הרביעי בסדרה הוא 405-. |
כדי שהתשובה תהיה עוד יותר יעילה, אתם יכולים לבקש מהמודל לחשוב על ההנחיה שלב אחר שלב.
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
מהו האיבר הרביעי בסדרה? חשוב צעד אחר צעד. |
האיבר הראשון הוא 15. האיבר השני הוא b(1) * (-3) = 15 * (-3) = -45. האיבר השלישי הוא b(2) * (-3) = -45 * (-3) = 135. האיבר הרביעי הוא b(3) * (-3) = 135 * (-3) = -405. |
מציינים את פורמט הפלט
אם אתם צריכים פורמט מסוים, אתם יכולים להנחות את המודל להשתמש בפורמט הזה בפלט שלו.
| פרומפט | תשובה מהמודל |
|---|---|
תנתח את הטבלה בתמונה הזו ותמיר אותה לפורמט Markdown |
| Subject | Status | Time | Start date | Due on |
|-----------|-------------|---------|------------|------------|
| Math | Done | 1.5 hrs | 11/29/2023 | 12/1/2023 |
| Geography | Done | 30 min | 12/2/2023 | 12/4/2023 |
| Physics | In progress | 2 hrs | 12/3/2023 | 12/5/2023 |
| Biology | Not started | 6 hrs | 11/2/2016 | 12/6/2023 |
|
| הנחיה | תשובה מהמודל |
|---|---|
צריך לספק רשימה של כל המאפיינים הבאים: רכיבים, סוג המטבח, צמחוני או לא, בפורמט JSON |
|
פתרון בעיות בפרומפט מולטי-מודאלי
כדי לפתור בעיות בהנחיה, אפשר לשפר את השפה של ההנחיה, לכוון את המיקוד של ההנחיה או לכוונן את הפרמטרים. הגישות השונות האלה יכולות להוביל לתוצאות משופרות, במיוחד אחרי שקובעים מהו שורש הבעיה.
התמקדות בחלק הרלוונטי של התמונה
כדי לשפר את התשובה, ציינו אילו חלקים בתמונה הכי רלוונטיים להנחיה.
| פרומפט | תשובה מהמודל |
|---|---|
לכמה ימים יספיקו החיתולים האלה לתינוק? |
החיתולים יספיקו ל-198 ימים לפני שהם ייגמרו. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
כמה זמן החיתולים האלה יספיקו לי? כדי לקבוע את גיל הילד, משתמשים במשקל שמופיע על האריזה, ומשתמשים במספר הכולל של החיתולים באריזה. מחלקים את המספר הכולל במספר החיתולים שהילד משתמש בהם ביום. |
הקופסה מכילה 198 חיתולים. על הקופסה כתוב שהחיתולים מיועדים לילדים במשקל 10-17 ק"ג. הגיל הממוצע של ילדים בטווח המשקל הזה הוא בין שנה לשנתיים. ילד בן שנתיים משתמש בדרך כלל ב-6 חיתולים ביום, ולכן החיתולים יספיקו לכ-33 ימים (198 חלקי 6). |
התאמת התשובה של המודל לקלט
מבקשים מהמודל לתאר את התמונות לפני שהוא מבצע את המשימה שבהנחיה.
| פרומפט | תשובה מהמודל |
|---|---|
מה משותף לתמונות האלה? |
כל ארבע התמונות הן דוגמאות לצילום נוף. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
קודם, תאר בפירוט מה רואים בכל תמונה. מה משותף לתמונות האלה? |
בתמונה הראשונה רואים אדם שאורז מזוודה. בתמונה השנייה רואים מסדרון ריק בקניון. בתמונה השלישית מוצג גליל נייר טואלט. בתמונה הרביעית רואים ים חשוך וסוער. המשותף לתמונות האלה הוא שכולן דוגמאות למרחבים לימינליים. מרחבים לימינליים הם מקומות או מצבים שנמצאים בין שני מקומות או מצבים אחרים. הם מאופיינים לעיתים קרובות בתחושה של חוסר ודאות או עמימות. בתמונה הראשונה רואים את האדם בבית ובטיול. בתמונה השנייה רואים את המסדרון בין שתי החנויות. בתמונה השלישית רואים נייר טואלט, שיכול לייצג חדר שירותים. חדר הרחצה הוא מרחב מעבר בין התחום הפרטי לציבורי. זה מקום שבו אנחנו מתכוננים להיכנס לעולם החיצון או לצאת ממנו. בתמונה הרביעית רואים את הים במצב ביניים בין רגוע לסוער. מרחבים לימינליים יכולים להיות גם מרגשים וגם מטרידים. הם יכולים להיות מקום של התחלה חדשה או מקום של סוף. הם יכולים להיות מקום של הרהור או מקום של פעולה. |
אתם יכולים לבקש מהמודל באופן מפורש להתייחס למה שמופיע בתמונה.
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
מה משותף לתמונות האלה? התייחסו למה שמופיע בתמונות בתשובה שלכם. |
כל התמונות קשורות לנסיעות. בתמונה הראשונה רואים אדם שאורז מזוודה, בתמונה השנייה רואים מסדרון ריק בקניון, בתמונה השלישית רואים ערימה של נייר טואלט ובתמונה הרביעית רואים ים חשוך וסוער. כל התמונות האלה קשורות לנסיעות כי הן מציגות דברים שאנשים צריכים או משתמשים בהם כשהם נוסעים. בתמונה הראשונה רואים אדם שאורז מזוודה, וזה משהו שאנשים עושים כשהם יוצאים לטיול. בתמונה השנייה רואים מסדרון ריק בקניון, מקום שאנשים הולכים אליו לעיתים קרובות כדי לקנות דברים לנסיעות שלהם. בתמונה השלישית רואים ערימה של נייר טואלט, שזה משהו שאנשים משתמשים בו הרבה כשהם בנסיעות. בתמונה הרביעית רואים ים חשוך וסוער, מצב שאנשים נתקלים בו לעיתים קרובות כשהם מטיילים. |
הטיפים האלה רלוונטיים גם לתוצרים יצירתיים. בקשו מהמודל באופן מפורש לכלול היבטים מהתמונה. זה יכול לשפר את הפלט.
| פרומפט | תשובה מהמודל |
|---|---|
תכתוב לי שיר על התמונה הזו. |
Little bunny, so soft and brown,
Hopping through the field, up and down.
Your ears so long, your tail so small,
You're the cutest creature of them all.You nibble on the grass, so green and sweet,
And hop away when you see me.
But I'll always be your friend,
Little bunny, until the very end. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
אתה יכול לכתוב לי שיר תיאורי ודרמטי על התמונה הזו ולכלול את המיקום? |
Little bunny on the green,
Ears so long, so keen.
What do you see out there,
In the distance, where you stare?Is it the ocean blue,
Sparkling in the sun's hue?
Or the waves that crash and roar,
A rhythm that you adore?Little bunny, tell me true,
What captures your attention so?
Is it the salty breeze,
Or the seagulls' cries that please?Perhaps it's the vastness of it all,
A world so big and small.
A place where dreams can roam,
And adventures can be sown.Little bunny, I wonder what you dream,
As you sit on the grass, so serene.
Do you yearn to explore the deep,
Or stay on land, where you can leap?Whatever it may be, little bunny,
Keep that spark of wonder burning brightly.
For in your dreams and aspirations,
Lies a world waiting for your creation. |
איך לזהות את הסיבה לכך שההנחיה נכשלה
הנחיה יכולה להיכשל כי המודל לא הבין את התמונה בכלל, או כי הוא לא ביצע את שלבי החשיבה הנכונים לאחר מכן. כדי להבין מה הסיבה, אפשר לבקש מהמודל לתאר מה יש בתמונה.
בדוגמה הזו, אם המודל מציע חטיף שנראה מפתיע בשילוב עם תה (כמו פופקורן), קודם כל צריך לבדוק אם המודל זיהה שהתמונה מכילה תה.
| פרומפט | הנחיה לפתרון בעיות |
|---|---|
איזה חטיף אפשר להכין בדקה אחת שיתאים לזה? |
תארו מה מופיע בתמונה. |
אם תבקשו מהמודל להסביר את החשיבה שלו, תוכלו לצמצם את האפשרויות ולגלות איזה חלק בחשיבה השתבש, אם בכלל.
| פרומפט | הנחיה לפתרון בעיות |
|---|---|
איזה חטיף אפשר להכין בדקה אחת שיתאים לזה? |
איזה חטיף אפשר להכין בדקה אחת שיתאים לזה? נשמח לשמוע למה. |
פתרון בעיות שקשורות לגישה ולהרשאות ב-Cloud Storage
האופן שבו Agent Platform מאמתת ומגבילה את מזהי ה-URI של Cloud Storage (gs://) תלוי בנקודת הקצה של ה-API:
-
generateContentו-Agent Studio: פלטפורמת Agent ניגשת לאובייקטים שלgs://באמצעות סוכן השירות של פלטפורמת Agent בפרויקט שממנו מתבצעת הקריאה (service-PROJECT_NUMBER@gcp-sa-aiplatform.iam.gserviceaccount.com), ולא באמצעות פרטי הכניסה האישיים של המשתמש. היא תומכת במזהי URI שלgs://עד למגבלות הפריטים במודל לכל מודאליות (3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו, 10 סרטונים ועד 6,500 קבצים משולבים של כמה מודאליות כשכוללים קובצי טקסט פשוט, עד 2GiB פחות 500KiB לכל קובץ). - Interactions API: בקשות לאינטראקציה עם המודל בודקות את ההרשאות של
storage.objects.getבאמצעות פרטי הכניסה של מבצע הקריאה החוזרת כשלב מקדים, לפני שסוכן השירות של פלטפורמת הסוכנים בפרויקט שמבצע את הקריאה החוזרת מאחזר את האובייקט מ-Cloud Storage. בקטגוריות של Cloud Storage בפרויקטים שונים או בקטגוריות של Cloud Storage עם מדיניות IAM בהתאמה אישית, גם למבצע הקריאה המאומת וגם לסוכן השירות צריכה להיות גישת קריאה. הבקשות תומכות בעד 100 מזהי URI נפרדים שלgs://בסבב הנוכחי ובהיסטוריה המקושרת שלprevious_interaction_id. במאמר גישה לקבצים שהועלו ל-Cloud Storage מוסבר איך להגדיר את Interactions API ולטפל בשגיאות.
אם בקשה נכשלת עם שגיאת הרשאה כשניגשים לקובץ קלט של Cloud Storage (HTTP 403), צריך לבדוק את הדברים הבאים:
הקצאת התפקיד "צפייה באובייקט אחסון" בקטגוריה של Cloud Storage: מוודאים שלסוכן השירות של פלטפורמת הסוכנים בפרויקט שממנו נשלחת הקריאה יש את התפקיד
Storage Object Viewer(roles/storage.objectViewer) בקטגוריה של Cloud Storage שמכילה את הקבצים (ובבקשות של Interactions API, מקצים את התפקידroles/storage.objectViewerגם לחשבון המאומת שממנו נשלחת הקריאה):gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-aiplatform.iam.gserviceaccount.com" \ --role="roles/storage.objectViewer"גישה לקטגוריה של Cloud Storage בפרויקטים שונים: אם הקטגוריה של Cloud Storage נמצאת בפרויקט אחר ב- Google Cloud מהפרויקט של Agent Platform, צריך לתת את ההרשאה
roles/storage.objectViewerלסוכן השירות של הפרויקט שבו מתחילה הבקשה של Agent Platform (ולחשבון המשתמש ששולח את הקריאה ל-Interactions API).תאימות לכלים ולעיגון: ודאו שהאפשרות עיגון באמצעות חיפוש Google מושבתת בחלונית ההגדרות כשאתם מעבדים קלט מדיה מ-Cloud Storage, או ודאו שהכלי תואם לגרסת המודל שבחרתם.
כוונון הפרמטרים לדגימה
בכל בקשה, אתם שולחים למודל לא רק את הפרומפט המולטי-מודאלי, אלא גם קבוצה של פרמטרים לדגימה. המודל יכול להניב תוצאות שונות לערכי פרמטרים שונים. כדאי להתנסות בפרמטרים השונים כדי לקבל את הערכים הטובים ביותר למשימה. אלה הפרמטרים שמשנים הכי הרבה:
טמפרטורה
הטמפרטורה משמשת לדגימה במהלך יצירת התשובה, שמתרחשת כשמחילים את top-P ו-top-K. הטמפרטורה שולטת במידת האקראיות בבחירת האסימון. טמפרטורות נמוכות מתאימות להנחיות שדורשות תשובה יותר דטרמיניסטית ופחות פתוחה או יצירתית, ואילו טמפרטורות גבוהות יכולות להוביל לתוצאות יותר מגוונות או יצירתיות. טמפרטורה של 0 היא דטרמיניסטית, כלומר סביר להניח שהתשובה עם ההסתברות הגבוהה ביותר תיבחר.
ברוב התרחישים לדוגמה, כדאי להתחיל עם טמפרטורה של 0.4. אם אתם רוצים תוצאות יצירתיות יותר, הגדילו את הטמפרטורה. אם אתם מבחינים בהזיות ברורות, כדאי להפחית את רמת האקראיות.
Top-P
הערך של Top-P משנה את האופן שבו המודל בוחר טוקנים לפלט. האסימונים נבחרים מהסבירות הגבוהה ביותר לנמוכה ביותר, עד שסכום ההסתברויות שלהם שווה לערך של top-P. לדוגמה, אם לאסימונים א', ב' וג' יש הסתברות של 0.6, 0.3 ו-0.1, וערך ה-top-P הוא 0.9, המודל יבחר בא' או בב' כאסימון הבא באמצעות הטמפרטורה, ויחריג את ג' כמועמד.
כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר. כדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר. ערך ברירת המחדל של top-P הוא 1.0.
המאמרים הבאים
- נסו את המדריך למתחילים באמצעות Agent Platform API.
- כדי להתחיל להשתמש ב-Gemini API, עיינו במדריך למתחילים של Gemini API.