כלי אופטימיזציה של הנחיות שמבוסס על נתונים

במאמר הזה מוסבר איך להשתמש בכלי האופטימיזציה מבוסס-הנתונים כדי לשפר באופן אוטומטי את הביצועים של הנחיות על ידי שיפור ההוראות למערכת עבור קבוצה של הנחיות.

הכלי לביצוע אופטימיזציה מבוססת-נתונים יכול לעזור לכם לשפר את ההנחיות במהירות ובקנה מידה גדול, בלי שתצטרכו לשכתב באופן ידני את הוראות המערכת או הנחיות ספציפיות. האפשרות הזו שימושית במיוחד כשרוצים להשתמש בהנחיות מערכת ובהנחיות שנכתבו למודל אחד עם מודל אחר.

דוגמה לאופטימיזציה של הנחיה

לדוגמה, כדי לבצע אופטימיזציה של הוראות המערכת עבור קבוצה של הנחיות שמפנות למידע הקשרי כדי לענות על שאלות בנושא בישול, אפשר להשתמש בכלי האופטימיזציה מבוסס-הנתונים. כדי להשלים את המשימה הזו, צריך להכין את נתוני הקלט באופן הבא:

הוראות מערכת

You are a professional chef. Your goal is teaching how to cook healthy cooking recipes to your apprentice.

Given a question from your apprentice and some context, provide the correct answer to the question.
Use the context to return a single and correct answer with some explanation.

תבנית לפרומפט

Question: {input_question}
Facts: {input_context}

פרומפטים לדוגמה

input_question input_context
אילו טכניקות בישול של בשר אדום ובשר חזיר מאפשרות להפיק את הטעם והמרקם הטובים ביותר, תוך צמצום היווצרות של תרכובות לא בריאות? כדי לוודא שהבשר בטוח לאכילה, צריך לבשל בשר אדום ובשר חזיר עד לטמפרטורה פנימית של 63 מעלות צלזיוס. השריית בשר במרינדה עם רכיבים חומציים כמו מיץ לימון או חומץ יכולה לעזור לרכך אותו על ידי פירוק סיבי שריר קשים. שיטות בישול בחום גבוה, כמו צלייה על הגריל וטיגון במחבת, יכולות ליצור השחמה וקרמליזציה טעימות, אבל חשוב להימנע מחריכה, שעלולה ליצור תרכובות מזיקות.
אילו דרכים יצירתיות יש להוסיף טעם וערך תזונתי לשייקים של חלבון בלי להשתמש בתוספי סוכר או ברכיבים מלאכותיים? הוספה של ירקות עליים כמו תרד או קייל היא דרך מצוינת להגדיל את הערך התזונתי של השייק בלי לשנות באופן משמעותי את הטעם. שימוש בחלב שקדים לא ממותק או במי קוקוס במקום חלב רגיל יכול להוסיף מתיקות עדינה וגם שומנים בריאים או אלקטרוליטים, בהתאמה. ידעתם שערבוב יתר של השייק עלול לחמם אותו? כדי לשמור על המיקסר קריר ורענן, מפעילים אותו לפרקי זמן קצרים יותר ומפסיקים אותו מדי פעם אם צריך.

הוראות מערכת שעברו אופטימיזציה

As a highly skilled chef with a passion for healthy cooking, you love sharing your knowledge with
aspiring chefs. Today, a culinary intern approaches you with a question about healthy cooking. Given
the intern's question and some facts, provide a clear, concise, and informative answer that will help
the intern excel in their culinary journey.

איך האופטימיזציה פועלת

הכלי לאופטימיזציה מבוססת-נתונים מקבל את הפרמטרים הבאים:

  • מצב אופטימיזציה: מציין מה צריך לעבור אופטימיזציה. הוא יכול להיות אחת מהאפשרויות הבאות:
    • ‫instruction: אופטימיזציה של הוראות המערכת.
    • ‫demonstration: בחירת פרומפטים לדוגמה להוספה להוראות המערכת כדוגמאות ליצירת פרומפט עם כמה דוגמאות (few-shot).
    • ‫instruction_and_demo: ביצוע שתי הפעולות שלמעלה.
  • מדדי הערכה: המדדים שבהם משתמש הכלי לאופטימיזציה מבוססת-נתונים כדי לבצע אופטימיזציה של הוראות המערכת ו/או לבחור הנחיות לדוגמה.
  • מודל היעד: המודל של Google שעליו מבוסס האופטימיזציה של הוראות המערכת על ידי האופטימיזציה מבוססת-הנתונים, ובחירת ההנחיות לדוגמה.

כשמריצים את הכלי לאופטימיזציה מבוססת-נתונים, הוא מבצע אופטימיזציה של הוראות המערכת על סמך הבחירות שלכם. הוא עושה זאת על ידי הרצת משימת אימון בהתאמה אישית, שבה הוא מעריך באופן איטרטיבי את ההנחיות לדוגמה וכותב מחדש את הוראות המערכת כדי למצוא את הגרסה שמניבה את ציון ההערכה הטוב ביותר למודל היעד.

בסיום העבודה, הכלי לאופטימיזציה מבוססת-נתונים מפיק את הוראות המערכת שעברו אופטימיזציה, עם ציון ההערכה שלהן.

מדדי הערכה

הכלי לאופטימיזציה מבוסס-נתונים משתמש במדדי הערכה כדי לבצע אופטימיזציה של הוראות המערכת ולבחור הנחיות לדוגמה. אתם יכולים להשתמש במדדי ההערכה הרגילים או להגדיר מדדי הערכה מותאמים אישית משלכם. הערה: בכל מדדי ההערכה צריך להיות מאפיין שלפיו ציון גבוה יותר מצביע על ביצועים טובים יותר.

אפשר להשתמש בכמה מדדים בו-זמנית. עם זאת, אפשר להשתמש רק במדד מותאם אישית אחד בכל פעם. אם משתמשים במדדים רגילים ובמדדים מותאמים אישית ביחד, רק אחד מהמדדים יכול להיות מדד מותאם אישית. המדדים האחרים חייבים להיות מדדים רגילים.

כדי ללמוד איך מציינים מדדים אחד בכל פעם או בשילוב, אפשר לעיין בקטע EVALUATION_METRIC_PARAMETERS בכרטיסייה SDK במאמר יצירת תבנית לפרומפט והוראות מערכת.

מדדי הערכה מותאמים אישית

מדדים מותאמים אישית שימושיים כשמדדים רגילים לא מתאימים לאפליקציה שלכם. שימו לב: הכלי לשיפור הביצועים שמבוסס על נתונים תומך רק במדד מותאם אישית אחד בכל פעם.

מידע נוסף על יצירת מדדים מותאמים אישית זמין במאמר יצירת מדדים מותאמים אישית.

מדדי הערכה רגילים

הכלי לאופטימיזציה מבוססת-נתונים תומך במדדי הערכה מותאמים אישית, ובנוסף במדדי ההערכה הבאים:

סוג מדד תרחיש שימוש מדד תיאור
מבוסס על מודל סיכום summarization_quality מתאר את היכולת של המודל לענות על שאלות בהתבסס על גוף טקסט שמשמש כהפניה.
מענה לשאלות question_answering_correctness* מתאר את היכולת של המודל לענות על שאלה בצורה נכונה.
question_answering_quality מתאר את היכולת של המודל לענות על שאלות בהתבסס על גוף טקסט שמשמש כהפניה.
עקביות coherence מתאר את היכולת של המודל לספק תגובה עקבית ומודד את מידת הרצף הלוגי של הטקסט שנוצר ואת ההיגיון שלו.
בטיחות safety תיאור של רמת הבטיחות של המודל, כלומר, האם התשובה מכילה טקסט לא בטוח.
שליטה בשפה fluency תיאור של רמת השליטה של המודל בשפה.
התבססות על מידע groundedness מתאר את היכולת של המודל לספק מידע שכלול רק בטקסט הקלט או להפנות אליו.
Comet comet** מתאר את היכולת של המודל מבחינת איכות התרגום בהשוואה לתרגום הייחוס.
MetricX metricx** מתאר את היכולת של המודל מבחינת איכות התרגום.
מבוסס על חישוב שימוש בכלים והפעלת פונקציות tool_call_valid* מתאר את היכולת של המודל לחזות קריאה תקינה לכלי.
tool_name_match* מתאר את היכולת של המודל לחזות קריאה לכלי עם שם הכלי הנכון. רק הקריאה הראשונה לכלי נבדקת.
tool_parameter_key_match* מתאר את היכולת של המודל לחזות קריאה לכלי עם שמות הפרמטרים הנכונים.
tool_parameter_kv_match* מתאר את היכולת של המודל לחזות קריאה לכלי עם השמות הנכונים של הפרמטרים וערכי המפתח.
יצירת טקסט כללי bleu* המאפיין הזה מכיל את התוצאה של אלגוריתם להערכת איכות התחזית, שתורגמה משפה טבעית אחת לשפה טבעית אחרת. איכות התחזית נמדדת לפי ההתאמה בין פרמטר של תחזית לבין פרמטר ההפניה שלו.
exact_match* הפונקציה מחשבת אם פרמטר של חיזוי תואם בדיוק לפרמטר של הפניה.
rouge_1* הפרמטר הזה משמש להשוואה בין פרמטר החיזוי שצוין לבין פרמטר ייחוס.
rouge_2*
rouge_l*
rouge_l_sum*

* אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות הערכות מבוססות-question_answering_correctness או חישובים, צריך לבצע אחת מהפעולות הבאות:

  • מוסיפים משתנה שמייצג את התשובה האמיתית לבקשות לתבנית לפרומפט.

  • אם אין לכם תשובות מסוג אמת קרקע להנחיות, אבל השתמשתם בהנחיות בעבר עם מודל של Google והשגתם את התוצאות הרצויות, אתם יכולים להוסיף את הפרמטר source_model להגדרה במקום להוסיף תשובות מסוג אמת קרקע. כשמגדירים את הפרמטר source_model, האופטימיזציה מבוססת-הנתונים מריצה את ההנחיות לדוגמה במודל המקור כדי ליצור את התשובות האמיתיות בשבילכם.

    הפרמטר source_model צריך לשמש רק לשדרוג או להעברה של מודל.

** אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות comet או metricx, צריך לספק את הפרמטר translation_source_field_name להגדרה, שמציין את שם השדה המתאים של טקסט המקור בנתונים. בנוסף, הערך של MetricX שונה לטווח שבין 0 (הגרוע ביותר) ל-25 (הטוב ביותר) כדי להתאים למאפיין 'ככל שהערך גבוה יותר, כך טוב יותר'.

לפני שמתחילים

כדי לוודא שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את ההרשאות הנדרשות לאופטימיזציה של הנחיות, צריך לבקש מהאדמין להקצות לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שהאדמין גם יוכל לתת לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את ההרשאות שנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אופטימיזציה של פרומפטים

אפשר לבצע אופטימיזציה להנחיות בדרכים הבאות:

כדי לבצע אופטימיזציה של ההנחיות, בוחרים את השיטה שרוצים להשתמש בה ופועלים לפי השלבים שמפורטים בקטעים הבאים:

  1. יצירת תבנית לפרומפט והוראות מערכת
  2. הכנת הנחיות לדוגמה
  3. אופציונלי: יצירת מדדים מותאמים אישית
  4. יצירת הגדרה
  5. הפעלת משימת אופטימיזציה של הנחיות
  6. ניתוח התוצאות וביצוע שינויים

יצירת תבנית פרומפט והוראות מערכת

תבניות של הנחיות מגדירות את הפורמט של כל ההנחיות באמצעות משתנים שניתן להחליף. כשמשתמשים בתבנית לפרומפט כדי לבצע אופטימיזציה של פרומפטים, המשתנים מוחלפים בנתונים במערך הנתונים של הפרומפט.

המשתנים בתבנית לפרומפט צריכים לעמוד בדרישות הבאות:

  • חובה להוסיף סוגריים מסולסלים למשתנים
  • אסור לכלול רווחים או מקפים בשמות של משתנים -

  • משתנים שמייצגים קלטים מרובי-אופנים צריכים לכלול את המחרוזת MIME_TYPE אחרי המשתנה:

    @@@MIME_TYPE

    מחליפים את MIME_TYPE בסוג MIME של תמונה, סרטון, אודיו או מסמך שנתמך על ידי מודל היעד.

יוצרים תבנית לפרומפט והוראות למערכת באחת מהשיטות הבאות:

Notebook

אם רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים באמצעות המחברת, צריך ליצור הוראות למערכת ותבנית לפרומפט באופן הבא:

  1. ב-Colab Enterprise, פותחים את הנוטבוק של Gemini Enterprise Agent Platform לאופטימיזציה של הנחיות.

    מעבר ל-Gemini Enterprise Agent Platform prompt optimizer notebook

  2. בקטע Create a prompt template and system instructions, מבצעים את הפעולות הבאות:

    1. בשדה SYSTEM_INSTRUCTION, מזינים את הוראות המערכת. לדוגמה:

      Based on the following images and articles respond to the questions.'\n' Be concise,
and answer \"I don't know\" if the response cannot be found in the provided articles or images.

    2. בשדה PROMPT_TEMPLATE, מזינים את תבנית הפרומפט. לדוגמה:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}

    3. אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות הערכות מבוססות-חישוב או question_answering_correctness, צריך לבצע אחת מהפעולות הבאות:

    • מוסיפים את המשתנה {target} לתבנית ההנחיה, כדי לייצג את התשובה האמיתית של ההנחיה. לדוגמה:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}

    • אם אין לכם תשובות מסוג אמת קרקע (ground truth) להנחיות, אבל השתמשתם בהנחיות בעבר עם מודל של Google והשגתם את התוצאות הרצויות, אתם יכולים להוסיף את הפרמטר source_model להגדרה במקום להוסיף תשובות מסוג אמת קרקע. כשמגדירים את הפרמטר source_model, האופטימיזציה מבוססת-הנתונים מריצה את ההנחיות לדוגמה במודל המקור כדי ליצור את התשובות האמיתיות בשבילכם.

SDK

אם רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים דרך ה-SDK בלי להשתמש ב-Notebook, צריך ליצור קובצי טקסט לתבנית לפרומפט ולהוראות המערכת. כדי לעשות את זה:

  1. יוצרים קובץ טקסט להוראות המערכת.

  2. בתיבת הטקסט, מגדירים את ההוראות למערכת. לדוגמה:

    Based on the following images and articles respond to the questions.'\n' Be concise, and answer \"I don't know\" if the response cannot be found in the provided articles or images.

  3. יוצרים קובץ טקסט לתבנית לפרומפט.

  4. בקובץ הטקסט, מגדירים תבנית לפרומפט שכוללת משתנה אחד או יותר. לדוגמה:

    Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}

  5. אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות הערכות מבוססות-חישוב או question_answering_correctness, צריך לבצע אחת מהפעולות הבאות:

    • מוסיפים את המשתנה {target} לתבנית ההנחיה, כדי לייצג את התשובה האמיתית של ההנחיה. לדוגמה:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}

    • אם אין לכם תשובות מסוג אמת קרקע (ground truth) להנחיות, אבל השתמשתם בהנחיות בעבר עם מודל של Google והשגתם את התוצאות הרצויות, אתם יכולים להוסיף את הפרמטר source_model להגדרה במקום להוסיף תשובות מסוג אמת קרקע. כשמגדירים את הפרמטר source_model, האופטימיזציה מבוססת-הנתונים מריצה את ההנחיות לדוגמה במודל המקור כדי ליצור את התשובות האמיתיות בשבילכם.

הכנת פרומפטים לדוגמה

כדי לקבל את התוצאות הטובות ביותר מהכלי לאופטימיזציה מבוססת-נתונים, כדאי להשתמש ב-50 עד 100 הנחיות לדוגמה.

  • הכלי יכול להיות יעיל גם עם 5 הנחיות לדוגמה בלבד.
  • הדוגמאות הטובות ביותר כוללות מקרים שבהם מודל היעד מתפקד בצורה גרועה ומקרים שבהם הוא מתפקד בצורה טובה.

ההנחיות לדוגמה מכילות את הנתונים שמחליפים את המשתנים בתבנית ההנחיה. אפשר להשתמש בקובץ JSONL או CSV כדי לאחסן את ההנחיות לדוגמה.

קובץ JSONL

  1. יוצרים קובץ JSONL.

  2. בקובץ JSONL, מוסיפים את נתוני ההנחיות שמחליפים כל משתנה. לדוגמה:

    {"article_1": "The marine life …", "image_1": "gs://path_to_image", "Question": "What are some most effective ways to reduce ocean pollution?", "target": "The articles and images don't answer this question."}

{"article_1": "During the year …", "image_1": "gs://path_to_image", "Question": "Who was the president in 2023?", "target": "Joe Biden"}

  3. מעלים את קובץ ה-JSONL לקטגוריה של Cloud Storage.

קובץ CSV

  1. יוצרים קובץ CSV.
  2. בשורה הראשונה, מוסיפים את המשתנים מתבנית הפרומפט.
  3. בשורות הבאות, מוסיפים את הנתונים לדוגמה שמחליפים כל משתנה.
  4. מעלים את קובץ ה-CSV לקטגוריה של Cloud Storage.

אופציונלי: יצירת מדדים מותאמים אישית

כדי ליצור מדד מותאם אישית:

  1. יוצרים קובץ טקסט בשם requirements.txt.

  2. ב-requirements.txt, מגדירים את הספריות הנדרשות לפונקציית המדד המותאם אישית להערכה. כל הפונקציות דורשות את חבילת functions-framework.

    לדוגמה, קובץ requirements.txt של מדד מותאם אישית שמחשב את ROUGE-L ייראה בערך כך:

    functions-framework==3.*
rouge-score

  3. יוצרים קובץ Python בשם main.py.

  4. כותבים את פונקציית ההערכה המותאמת אישית בקובץ main.py. הפונקציה צריכה לקבל את הפרמטרים הבאים:

    • בקשות HTTP POST
    • קלט JSON שמכיל את response, שהוא הפלט של ה-LLM, ואת reference, שהיא התשובה הנכונה להנחיה אם היא סופקה בקבוצת הנתונים של ההנחיות.

    לדוגמה, קובץ main.py של מדד מותאם אישית שמחשב את ROUGE-L ייראה בערך כך:

    from typing import Any
import json
import functions_framework
from rouge_score import rouge_scorer

# Register an HTTP function with the Functions Framework
@functions_framework.http
def main(request):
   request_json = request.get_json(silent=True)
   if not request_json:
       raise ValueError('Can not find request json.')

   """Extract 'response' and 'reference' from the request payload. 'response'
   represents the model's response, while 'reference' represents the ground
   truth response."""
   response = request_json['response']
   reference = request_json['reference']

   # Compute ROUGE-L F-measure
   scorer = rouge_scorer.RougeScorer(['rougeL'], use_stemmer=True)
   scores = scorer.score(reference, response)
   final_score = scores['rougeL'].fmeasure

   # Return the custom score in the response
   return json.dumps({
       # The following key is the CUSTOM_METRIC_NAME that you pass to the job
       'custom_accuracy': final_score,
       # The following key is optional
       'explanation': 'ROUGE_L F-measure between reference and response',
   })

  5. כדי לפרוס את פונקציית ההערכה המותאמת אישית כפונקציית Cloud Run, מריצים את הפקודה gcloud functions deploy:

    gcloud functions deploy FUNCTION_NAME \
   --project PROJECT_ID \
   --gen2 \
   --memory=2Gb \
   --concurrency=6 \
   --min-instances 6 \
   --region=REGION \
   --runtime="python310" \
   --source="." \
   --entry-point main \
   --trigger-http \
   --timeout=3600 \
   --quiet

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫FUNCTION_NAME: השם של מדד ההערכה המותאם אישית.
    • PROJECT_ID: מזהה הפרויקט.
    • ‫REGION: האזור שבו רוצים לפרוס את הפונקציה. האזור צריך להיות זהה לאזור שבו משתמשים במודל היעד.

יצירת הגדרה

ההגדרה של האופטימיזציה מבוססת-הנתונים מציינת את הפרמטרים שרוצים להגדיר למשימת האופטימיזציה של ההנחיות.

שימו לב: למודלים של Gemma אין ממשקי API מנוהלים ב-Gemini Enterprise Agent Platform. כדי להשתמש במודל Gemma, צריך קודם לפרוס אותו ב-Gemini Enterprise Agent Platform או במחשב המקומי. מידע נוסף על פריסה ב-Gemini Enterprise Agent Platform זמין במאמר בנושא שימוש במודלים פתוחים של Gemma. מידע נוסף על פריסה במחשב המקומי זמין במאמר בנושא הרצת Gemma עם Ollama.

יוצרים הגדרה באחת מהדרכים הבאות:

Notebook

אם רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים דרך המחברת, צריך ליצור הגדרה באופן הבא:

  1. ב-Colab Enterprise, פותחים את מחברת האופטימיזציה מבוססת הנתונים.

    מעבר ל-Gemini Enterprise Agent Platform prompt optimizer notebook

  2. בקטע Configure project settings (הגדרת הגדרות הפרויקט), מבצעים את הפעולות הבאות:

    1. בשדה PROJECT_ID, מזינים את מזהה הפרויקט.
    2. בשדה LOCATION, מזינים את המיקום שבו רוצים להפעיל את הכלי לאופטימיזציה מבוססת-נתונים.
    3. בשדה OUTPUT_PATH, מזינים את ה-URI של דלי Cloud Storage שבו רוצים שהכלי לאופטימיזציה מבוססת-נתונים יכתוב את הוראות המערכת שעברו אופטימיזציה או את הדוגמאות המעטות. לדוגמה, gs://bucket-name/output-path.
    4. בשדה INPUT_PATH, מזינים את ה-URI של ההנחיות לדוגמה בקטגוריה של Cloud Storage. לדוגמה, gs://bucket-name/sample-prompts.jsonl.

  3. בקטע Configure optimization settings (הגדרת הגדרות האופטימיזציה), מבצעים את הפעולות הבאות:

    1. בשדה TARGET_MODEL, מזינים את המודל שעבורו רוצים לבצע אופטימיזציה של ההנחיות.
    2. בשדה THINKING_BUDGET, מזינים את תקציב החשיבה של מודל היעד שרוצים לבצע אופטימיזציה של ההנחיות שלו. ברירת המחדל היא ‎-1, כלומר לא מתבצעת חשיבה במודלים שאינם מודלים של חשיבה, ומתבצעת חשיבה אוטומטית במודלים של חשיבה כמו Gemini-2.5. מידע נוסף על הגדרות תקציב ידניות
    3. ב-OPTIMIZATION_MODE, מזינים את מצב האופטימיזציה שרוצים להשתמש בו. הערך חייב להיות אחד מהערכים הבאים:
      • ‫instruction: אופטימיזציה של הוראות המערכת.
      • ‫demonstration: בוחר פרומפטים לדוגמה להוספה להוראות המערכת כפרומפט עם כמה דוגמאות (few-shot).
      • ‫instruction_and_demo: ביצוע שתי הפעולות שלמעלה.
    4. בשדה EVAL_METRIC, מזינים מדד הערכה שרוצים לבצע אופטימיזציה של ההנחיות עבורו.
    5. אופציונלי: בשדה SOURCE_MODEL, מזינים את המודל של Google שהמערכת השתמשה בו בעבר להוראות ולהנחיות. כשמגדירים את הפרמטר source_model, האופטימיזציה מבוססת-הנתונים מריצה את ההנחיות לדוגמה במודל המקור כדי ליצור את התשובות האמיתיות בשבילכם, למדדי הערכה שדורשים תשובות אמיתיות. אם לא הפעלתם בעבר את ההנחיות שלכם עם מודל של Google או שלא השגתם את תוצאות היעד, תוכלו להוסיף להנחיה תשובות של מקורות מהימנים. מידע נוסף זמין בקטע יצירת הנחיה והוראות למערכת במסמך הזה.

  4. אופציונלי: בקטע הגדרת הגדרות מתקדמות של אופטימיזציה, אפשר להוסיף פרמטרים אופציונליים להגדרה.

    5. הצגת פרמטרים אופציונליים
    • בשדה NUM_INST_OPTIMIZATION_STEPS, מזינים את מספר האיטרציות שבהן משתמש הכלי לאופטימיזציה מבוססת-נתונים במצב אופטימיזציה של הוראות. זמן הריצה גדל באופן לינארי ככל שהערך הזה גדל. חייב להיות מספר שלם בין 10 לבין 20. אם לא מגדירים ערך, ברירת המחדל היא 10.
    • בשדה NUM_DEMO_OPTIMIZATION_STEPS, מזינים את מספר ההדגמות שהכלי לאופטימיזציה מבוססת-נתונים מעריך. נעשה שימוש במצב האופטימיזציה demonstration וinstruction_and_demo. חייב להיות מספר שלם בין 10 לבין 30. אם לא מגדירים את המדיניות, ברירת המחדל היא 10.
    • בשדה NUM_DEMO_PER_PROMPT, מזינים את מספר ההדגמות שנוצרות לכל הנחיה. הערך צריך להיות מספר שלם בין 2 לבין מספר ההנחיות הכולל לדוגמה פחות 1. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.
    • בשדה TARGET_MODEL_QPS, מזינים את מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוססת-נתונים שולח למודל היעד. זמן הריצה יורד באופן לינארי ככל שמגדילים את הערך הזה. הערך חייב להיות מספר נקודה צפה (float) שגדול מ-3.0 או שווה לו, אבל קטן מהמכסה של QPS שיש לכם במודל היעד. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
    • בשדה SOURCE_MODEL_QPS, מזינים את מספר השאילתות לשנייה (QPS) שהכלי האוטומטי לאופטימיזציה מבוססת-נתונים שולח למודל המקור. הערך חייב להיות מספר עשרוני שגדול מ-3.0 או שווה לו, אבל קטן ממכסת השאילתות לשנייה (QPS) שמוגדרת במודל המקור. אם לא מגדירים את הערך, ברירת המחדל היא 3.0.
    • בשדה EVAL_QPS, מזינים את מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוסס-הנתונים שולח לשירות ההערכה של AI גנרטיבי או לפונקציית Cloud Run.
      • במקרה של מדדים שמבוססים על מודלים, הערך חייב להיות מספר נקודה צפה שהוא 3.0 או גדול יותר. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
      • במקרה של מדדים מותאמים אישית, הערך חייב להיות מספר נקודה צפה שגדול מ-3.0 או שווה לו. הערך הזה קובע את הקצב שבו הכלי לשיפור הביצועים שמבוסס על נתונים קורא לפונקציות Cloud Run של המדד המותאם אישית.
    • אם רוצים להשתמש ביותר ממדד הערכה אחד, מבצעים את הפעולות הבאות:
      1. בשדה EVAL_METRIC_1, מזינים מדד הערכה שרוצים להשתמש בו.
      2. בשדה EVAL_METRIC_1_WEIGHT, מזינים את המשקל שרוצים שמערכת האופטימיזציה מבוססת-הנתונים תשתמש בו כשהיא תפעיל את האופטימיזציה.
      3. בשדה EVAL_METRIC_2, מזינים מדד הערכה שרוצים להשתמש בו.
      4. בשדה EVAL_METRIC_2_WEIGHT (משקל מדד ההערכה השני), מזינים את המשקל שרוצים שמנגנון האופטימיזציה מבוסס הנתונים ישתמש בו כשהוא יפעיל את האופטימיזציה.
      5. בשדה EVAL_METRIC_3, אפשר להזין מדד הערכה שרוצים להשתמש בו.
      6. בשדה EVAL_METRIC_3_WEIGHT, אפשר להזין את המשקל שרוצים שמנגנון האופטימיזציה מבוסס-הנתונים ישתמש בו כשהוא יפעיל את האופטימיזציה.
      7. בשדה METRIC_AGGREGATION_TYPE, מזינים את המשקל שבו רוצים שהכלי לאופטימיזציה מבוססת-נתונים ישתמש כשהוא יפעיל את האופטימיזציה.
    • בשדה PLACEHOLDER_TO_VALUE, מזינים את המידע שמחליף את המשתנים בהוראות המערכת. המידע שכלול בתג הזה לא עובר אופטימיזציה על ידי הכלי לאופטימיזציה מבוססת-נתונים.
    • בשדה RESPONSE_MIME_TYPE, מזינים את סוג התגובה של MIME שבו משתמש מודל היעד. הערך חייב להיות text/plain או application/json. אם לא מגדירים את המדיניות, ברירת המחדל היא text/plain.
    • בשדה TARGET_LANGUAGE, מזינים את השפה של הוראות המערכת. אם לא מגדירים שפה, ברירת המחדל היא אנגלית.

SDK

אם רוצים להריץ את הכלי לשיפור הנחיות מבוסס-נתונים באמצעות ה-SDK, צריך ליצור קובץ JSON עם הפרמטרים שרוצים להשתמש בהם כדי לשפר את ההנחיות. לשם כך:

  1. יוצרים קובץ JSON עם הפרמטרים שרוצים להשתמש בהם כדי לבצע אופטימיזציה של ההנחיות. כל קובץ תצורה צריך לכלול את הפרמטרים הבאים. ההגדרה משתנה מעט בין vertexai.types.PromptOptimizerMethod.OPTIMIZATION_TARGET_GEMINI_NANO לבין vertexai.types.PromptOptimizerMethod.VAPO.

    VAPO

    {
"project": "PROJECT_ID",
"system_instruction": "SYSTEM_INSTRUCTION",
"prompt_template": "PROMPT_TEMPLATE",
"target_model": "TARGET_MODEL",
"thinking_budget": "THINKING_BUDGET",
EVALUATION_METRIC_PARAMETERS,
"optimization_mode": "OPTIMIZATION_MODE",
"input_data_path": "SAMPLE_PROMPT_URI",
"output_path": "OUTPUT_URI"
}

    GEMINI_NANO

    {
"project": "PROJECT_ID",
"system_instruction": "SYSTEM_INSTRUCTION",
"prompt_template": "PROMPT_TEMPLATE",
"target_model": "TARGET_MODEL",
"target_model_endpoint_url": "BASE_URL",
EVALUATION_METRIC_PARAMETERS,
"optimization_mode": "OPTIMIZATION_MODE",
"input_data_path": "SAMPLE_PROMPT_URI",
"output_path": "OUTPUT_URI"
}

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID: מזהה הפרויקט.
    • ‫SYSTEM_INSTRUCTION: ההוראות למערכת שרוצים לבצע אופטימיזציה שלהן.
    • ‫PROMPT_TEMPLATE: תבנית הפרומפט.
    • ‫TARGET_MODEL: המודל שעבורו רוצים לבצע אופטימיזציה של ההנחיות. לדוגמה, gemma-3n-e4b-it.
    • ‫BASE_URL: כתובת ה-URL הבסיסית של המודל שנפרס באופן מקומי. לדוגמה, http://localhost:8000/v1. נדרש להגדרת OPTIMIZATION_TARGET_GEMINI_NANO. אם אתם לא משתמשים במודל שפרוס באופן מקומי, צריך להסיר את השדה target_model_endpoint_url מההגדרות.
    • ‫THINKING_BUDGET: תקציב החשיבה של מודל היעד שרוצים לבצע אופטימיזציה של ההנחיות שלו. ברירת המחדל היא ‎-1, כלומר לא מתבצעת חשיבה במודלים שאינם מודלים מעמיקים, וחשיבה אוטומטית במודלים מעמיקים כמו Gemini-2.5. מידע על הגדרות תקציב ידניות זמין במאמר שיקולים. שימו לב שדגמים מסוימים, כמו דגמי Gemma, לא תומכים ב-thinking_budget.

    • ‫EVALUATION_METRIC_PARAMETERS: הפרמטרים שאתם מציינים תלויים במספר מדדי ההערכה שבהם אתם משתמשים, ובשאלה אם המדדים הם סטנדרטיים או מותאמים אישית:

      מדד רגיל יחיד

      אם אתם משתמשים במדד הערכה סטנדרטי אחד, אתם יכולים להשתמש בפרמטר הבא:

       "eval_metric": "EVALUATION_METRIC",

      מחליפים את EVALUATION_METRIC במדד שרוצים לבצע אופטימיזציה של ההנחיות לפי.

      מדד מותאם אישית יחיד

      אם אתם משתמשים במדד מותאם אישית אחד להערכה, צריך להשתמש בפרמטרים הבאים:

      "eval_metric": "custom_metric",
"custom_metric_name": "CUSTOM_METRIC_NAME",
"custom_metric_cloud_function_name": "FUNCTION_NAME",

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫CUSTOM_METRIC_NAME: שם המדד, כפי שמוגדר על ידי המפתח שמתאים ל-final_score. לדוגמה: custom_accuracy.
      • ‫FUNCTION_NAME: השם של פונקציית Cloud Run שפרסתם קודם.

      מספר מדדים רגילים

      אם אתם משתמשים בכמה מדדי הערכה סטנדרטיים, אתם צריכים להשתמש בפרמטרים הבאים:

      "eval_metrics_types": [EVALUATION_METRIC_LIST],
"eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
"aggregation_type": "METRIC_AGGREGATION_TYPE",

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫EVALUATION_METRIC_LIST: רשימה של מדדי הערכה. חייב להיות מערך. לדוגמה, "bleu", "summarization_quality".
      • ‫EVAL_METRICS_WEIGHTS: המשקל של כל מדד. הערך חייב להיות מערך באורך זהה ל-EVALUATION_METRIC_LIST.
      • ‫METRIC_AGGREGATION_TYPE: סוג הצבירה שמשמש למדדי ההערכה. הערך חייב להיות weighted_sum או weighted_average. אם לא מגדירים את הערך, ברירת המחדל היא weighted_sum.

      מדדים רגילים ומותאמים אישית

      אם אתם משתמשים בכמה מדדי הערכה שכוללים שילוב של מדד מותאם אישית יחיד ומדד רגיל אחד או יותר, אתם צריכים להשתמש בפרמטרים הבאים:

      "eval_metrics_types": ["custom_metric", EVALUATION_METRIC_LIST],
"eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
"aggregation_type": "METRIC_AGGREGATION_TYPE",
"custom_metric_name": "CUSTOM_METRIC_NAME",
"custom_metric_cloud_function_name": "FUNCTION_NAME",

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫EVALUATION_METRIC_LIST: רשימה של מדדי ההערכה הרגילים. חייב להיות מערך. לדוגמה, "bleu", "summarization_quality".
      • ‫EVAL_METRICS_WEIGHTS: המשקל של כל מדד. חייב להיות מערך.
      • ‫METRIC_AGGREGATION_TYPE: סוג הצבירה שמשמש למדדי ההערכה. הערך חייב להיות weighted_sum או weighted_average. אם לא מגדירים את הערך, ברירת המחדל היא weighted_sum.
      • ‫CUSTOM_METRIC_NAME: שם המדד, כפי שמוגדר על ידי המפתח שמתאים ל-final_score. לדוגמה, custom_accuracy.
      • ‫FUNCTION_NAME: השם של פונקציית Cloud Run שפרסתם קודם.

    • ‫OPTIMIZATION_MODE: מצב האופטימיזציה. הערך חייב להיות אחד מהערכים הבאים:

      • ‫instruction: אופטימיזציה של הוראות המערכת.
      • ‫demonstration: בוחר פרומפטים לדוגמה להוספה להוראות המערכת כפרומפט עם כמה דוגמאות (few-shot).
      • ‫instruction_and_demo: ביצוע שתי הפעולות שלמעלה.

    • ‫SAMPLE_PROMPT_URI: ה-URI של הפרומפטים לדוגמה בקטגוריה של Cloud Storage. לדוגמה, gs://bucket-name/sample-prompts.jsonl.

    • ‫OUTPUT_URI: ה-URI של קטגוריית Cloud Storage שבה רוצים שמייעל ההוראות מבוסס-הנתונים יכתוב את ההוראות המערכתיות המותאמות ו/או את הדוגמאות המועטות. לדוגמה, gs://bucket-name/output-path.

  2. בנוסף, אפשר להוסיף לקובץ ההגדרות כל אחד מהפרמטרים האופציונליים.

    הפרמטרים האופציונליים מחולקים ל-5 קטגוריות:

    • פרמטרים של תהליך האופטימיזציה. הפרמטרים האלה שולטים בתהליך האופטימיזציה הכולל, כולל משך הזמן שלו ומספר חזרות האופטימיזציה שהוא מבצע, וזה משפיע ישירות על איכות האופטימיזציות.
    • בחירת מודל ופרמטרים של מיקום. הפרמטרים האלה מציינים באילו מודלים משתמש הכלי לאופטימיזציה מבוססת-נתונים, ובאילו מיקומים הוא משתמש במודלים האלה.
    • פרמטרים של זמן אחזור (QPS). הפרמטרים האלה שולטים ב-QPS, ומשפיעים על מהירות תהליך האופטימיזציה.
    • אחר פרמטרים אחרים ששולטים במבנה ובתכנים של ההנחיות.

      הצגת פרמטרים אופציונליים
      "num_steps": NUM_INST_OPTIMIZATION_STEPS,
"num_demo_set_candidates": "NUM_DEMO_OPTIMIZATION_STEPS,
"demo_set_size": NUM_DEMO_PER_PROMPT,
"target_model_location": "TARGET_MODEL_LOCATION",
"source_model": "SOURCE_MODEL",
"source_model_location": "SOURCE_MODEL_LOCATION",
"target_model_qps": TARGET_MODEL_QPS,
"eval_qps": EVAL_QPS,
"source_model_qps": SOURCE_MODEL_QPS,
"response_mime_type": "RESPONSE_MIME_TYPE",
"language": "TARGET_LANGUAGE",
"placeholder_to_content": "PLACEHOLDER_TO_CONTENT",
"data_limit": DATA_LIMIT

      מחליפים את מה שכתוב בשדות הבאים:

      • פרמטרים של תהליך האופטימיזציה:

        • ‫NUM_INST_OPTIMIZATION_STEPS: מספר האיטרציות שבהן הכלי לאופטימיזציה מבוססת-נתונים משתמש במצב אופטימיזציה של הוראות. זמן הריצה גדל באופן לינארי ככל שהערך הזה גדל. חייב להיות מספר שלם בין 10 לבין 20. אם לא מגדירים את המדיניות, ברירת המחדל היא 10.
        • ‫NUM_DEMO_OPTIMIZATION_STEPS: מספר ההדגמות שהכלי לשיפור הביצועים מבוסס-הנתונים מעריך. בשימוש עם מצב האופטימיזציה demonstration ו-instruction_and_demo. הערך צריך להיות מספר שלם בין 2 לבין המספר הכולל של ההנחיות לדוגמה פחות 1. אם לא מגדירים ערך, ברירת המחדל היא 10.
        • ‫NUM_DEMO_PER_PROMPT: מספר ההדגמות שנוצרו לכל הנחיה. חייב להיות מספר שלם בין 3 לבין 6. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.

      • בחירת מודל ופרמטרים של מיקום:

        • ‫TARGET_MODEL_LOCATION: המיקום שבו רוצים להריץ את מודל היעד. אם לא מגדירים את המדיניות, ברירת המחדל היא us-central1.
        • ‫SOURCE_MODEL: המודל של Google שהיה בשימוש קודם בהנחיות ובשורות ההנחיה של המערכת. כשמגדירים את הפרמטר source_model, האופטימיזציה מבוססת-הנתונים מריצה את ההנחיות לדוגמה במודל המקור כדי ליצור את התשובות האמיתיות בשבילכם, למדדי הערכה שדורשים תשובות אמיתיות. אם לא הפעלתם בעבר את ההנחיות שלכם עם מודל של Google או שלא השגתם את תוצאות היעד, אתם יכולים להוסיף להנחיה תשובות של מקורות מהימנים. מידע נוסף זמין בקטע יצירת הנחיה והוראות למערכת במסמך הזה.
        • ‫SOURCE_MODEL_LOCATION: המיקום שבו רוצים להריץ את מודל המקור. אם לא מגדירים את המדיניות, ברירת המחדל היא us-central1.

      • פרמטרים של זמן אחזור (QPS):

        • ‫TARGET_MODEL_QPS: מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוססת-נתונים שולח למודל היעד. זמן הריצה יורד באופן לינארי ככל שמגדילים את הערך הזה. הערך חייב להיות מספר עשרוני שגדול מ-3.0 או שווה לו, אבל קטן ממכסת השאילתות לשנייה שמוגדרת למודל היעד. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
        • ‫EVAL_QPS: מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוססת-הנתונים שולח לשירות ההערכה של AI גנרטיבי או לפונקציית Cloud Run.
          • במקרה של מדדים שמבוססים על מודלים, הערך חייב להיות מספר נקודה צפה שהוא 3.0 או גדול יותר. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
          • במקרה של מדדים מותאמים אישית, הערך חייב להיות מספר נקודה צפה שגדול מ-3.0 או שווה לו. הערך הזה קובע את הקצב שבו הכלי לשיפור הביצועים שמבוסס על נתונים קורא לפונקציות Cloud Run של המדד המותאם אישית.
        • ‫SOURCE_MODEL_QPS: מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוססת-נתונים שולח למודל המקור. הערך חייב להיות מספר עשרוני שגדול מ-3.0 או שווה לו, אבל קטן ממכסת השאילתות לשנייה (QPS) שמוגדרת במודל המקור. אם לא מגדירים את הערך, ברירת המחדל היא 3.0.

      • פרמטרים אחרים:

        • ‫RESPONSE_MIME_TYPE: סוג ה-MIME של התגובה שמשמש את מודל היעד. הערך חייב להיות text/plain או application/json. אם לא מגדירים את המדיניות, ברירת המחדל היא text/plain.
        • ‫TARGET_LANGUAGE: השפה של ההוראות במערכת. אם לא מגדירים שפה, ברירת המחדל היא אנגלית.
        • ‫PLACEHOLDER_TO_CONTENT: המידע שמחליף את המשתנים בהוראות המערכת. המידע שכלול בדגל הזה לא עובר אופטימיזציה על ידי הכלי לאופטימיזציה של הנחיות מבוססות-נתונים.
        • ‫DATA_LIMIT: כמות הנתונים שמשמשת לאימות. זמן הריצה גדל באופן לינארי בהתאם לערך הזה. חייב להיות מספר שלם בין 5 לבין 100. אם לא מגדירים את המדיניות, ברירת המחדל היא 100.

  3. מעלים את קובץ ה-JSON לקטגוריה של Cloud Storage.

הפעלת הכלי לשיפור הפרומפט

מריצים את הכלי לאופטימיזציה מבוססת-נתונים באמצעות אחת מהאפשרויות הבאות:

Notebook

כדי להריץ את הכלי לאופטימיזציה מבוססת-נתונים דרך המחברת:

  1. ב-Colab Enterprise, פותחים את הנוטבוק של Gemini Enterprise Agent Platform לאופטימיזציה של הנחיות.

    מעבר ל-Notebook של הכלי לאופטימיזציה מבוססת-נתונים

  2. בקטע Run prompt optimizer (הפעלת הכלי לאופטימיזציה של הנחיות), לוחצים על play_circle Run cell (הפעלת התא).

    כלי האופטימיזציה מבוסס-הנתונים פועל.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫LOCATION: המיקום שבו רוצים להריץ את הכלי לאופטימיזציה של הנחיות ב-Gemini Enterprise Agent Platform.
  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫JOB_NAME: שם למשימה של אופטימיזציית ההנחיות ב-Gemini Enterprise Agent Platform.
  • ‫PATH_TO_CONFIG: ה-URI של קובץ התצורה בקטגוריה של Cloud Storage. לדוגמה, gs://bucket-name/configuration.json.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

גוף בקשת JSON: 

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": 1,
        "containerSpec": {
          "imageUri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0",
          "args": ["--config=PATH_TO_CONFIG""]
        }
      }
    ]
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

התגובה אמורה להיראות כך:

SDK

מריצים את הכלי לאופטימיזציה מבוססת-נתונים דרך ה-SDK, על ידי הוספת קטעי הקוד הבאים ל-Colab או ל-Notebook.

מחליפים את הפרטים הבאים:

  • ‫LOCATION: המיקום שבו רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים.
  • PROJECT_ID: מזהה הפרויקט.
  • ‫PROJECT_NUMBER: מספר הפרויקט, שזמין במסוף Google Cloud .
  • ‫PATH_TO_CONFIG: ה-URI של קובץ ההגדרות ב-Cloud Storage. לדוגמה, gs://bucket-name/configuration.json.
# Authenticate
from google.colab import auth
auth.authenticate_user(project_id=PROJECT_ID)

# Set the Service Account
SERVICE_ACCOUNT = f"{PROJECT_NUMBER}-compute@developer.gserviceaccount.com"

# Import Agent Platform SDK and Setup
import vertexai
vertexai.init(project=PROJECT_ID, location=LOCATION)

#Create the Agent Platform Client
client = vertexai.Client(project=PROJECT_ID, location=LOCATION)

# Setup the job dictionary
vapo_config = {
  'config_path': PATH_TO_CONFIG,
  'service_account': SERVICE_ACCOUNT,
  'wait_for_completion': True,
}

#Start the Agent Platform Prompt Optimizer
client = client.prompt_optimizer.optimize(method=vertexai.types.PromptOptimizerMethod.VAPO, config=vapo_config)

כדי להשתמש במודל Gemma כמודל היעד, מבצעים את השינויים הבאים:

nano_config = vertexai.types.PromptOptimizerConfig(
    config_path="gs://sample-bucket/config_nano.json",
    project_number=project_number,
    wait_for_completion=True
    )
# Simpler version
# nano_config = {
#     "config_path": "gs://sample-bucket/config_nano.json",
#     "service_account": service_account,
#     "wait_for_completion": True
#     }
logging.basicConfig(encoding='utf-8', level=logging.INFO, force=True)

client.prompt_optimizer.optimize(
    method=vertexai.types.PromptOptimizerMethod.OPTIMIZATION_TARGET_GEMINI_NANO,
    config=nano_config
)

אחרי שהאופטימיזציה תסתיים, בודקים את תוצרי הפלט במיקום הפלט שצוין בהגדרות.

ניתוח התוצאות וביצוע איטרציות

אחרי שמריצים את הכלי לשיפור הביצועים שמבוסס על נתונים, בודקים את התקדמות התהליך באחת מהדרכים הבאות:

Notebook

כדי לראות את התוצאות של הכלי לאופטימיזציה מבוססת-נתונים דרך המחברת:

  1. פותחים את הנוטבוק של Gemini Enterprise Agent Platform לשיפור פרומפטים.

  2. בקטע Inspect the results (בדיקת התוצאות), מבצעים את הפעולות הבאות:

    1. בשדה RESULT_PATH, מוסיפים את ה-URI של קטגוריית Cloud Storage שהגדרתם את הכלי לשיפור ביצועים מבוסס-נתונים כך שיכתוב אליה את התוצאות. לדוגמה, gs://bucket-name/output-path.

    2. לוחצים על play_circle הרצת התא.

המסוף

  1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Training pipelines.

    מעבר אל Training pipelines

  2. לוחצים על הכרטיסייה Custom jobs (משימות בהתאמה אישית). משימת האימון בהתאמה אישית של הכלי לאופטימיזציה מבוססת-נתונים מופיעה ברשימה עם הסטטוס שלה.

כשהעבודה מסתיימת, בודקים את האופטימיזציות באופן הבא:

  1. במסוף Google Cloud , נכנסים לדף Buckets של Cloud Storage:

    כניסה לדף Buckets

  2. לוחצים על השם של הקטגוריה ב-Cloud Storage.

  3. עוברים לתיקייה עם אותו שם של מצב האופטימיזציה שבו השתמשתם כדי להעריך את ההנחיות, כלומר instruction או demonstration. אם השתמשתם במצב instruction_and_demo, שתי התיקיות יופיעו. התיקייה instruction מכילה את התוצאות של האופטימיזציה של הוראות המערכת, והתיקייה demonstration מכילה את התוצאות של האופטימיזציה של demonstration ואת הוראות המערכת שעברו אופטימיזציה.

    התיקייה מכילה את הקבצים הבאים:

    • ‫config.json: ההגדרה המלאה שבה נעשה שימוש באופטימיזציה של הנחיות ב-Gemini Enterprise Agent Platform.
    • ‫templates.json: כל קבוצה של הוראות מערכת או דוגמאות עם הקשר מועט שהכלי לשיפור הביצועים מבוסס-הנתונים יצר, וציון ההערכה שלהן.
    • ‫eval_results.json: התשובה של מודל היעד לכל הנחיה לדוגמה לכל קבוצה של הוראות מערכת שנוצרו או דוגמאות עם מעט נתונים וציון ההערכה שלהן.
    • ‫optimized_results.json: ההוראות הטובות ביותר למערכת ו/או דוגמאות עם מעט נתונים וציון ההערכה שלהן.

  4. כדי לראות את ההוראות המערכתיות שעברו אופטימיזציה, אפשר לעיין בקובץ optimized_results.json.

שיטות מומלצות

  • מודלים בתצוגה מקדימה נתמכים רק באזור global, והאזור global לא נתמך על ידי Vertex Custom Job. לכן, אל תשתמשו ב-VAPO כדי לבצע אופטימיזציה של מודלים לתצוגה מקדימה כמודל היעד.

  • במודלים של GA, המשתמשים יכולים לבחור מיקומים ספציפיים לאזור, כמו us-central1 או europe-central2 במקום global, כדי לעמוד בדרישה של מיקום אחסון הנתונים.

המאמרים הבאים