כלי אופטימיזציה של הנחיות שמבוסס על נתונים

במאמר הזה מוסבר איך להשתמש בכלי האופטימיזציה מבוסס-הנתונים כדי לשפר באופן אוטומטי את הביצועים של הנחיות על ידי שיפור ההוראות למערכת עבור קבוצה של הנחיות.

הכלי לאופטימיזציה מבוססת-נתונים יכול לעזור לכם לשפר את ההנחיות במהירות ובקנה מידה גדול, בלי שתצטרכו לשכתב באופן ידני את הוראות המערכת או הנחיות ספציפיות. האפשרות הזו שימושית במיוחד כשרוצים להשתמש בהנחיות מערכת ובהנחיות שנכתבו למודל אחד עם מודל אחר.

דוגמה לאופטימיזציה של הנחיה

לדוגמה, כדי לבצע אופטימיזציה של הוראות המערכת עבור קבוצה של הנחיות שמפנות למידע הקשרי כדי לענות על שאלות בנושא בישול, אפשר להשתמש בכלי האופטימיזציה מבוסס-הנתונים. כדי להשלים את המשימה הזו, צריך להכין את נתוני הקלט באופן הבא:

הוראות מערכת

You are a professional chef. Your goal is teaching how to cook healthy cooking recipes to your apprentice.

Given a question from your apprentice and some context, provide the correct answer to the question.
Use the context to return a single and correct answer with some explanation.

תבנית הנחיה

Question: {input_question}
Facts: {input_context}

הנחיות לדוגמה

input_question input_context
אילו טכניקות בישול של בשר אדום ובשר חזיר מאפשרות להפיק את הטעם והמרקם הטובים ביותר, תוך צמצום היווצרות של תרכובות לא בריאות? כדי להבטיח את בטיחות המזון, צריך לבשל בשר אדום ובשר חזיר עד לטמפרטורה פנימית של 63 מעלות צלזיוס. השריית בשר במרינדה עם רכיבים חומציים כמו מיץ לימון או חומץ יכולה לעזור לרכך אותו על ידי פירוק סיבי שריר קשים. שיטות בישול בחום גבוה, כמו צלייה וטיגון במחבת, יכולות ליצור השחמה וקרמליזציה טעימות, אבל חשוב להימנע מחריכה, שעלולה ליצור תרכובות מזיקות.
אילו דרכים יצירתיות יש להוסיף טעם וערך תזונתי לשייקים של חלבון בלי להשתמש בתוספי סוכר או ברכיבים מלאכותיים? הוספה של ירקות עליים כמו תרד או קייל היא דרך מצוינת להגדיל את הערך התזונתי של השייק בלי לשנות באופן משמעותי את הטעם. שימוש בחלב שקדים לא ממותק או במי קוקוס במקום חלב רגיל יכול להוסיף מתיקות עדינה וגם שומנים בריאים או אלקטרוליטים, בהתאמה. ידעתם שערבוב יתר של השייק עלול לחמם אותו? כדי לשמור על המיקסר קריר ורענן, מפעילים אותו לפרקי זמן קצרים יותר ומפסיקים אותו מדי פעם לפי הצורך.

הוראות מערכת אופטימליות

As a highly skilled chef with a passion for healthy cooking, you love sharing your knowledge with
aspiring chefs. Today, a culinary intern approaches you with a question about healthy cooking. Given
the intern's question and some facts, provide a clear, concise, and informative answer that will help
the intern excel in their culinary journey.

איך האופטימיזציה פועלת

הכלי לביצוע אופטימיזציה מבוסס-נתונים מקבל את הפרמטרים הבאים:

  • מצב אופטימיזציה: מציין מה צריך לעבור אופטימיזציה. הוא יכול להיות אחת מהאפשרויות הבאות:
    • ‫instruction: אופטימיזציה של הוראות המערכת.
    • ‫demonstration: בחירה של הנחיות לדוגמה להוספה להוראות המערכת כדוגמאות של few-shot.
    • ‫instruction_and_demo: מבצע את שתי הפעולות שלמעלה.
  • מדדי הערכה: המדדים שמשמשים את הכלי לאופטימיזציה מבוססת-נתונים כדי לבצע אופטימיזציה של הוראות המערכת ו/או לבחור הנחיות לדוגמה.
  • מודל היעד: המודל של Google שעליו מבוסס האופטימיזציה מבוססת-הנתונים, שמשפר את הוראות המערכת ובוחר הנחיות לדוגמה.

כשמריצים את כלי האופטימיזציה מבוסס-הנתונים, הוא מבצע אופטימיזציה של הוראות המערכת על סמך הבחירות שלכם. לשם כך, הוא מריץ משימת אימון בהתאמה אישית שבה הוא מעריך באופן איטרטיבי את ההנחיות לדוגמה וכותב מחדש את הוראות המערכת כדי למצוא את הגרסה שמניבה את ציון ההערכה הטוב ביותר עבור מודל היעד.

בסיום העבודה, הכלי לאופטימיזציה מבוססת-נתונים מפיק את הוראות המערכת שעברו אופטימיזציה, עם ציון ההערכה שלהן.

מדדי הערכה

כלי האופטימיזציה מבוסס-הנתונים משתמש במדדי הערכה כדי לבצע אופטימיזציה של הוראות המערכת ולבחור הנחיות לדוגמה. אתם יכולים להשתמש במדדי ההערכה הרגילים או להגדיר מדדי הערכה מותאמים אישית משלכם. הערה: לכל מדדי ההערכה חייבת להיות התכונה שציון גבוה יותר מצביע על ביצועים טובים יותר.

אפשר להשתמש בכמה מדדים בו-זמנית. עם זאת, אפשר להשתמש רק במדד מותאם אישית אחד בכל פעם. אם משתמשים במדדים רגילים ובמדדים מותאמים אישית ביחד, רק אחד מהמדדים יכול להיות מדד מותאם אישית. המדדים האחרים חייבים להיות מדדים רגילים.

כדי ללמוד איך מציינים מדדים אחד בכל פעם או בשילוב, אפשר לעיין בקטע EVALUATION_METRIC_PARAMETERS בכרטיסייה SDK במאמר יצירת תבנית הנחיה והוראות מערכת.

מדדי הערכה מותאמים אישית

מדדים מותאמים אישית שימושיים כשמדדים רגילים לא מתאימים לאפליקציה שלכם. שימו לב: הכלי לאופטימיזציה מבוססת-נתונים תומך רק במדד מותאם אישית אחד בכל פעם.

מידע על יצירת מדדים מותאמים אישית זמין במאמר יצירת מדדים מותאמים אישית.

מדדי הערכה רגילים

הכלי לאופטימיזציה מבוססת-נתונים תומך במדדי הערכה מותאמים אישית, ובנוסף במדדי ההערכה הבאים:

סוג מדד תרחיש לדוגמה מדד תיאור
מבוסס על מודל סיכום summarization_quality מתאר את היכולת של המודל לענות על שאלות בהתבסס על גוף טקסט שניתן לו כהפניה.
מענה לשאלות question_answering_correctness* מתאר את היכולת של המודל לענות על שאלה בצורה נכונה.
question_answering_quality מתאר את היכולת של המודל לענות על שאלות בהתבסס על גוף טקסט שניתן לו כהפניה.
קוהרנטיות coherence מתאר את היכולת של המודל לספק תגובה עקבית ומודד את מידת הרצף הלוגי של הטקסט שנוצר ואת מידת ההיגיון שלו.
בטיחות safety תיאור של רמת הבטיחות של המודל, כלומר, האם התשובה מכילה טקסט לא בטוח.
רמת השליטה fluency תיאור של רמת השליטה של המודל בשפה.
התבססות על מידע groundedness מתאר את היכולת של המודל לספק מידע שכלול רק בטקסט הקלט או להפנות אליו.
Comet comet** מתאר את היכולת של המודל מבחינת איכות התרגום בהשוואה לתרגום הייחוס.
MetricX metricx** מתאר את היכולת של המודל מבחינת איכות התרגום.
מבוסס על חישוב שימוש בכלים והפעלת פונקציות tool_call_valid* מתאר את היכולת של המודל לחזות קריאה תקינה לכלי.
tool_name_match* מתאר את היכולת של המודל לחזות קריאה לכלי עם שם הכלי הנכון. רק הקריאה הראשונה לכלי נבדקת.
tool_parameter_key_match* מתאר את היכולת של המודל לחזות קריאה לכלי עם שמות הפרמטרים הנכונים.
tool_parameter_kv_match* מתאר את היכולת של המודל לחזות קריאה לכלי עם השמות הנכונים של הפרמטרים וערכי המפתח.
יצירת טקסט כללי bleu* התוצאה של אלגוריתם להערכת איכות התחזית, שתורגמה משפה טבעית אחת לשפה טבעית אחרת. איכות התחזית נמדדת לפי ההתאמה בין פרמטר של תחזית לבין פרמטר ההפניה שלו.
exact_match* הפונקציה מחשבת אם פרמטר של חיזוי תואם בדיוק לפרמטר של הפניה.
rouge_1* הפרמטר הזה משמש להשוואה בין פרמטר החיזוי שצוין לבין פרמטר ייחוס.
rouge_2*
rouge_l*
rouge_l_sum*

* אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות question_answering_correctness או הערכות מבוססות-חישוב, צריך לבצע אחת מהפעולות הבאות:

  • מוסיפים משתנה שמייצג את התשובה האמיתית לבקשות לתבנית הבקשה.

  • אם אין לכם תשובות מסוג אמת קרקע להנחיות, אבל השתמשתם בהנחיות בעבר עם מודל של Google והשגתם את התוצאות הרצויות, אתם יכולים להוסיף את הפרמטר source_model להגדרה במקום להוסיף תשובות מסוג אמת קרקע. כשהפרמטר source_model מוגדר, הכלי לאופטימיזציה מבוססת-נתונים מריץ את ההנחיות לדוגמה במודל המקור כדי ליצור את התשובות האמיתיות בשבילכם.

    הפרמטר source_model צריך לשמש רק לשדרוג או להעברה של מודל.

** אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות comet או metricx, צריך לספק את הפרמטר translation_source_field_name להגדרה, שמציין את שם השדה המתאים של טקסט המקור בנתונים. בנוסף, הערך של MetricX שונה לטווח שבין 0 (הגרוע ביותר) ל-25 (הטוב ביותר) כדי להתאים למאפיין 'ככל שהערך גבוה יותר, כך טוב יותר'.

לפני שמתחילים

כדי לוודא שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את ההרשאות הנדרשות לאופטימיזציה של הנחיות, צריך לבקש מהאדמין להקצות לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שהאדמין גם יוכל לתת לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את ההרשאות שנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אופטימיזציה של הנחיות

אפשר לבצע אופטימיזציה להנחיות בדרכים הבאות:

כדי לבצע אופטימיזציה של הנחיות, בוחרים את השיטה הרצויה ופועלים לפי השלבים שמתוארים בפירוט בקטעים הבאים:

  1. יצירת תבנית הנחיה והוראות מערכת
  2. הכנת הנחיות לדוגמה
  3. אופציונלי: יצירת מדדים מותאמים אישית
  4. יצירת הגדרה
  5. הפעלת משימת אופטימיזציה של הנחיות
  6. ניתוח התוצאות וביצוע איטרציה

יצירת תבנית הנחיה והוראות מערכת

תבניות של הנחיות מגדירות את הפורמט של כל ההנחיות באמצעות משתנים שניתנים להחלפה. כשמשתמשים בתבנית הנחיה כדי לבצע אופטימיזציה של הנחיות, המשתנים מוחלפים בנתונים במערך הנתונים של ההנחיה.

המשתנים בתבנית ההנחיה צריכים לעמוד בדרישות הבאות:

  • חובה להוסיף סוגריים מסולסלים למשתנים
  • אסור לכלול רווחים או מקפים - בשמות של משתנים

  • משתנים שמייצגים קלט מולטי-מודאלי חייבים לכלול את המחרוזת MIME_TYPE אחרי המשתנה:

    @@@MIME_TYPE

    מחליפים את MIME_TYPE בסוג MIME של תמונה, סרטון, אודיו או מסמך שנתמך על ידי מודל היעד.

כדי ליצור תבנית הנחיה והוראות למערכת, אפשר להשתמש באחת מהשיטות הבאות:

Notebook

אם רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים דרך המחברת, צריך ליצור הוראות למערכת ותבנית של הנחיה באופן הבא:

  1. ב-Colab Enterprise, פותחים את מסמך ה-notebook של Vertex AI prompt optimizer.

    מעבר למסמך ה-notebook של Vertex AI Prompt Optimizer

  2. בקטע Create a prompt template and system instructions, מבצעים את הפעולות הבאות:

    1. בשדה SYSTEM_INSTRUCTION, מזינים את הוראות המערכת. לדוגמה:

      Based on the following images and articles respond to the questions.'\n' Be concise,
and answer \"I don't know\" if the response cannot be found in the provided articles or images.

    2. בשדה PROMPT_TEMPLATE, מזינים את תבנית ההנחיה. לדוגמה:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}

    3. אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות הערכות מבוססות-חישוב או question_answering_correctness, צריך לבצע אחת מהפעולות הבאות:

    • מוסיפים את המשתנה {target} לתבנית ההנחיה כדי לייצג את התשובה האמיתית של ההנחיה. לדוגמה:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}

    • אם אין לכם תשובות מסוג אמת קרקע (ground truth) להנחיות, אבל השתמשתם בהנחיות בעבר עם מודל של Google והשגתם את התוצאות הרצויות, אתם יכולים להוסיף את הפרמטר source_model להגדרה במקום להוסיף תשובות מסוג אמת קרקע. כשהפרמטר source_model מוגדר, הכלי לאופטימיזציה מבוססת-נתונים מריץ את ההנחיות לדוגמה במודל המקור כדי ליצור בשבילכם את התשובות האמיתיות.

SDK

אם רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים דרך ה-SDK בלי להשתמש ב-Notebook, צריך ליצור קובצי טקסט לתבנית ההנחיה ולהוראות המערכת. כך עושים את זה:

  1. יוצרים קובץ טקסט להוראות המערכת.

  2. בתיבת הטקסט, מגדירים את ההוראות למערכת. לדוגמה:

    Based on the following images and articles respond to the questions.'\n' Be concise, and answer \"I don't know\" if the response cannot be found in the provided articles or images.

  3. יוצרים קובץ טקסט לתבנית ההנחיה.

  4. בקובץ הטקסט, מגדירים תבנית הנחיה שכוללת משתנה אחד או יותר. לדוגמה:

    Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}

  5. אם רוצים לבצע אופטימיזציה של ההנחיות באמצעות הערכות מבוססות-חישוב או question_answering_correctness, צריך לבצע אחת מהפעולות הבאות:

    • מוסיפים את המשתנה {target} לתבנית ההנחיה כדי לייצג את התשובה האמיתית של ההנחיה. לדוגמה:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}

    • אם אין לכם תשובות מסוג אמת קרקע (ground truth) להנחיות, אבל השתמשתם בהנחיות בעבר עם מודל של Google והשגתם את התוצאות הרצויות, אתם יכולים להוסיף את הפרמטר source_model להגדרה במקום להוסיף תשובות מסוג אמת קרקע. כשהפרמטר source_model מוגדר, הכלי לאופטימיזציה מבוססת-נתונים מריץ את ההנחיות לדוגמה במודל המקור כדי ליצור בשבילכם את התשובות האמיתיות.

הכנת הנחיות לדוגמה

כדי להפיק את התוצאות הטובות ביותר מהכלי לשיפור הביצועים שמבוסס על נתונים, מומלץ להשתמש ב-50 עד 100 הנחיות לדוגמה.

  • הכלי יכול להיות יעיל גם עם 5 הנחיות לדוגמה בלבד.
  • הדוגמאות הטובות ביותר כוללות מקרים שבהם מודל היעד מתפקד בצורה גרועה ומקרים שבהם הוא מתפקד בצורה טובה.

ההנחיות לדוגמה מכילות את הנתונים שמחליפים את המשתנים בתבנית ההנחיה. אפשר להשתמש בקובץ JSONL או CSV כדי לאחסן את ההנחיות לדוגמה.

קובץ JSONL

  1. יוצרים קובץ JSONL.

  2. בקובץ JSONL, מוסיפים את נתוני ההנחיות שמחליפים כל משתנה. לדוגמה:

    {"article_1": "The marine life …", "image_1": "gs://path_to_image", "Question": "What are some most effective ways to reduce ocean pollution?", "target": "The articles and images don't answer this question."}

{"article_1": "During the year …", "image_1": "gs://path_to_image", "Question": "Who was the president in 2023?", "target": "Joe Biden"}

  3. מעלים את קובץ ה-JSONL לקטגוריה של Cloud Storage.

קובץ CSV

  1. יוצרים קובץ CSV.
  2. בשורה הראשונה, מוסיפים את המשתנים מתבנית ההנחיה.
  3. בשורות הבאות, מוסיפים את הנתונים לדוגמה שמחליפים כל משתנה.
  4. העלאת קובץ CSV לקטגוריה של Cloud Storage.

אופציונלי: יצירת מדדים מותאמים אישית

כדי ליצור מדד מותאם אישית:

  1. יוצרים קובץ טקסט בשם requirements.txt.

  2. ב-requirements.txt, מגדירים את הספריות הנדרשות לפונקציית המדד המותאם אישית להערכה. כל הפונקציות דורשות את החבילה functions-framework.

    לדוגמה, קובץ requirements.txt של מדד מותאם אישית שמחשב את ROUGE-L ייראה בערך כך:

    functions-framework==3.*
rouge-score

  3. יוצרים קובץ Python בשם main.py.

  4. כותבים את פונקציית ההערכה המותאמת אישית בקובץ main.py. הפונקציה צריכה לקבל את הפרמטרים הבאים:

    • בקשות HTTP POST
    • קלט JSON שמכיל את response, שהוא הפלט מ-LLM, ואת reference, שהיא התשובה האמיתית להנחיה אם היא סופקה בקבוצת הנתונים של ההנחיות.

    לדוגמה, קובץ main.py של מדד מותאם אישית שמחשב את ROUGE-L ייראה בערך כך:

    from typing import Any
import json
import functions_framework
from rouge_score import rouge_scorer

# Register an HTTP function with the Functions Framework
@functions_framework.http
def main(request):
   request_json = request.get_json(silent=True)
   if not request_json:
       raise ValueError('Can not find request json.')

   """Extract 'response' and 'reference' from the request payload. 'response'
   represents the model's response, while 'reference' represents the ground
   truth response."""
   response = request_json['response']
   reference = request_json['reference']

   # Compute ROUGE-L F-measure
   scorer = rouge_scorer.RougeScorer(['rougeL'], use_stemmer=True)
   scores = scorer.score(reference, response)
   final_score = scores['rougeL'].fmeasure

   # Return the custom score in the response
   return json.dumps({
       # The following key is the CUSTOM_METRIC_NAME that you pass to the job
       'custom_accuracy': final_score,
       # The following key is optional
       'explanation': 'ROUGE_L F-measure between reference and response',
   })

  5. כדי לפרוס את פונקציית ההערכה המותאמת אישית כפונקציית Cloud Run, מריצים את הפקודה gcloud functions deploy:

    gcloud functions deploy FUNCTION_NAME \
   --project PROJECT_ID \
   --gen2 \
   --memory=2Gb \
   --concurrency=6 \
   --min-instances 6 \
   --region=REGION \
   --runtime="python310" \
   --source="." \
   --entry-point main \
   --trigger-http \
   --timeout=3600 \
   --quiet

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫FUNCTION_NAME: השם של מדד ההערכה המותאם אישית.
    • PROJECT_ID: מזהה הפרויקט.
    • ‫REGION: האזור שבו רוצים לפרוס את הפונקציה. האזור צריך להיות זהה לאזור שבו משתמשים במודל היעד.

יצירת הגדרה

בהגדרות האופטימיזציה מבוססת-הנתונים מציינים את הפרמטרים שרוצים להגדיר למשימת האופטימיזציה של ההנחיות.

שימו לב שלמודלים של Gemma אין ממשקי API מנוהלים ב-Vertex AI. כדי להשתמש במודל Gemma, קודם צריך לפרוס אותו ב-Vertex AI או במחשב המקומי. מידע נוסף על פריסה ב-Vertex AI זמין במאמר שימוש במודלים פתוחים של Gemma. מידע נוסף על פריסה במחשב המקומי זמין במאמר בנושא הרצת Gemma עם Ollama.

יוצרים הגדרה באחת מהדרכים הבאות:

Notebook

אם רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים דרך המחברת, צריך ליצור הגדרה באופן הבא:

  1. ב-Colab Enterprise, פותחים את מחברת האופטימיזציה מבוססת-הנתונים.

    מעבר למסמך ה-notebook של Vertex AI Prompt Optimizer

  2. בקטע Configure project settings (הגדרת הגדרות הפרויקט), מבצעים את הפעולות הבאות:

    1. בשדה PROJECT_ID, מזינים את מזהה הפרויקט.
    2. בשדה LOCATION, מזינים את המיקום שבו רוצים להפעיל את הכלי לאופטימיזציה מבוססת-נתונים.
    3. בשדה OUTPUT_PATH, מזינים את ה-URI של דלי Cloud Storage שבו רוצים שהכלי לאופטימיזציה מבוססת-נתונים יכתוב את ההוראות המערכתיות שעברו אופטימיזציה או את הדוגמאות המעטות. לדוגמה, gs://bucket-name/output-path.
    4. בשדה INPUT_PATH, מזינים את ה-URI של ההנחיות לדוגמה בקטגוריה של Cloud Storage. לדוגמה, gs://bucket-name/sample-prompts.jsonl.

  3. בקטע Configure optimization settings (הגדרת הגדרות האופטימיזציה), מבצעים את הפעולות הבאות:

    1. בשדה TARGET_MODEL, מזינים את המודל שעבורו רוצים לבצע אופטימיזציה של ההנחיות.
    2. בשדה THINKING_BUDGET, מזינים את תקציב החשיבה של מודל היעד שרוצים לבצע אופטימיזציה של ההנחיות שלו. ברירת המחדל היא ‎-1, כלומר לא מתבצעת חשיבה במודלים שאינם מודלים של חשיבה, וחשיבה אוטומטית במודלים של חשיבה כמו Gemini-2.5. בקטע חשיבה מוסבר על הגדרות תקציב ידניות.
    3. ב-OPTIMIZATION_MODE, מזינים את מצב האופטימיזציה שרוצים להשתמש בו. הפורמט חייב להיות אחד מהפורמטים הבאים:
      • ‫instruction: אופטימיזציה של הוראות המערכת.
      • ‫demonstration: בחירה של הנחיות לדוגמה להוספה להוראות המערכת כדוגמאות של למידה עם מעט דוגמאות.
      • ‫instruction_and_demo: מבצע את שתי הפעולות שלמעלה.
    4. בשדה EVAL_METRIC, מזינים מדד הערכה שרוצים לבצע אופטימיזציה של ההנחיות עבורו.
    5. אופציונלי: בשדה SOURCE_MODEL, מזינים את המודל של Google שהמערכת השתמשה בו בעבר להוראות ולהנחיות. כשמגדירים את הפרמטר source_model, האופטימיזציה מבוססת-הנתונים מריצה את ההנחיות לדוגמה במודל המקור כדי ליצור עבורכם את התשובות האמיתיות, למדדי הערכה שדורשים תשובות אמיתיות. אם לא הפעלתם בעבר את ההנחיות שלכם עם מודל של Google או שלא השגתם את תוצאות היעד, תוכלו להוסיף להנחיה תשובות של מקורות מהימנים. מידע נוסף זמין בקטע יצירת הנחיה והוראות למערכת במסמך הזה.

  4. אופציונלי: בקטע הגדרת הגדרות אופטימיזציה מתקדמות, אפשר להוסיף פרמטרים אופציונליים להגדרה.

    5. הצגת פרמטרים אופציונליים
    • בשדה NUM_INST_OPTIMIZATION_STEPS, מזינים את מספר האיטרציות שבהן הכלי לאופטימיזציה מבוססת-הנתונים משתמש במצב אופטימיזציה של הוראות. זמן הריצה גדל באופן לינארי ככל שהערך הזה גדל. חייב להיות מספר שלם בין 10 לבין 20. אם לא מציינים ערך, ברירת המחדל היא 10.
    • בשדה NUM_DEMO_OPTIMIZATION_STEPS, מזינים את מספר ההדגמות שהכלי לאופטימיזציה מבוססת-נתונים מעריך. נעשה שימוש במצב אופטימיזציה demonstration ו-instruction_and_demo. חייב להיות מספר שלם בין 10 לבין 30. אם לא מגדירים את המדיניות, ברירת המחדל היא 10.
    • בשדה NUM_DEMO_PER_PROMPT, מזינים את מספר ההדגמות שנוצרות לכל הנחיה. הערך צריך להיות מספר שלם בין 2 לבין המספר הכולל של ההנחיות לדוגמה פחות 1. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.
    • בשדה TARGET_MODEL_QPS, מזינים את מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוסס-נתונים שולח למודל היעד. זמן הריצה יורד באופן לינארי ככל שמגדילים את הערך הזה. הערך חייב להיות מספר נקודה צפה (float) שגדול מ-3.0 או שווה לו, אבל קטן ממכסת השאילתות לשנייה (QPS) שמוקצית לכם במודל היעד. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
    • בשדה SOURCE_MODEL_QPS, מזינים את מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוסס-הנתונים שולח למודל המקור. הערך חייב להיות מספר עשרוני שגדול מ-3.0 או שווה לו, אבל קטן ממכסת השאילתות לשנייה שמוגדרת במודל המקור. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
    • בשדה EVAL_QPS, מזינים את מספר השאילתות לשנייה (QPS) שהכלי לשיפור הביצועים מבוסס-הנתונים שולח לשירות ההערכה של AI גנרטיבי או לפונקציית Cloud Run.
      • במקרה של מדדים שמבוססים על מודלים, הערך חייב להיות מספר נקודה צפה שהוא 3.0 או גדול מ-3.0. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
      • במדדים מותאמים אישית, הערך חייב להיות מספר נקודה צפה שגדול מ-3.0 או שווה לו. הערך הזה קובע את הקצב שבו הכלי לשיפור הביצועים שמבוסס על נתונים קורא לפונקציות Cloud Run של המדד המותאם אישית.
    • אם רוצים להשתמש ביותר ממדד הערכה אחד, מבצעים את הפעולות הבאות:
      1. בשדה EVAL_METRIC_1, מזינים מדד הערכה שרוצים להשתמש בו.
      2. בשדה EVAL_METRIC_1_WEIGHT, מזינים את המשקל שרוצים שמערכת האופטימיזציה מבוססת-הנתונים תשתמש בו כשהיא תפעיל את האופטימיזציה.
      3. בשדה EVAL_METRIC_2, מזינים מדד הערכה שרוצים להשתמש בו.
      4. בשדה EVAL_METRIC_2_WEIGHT (משקל מדד ההערכה השני), מזינים את המשקל שרוצים שמנגנון האופטימיזציה מבוסס-הנתונים ישתמש בו כשהוא יפעיל את האופטימיזציה.
      5. בשדה EVAL_METRIC_3, אפשר להזין מדד הערכה שרוצים להשתמש בו.
      6. בשדה EVAL_METRIC_3_WEIGHT, אפשר להזין את המשקל שרוצים שמנגנון האופטימיזציה מבוסס-הנתונים ישתמש בו כשהוא מריץ את האופטימיזציה.
      7. בשדה METRIC_AGGREGATION_TYPE, מזינים את המשקל שרוצים שמנגנון האופטימיזציה מבוסס-הנתונים ישתמש בו כשהוא יפעיל את האופטימיזציה.
    • בשדה PLACEHOLDER_TO_VALUE, מזינים את המידע שמחליף את המשתנים בהוראות המערכת. המידע שכלול בתג הזה לא עובר אופטימיזציה על ידי הכלי לאופטימיזציה מבוססת-נתונים.
    • בשדה RESPONSE_MIME_TYPE, מזינים את סוג התגובה MIME שמשמש את מודל היעד. הערך חייב להיות text/plain או application/json. אם לא מגדירים את המדיניות, ברירת המחדל היא text/plain.
    • בשדה TARGET_LANGUAGE, מזינים את שפת ההוראות של המערכת. אם לא מגדירים שפה, ברירת המחדל היא אנגלית.

SDK

אם רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים באמצעות ה-SDK, צריך ליצור קובץ JSON עם הפרמטרים שרוצים להשתמש בהם כדי לבצע אופטימיזציה של הנחיות. לשם כך:

  1. יוצרים קובץ JSON עם הפרמטרים שרוצים להשתמש בהם כדי לבצע אופטימיזציה של ההנחיות. כל קובץ תצורה צריך לכלול את הפרמטרים הבאים. ההגדרה משתנה מעט בין vertexai.types.PromptOptimizerMethod.OPTIMIZATION_TARGET_GEMINI_NANO לבין vertexai.types.PromptOptimizerMethod.VAPO.

    VAPO

    {
"project": "PROJECT_ID",
"system_instruction": "SYSTEM_INSTRUCTION",
"prompt_template": "PROMPT_TEMPLATE",
"target_model": "TARGET_MODEL",
"thinking_budget": "THINKING_BUDGET",
EVALUATION_METRIC_PARAMETERS,
"optimization_mode": "OPTIMIZATION_MODE",
"input_data_path": "SAMPLE_PROMPT_URI",
"output_path": "OUTPUT_URI"
}

    GEMINI_NANO

    {
"project": "PROJECT_ID",
"system_instruction": "SYSTEM_INSTRUCTION",
"prompt_template": "PROMPT_TEMPLATE",
"target_model": "TARGET_MODEL",
"target_model_endpoint_url": "BASE_URL",
EVALUATION_METRIC_PARAMETERS,
"optimization_mode": "OPTIMIZATION_MODE",
"input_data_path": "SAMPLE_PROMPT_URI",
"output_path": "OUTPUT_URI"
}

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID: מזהה הפרויקט.
    • ‫SYSTEM_INSTRUCTION: ההוראות למערכת שרוצים לבצע אופטימיזציה שלהן.
    • ‫PROMPT_TEMPLATE: תבנית ההנחיה.
    • ‫TARGET_MODEL: המודל שעבורו רוצים לבצע אופטימיזציה של ההנחיות. לדוגמה, gemma-3n-e4b-it.
    • ‫BASE_URL: כתובת ה-URL הבסיסית של המודל שנפרס באופן מקומי. לדוגמה, http://localhost:8000/v1. נדרש להגדרת OPTIMIZATION_TARGET_GEMINI_NANO. אם אתם לא משתמשים במודל שפרוס באופן מקומי, צריך להסיר את השדה target_model_endpoint_url מההגדרות.
    • ‫THINKING_BUDGET: תקציב החשיבה של מודל היעד שרוצים לבצע אופטימיזציה של ההנחיות שלו. ברירת המחדל היא ‎-1, כלומר לא מתבצעת חשיבה במודלים שאינם מודלים של חשיבה, וחשיבה אוטומטית במודלים של חשיבה כמו Gemini-2.5. מידע על הגדרות תקציב ידניות זמין במאמר שיקולים. שימו לב שדגמים מסוימים, כמו דגמי Gemma, לא תומכים ב-thinking_budget.

    • ‫EVALUATION_METRIC_PARAMETERS: הפרמטרים שאתם מציינים תלויים במספר מדדי ההערכה שבהם אתם משתמשים, ובסוג המדדים (סטנדרטיים או מותאמים אישית):

      מדד רגיל יחיד

      אם אתם משתמשים במדד הערכה סטנדרטי אחד, אתם יכולים להשתמש בפרמטר הבא:

       "eval_metric": "EVALUATION_METRIC",

      מחליפים את EVALUATION_METRIC במדד שרוצים לבצע אופטימיזציה של ההנחיות עבורו.

      מדד מותאם אישית יחיד

      אם אתם משתמשים במדד מותאם אישית אחד להערכה, אתם צריכים להשתמש בפרמטרים הבאים:

      "eval_metric": "custom_metric",
"custom_metric_name": "CUSTOM_METRIC_NAME",
"custom_metric_cloud_function_name": "FUNCTION_NAME",

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫CUSTOM_METRIC_NAME: שם המדד, כפי שמוגדר על ידי המפתח שמתאים ל-final_score. לדוגמה: custom_accuracy.
      • ‫FUNCTION_NAME: השם של פונקציית Cloud Run שפרסתם קודם.

      מדדים רגילים מרובים

      אם אתם משתמשים בכמה מדדי הערכה סטנדרטיים, אתם צריכים להשתמש בפרמטרים הבאים:

      "eval_metrics_types": [EVALUATION_METRIC_LIST],
"eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
"aggregation_type": "METRIC_AGGREGATION_TYPE",

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫EVALUATION_METRIC_LIST: רשימה של מדדי הערכה. חייב להיות מערך. לדוגמה, "bleu", "summarization_quality".
      • ‫EVAL_METRICS_WEIGHTS: המשקל של כל מדד. הערך חייב להיות מערך באורך זהה לערך EVALUATION_METRIC_LIST.
      • ‫METRIC_AGGREGATION_TYPE: סוג הצבירה שמשמש למדדי ההערכה. הערך חייב להיות weighted_sum או weighted_average. אם לא מגדירים את המדיניות, ברירת המחדל היא weighted_sum.

      מדדים רגילים ומותאמים אישית

      אם אתם משתמשים בכמה מדדי הערכה שכוללים שילוב של מדד מותאם אישית יחיד ומדד רגיל אחד או יותר, אתם צריכים להשתמש בפרמטרים הבאים:

      "eval_metrics_types": ["custom_metric", EVALUATION_METRIC_LIST],
"eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
"aggregation_type": "METRIC_AGGREGATION_TYPE",
"custom_metric_name": "CUSTOM_METRIC_NAME",
"custom_metric_cloud_function_name": "FUNCTION_NAME",

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫EVALUATION_METRIC_LIST: רשימה של מדדי ההערכה הרגילים. חייב להיות מערך. לדוגמה, "bleu", "summarization_quality".
      • ‫EVAL_METRICS_WEIGHTS: המשקל של כל מדד. חייב להיות מערך.
      • ‫METRIC_AGGREGATION_TYPE: סוג הצבירה שמשמש למדדי ההערכה. הערך חייב להיות weighted_sum או weighted_average. אם לא מגדירים את המדיניות, ברירת המחדל היא weighted_sum.
      • ‫CUSTOM_METRIC_NAME: שם המדד, כפי שמוגדר על ידי המפתח שמתאים ל-final_score. לדוגמה, custom_accuracy.
      • ‫FUNCTION_NAME: השם של פונקציית Cloud Run שפרסתם קודם.

    • ‫OPTIMIZATION_MODE: מצב האופטימיזציה. הערך חייב להיות אחד מהערכים הבאים:

      • ‫instruction: אופטימיזציה של הוראות המערכת.
      • ‫demonstration: בחירה של הנחיות לדוגמה להוספה להוראות המערכת כדוגמאות של למידה עם מעט דוגמאות.
      • ‫instruction_and_demo: מבצע את שתי הפעולות שלמעלה.

    • ‫SAMPLE_PROMPT_URI: ה-URI של ההנחיות לדוגמה בקטגוריית Cloud Storage. לדוגמה, gs://bucket-name/sample-prompts.jsonl.

    • ‫OUTPUT_URI: ה-URI של קטגוריית Cloud Storage שבה רוצים שמייעל המערכת מבוסס הנתונים יכתוב את ההוראות המותאמות למערכת או את הדוגמאות המעטות. לדוגמה, gs://bucket-name/output-path.

  2. בנוסף, אפשר להוסיף לקובץ התצורה פרמטרים אופציונליים.

    הפרמטרים האופציונליים מחולקים ל-5 קטגוריות:

    • פרמטרים של תהליך האופטימיזציה. הפרמטרים האלה שולטים בתהליך האופטימיזציה הכולל, כולל משך הזמן שלו ומספר חזרות האופטימיזציה שהוא מבצע, וזה משפיע ישירות על איכות האופטימיזציות.
    • בחירת מודל ופרמטרים של מיקום. הפרמטרים האלה מציינים באילו מודלים הכלי לשיפור הביצועים מבוסס-הנתונים משתמש, ובאילו מיקומים הוא משתמש במודלים האלה.
    • פרמטרים של זמן אחזור (QPS). הפרמטרים האלה שולטים ב-QPS, ומשפיעים על המהירות של תהליך האופטימיזציה.
    • אחר פרמטרים אחרים ששולטים במבנה ובתכנים של ההנחיות.

      הצגת פרמטרים אופציונליים
      "num_steps": NUM_INST_OPTIMIZATION_STEPS,
"num_demo_set_candidates": "NUM_DEMO_OPTIMIZATION_STEPS,
"demo_set_size": NUM_DEMO_PER_PROMPT,
"target_model_location": "TARGET_MODEL_LOCATION",
"source_model": "SOURCE_MODEL",
"source_model_location": "SOURCE_MODEL_LOCATION",
"target_model_qps": TARGET_MODEL_QPS,
"eval_qps": EVAL_QPS,
"source_model_qps": SOURCE_MODEL_QPS,
"response_mime_type": "RESPONSE_MIME_TYPE",
"language": "TARGET_LANGUAGE",
"placeholder_to_content": "PLACEHOLDER_TO_CONTENT",
"data_limit": DATA_LIMIT

      מחליפים את מה שכתוב בשדות הבאים:

      • פרמטרים של תהליך האופטימיזציה:

        • ‫NUM_INST_OPTIMIZATION_STEPS: מספר האיטרציות שבהן הכלי לאופטימיזציה מבוססת-נתונים משתמש במצב אופטימיזציה של הוראות. זמן הריצה גדל באופן לינארי ככל שהערך הזה גדל. חייב להיות מספר שלם בין 10 לבין 20. אם לא מגדירים ערך, ברירת המחדל היא 10.
        • ‫NUM_DEMO_OPTIMIZATION_STEPS: מספר ההדגמות שהכלי לשיפור הביצועים מבוסס-הנתונים מעריך. נעשה שימוש במצב אופטימיזציה demonstration ו-instruction_and_demo. הערך צריך להיות מספר שלם בין 2 לבין המספר הכולל של ההנחיות לדוגמה פחות 1. אם לא מציינים ערך, ברירת המחדל היא 10.
        • ‫NUM_DEMO_PER_PROMPT: מספר ההדגמות שנוצרו לכל הנחיה. חייב להיות מספר שלם בין 3 ל-6. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.

      • בחירת מודל ופרמטרים של מיקום:

        • ‫TARGET_MODEL_LOCATION: המיקום שבו רוצים להריץ את מודל היעד. אם לא מגדירים את המדיניות, ברירת המחדל היא us-central1.
        • ‫SOURCE_MODEL: המודל של Google שהיה בשימוש קודם בהנחיות ובשורות ההנחיה של המערכת. כשמגדירים את הפרמטר source_model, האופטימיזציה מבוססת-הנתונים מריצה את ההנחיות לדוגמה במודל המקור כדי ליצור את התשובות האמיתיות בשבילכם, למדדי הערכה שנדרשות להם תשובות אמיתיות. אם לא הפעלתם בעבר את ההנחיות שלכם עם מודל של Google או שלא השגתם את תוצאות היעד, אתם יכולים להוסיף להנחיה תשובות של מקורות מהימנים. מידע נוסף זמין בקטע יצירת הנחיה והוראות למערכת במסמך הזה.
        • ‫SOURCE_MODEL_LOCATION: המיקום שבו רוצים להריץ את מודל המקור. אם לא מגדירים את המדיניות, ברירת המחדל היא us-central1.

      • פרמטרים של זמן אחזור (QPS):

        • ‫TARGET_MODEL_QPS: מספר השאילתות לשנייה (QPS) שהכלי לשיפור הביצועים מבוסס-הנתונים שולח למודל היעד. זמן הריצה יורד באופן לינארי ככל שמגדילים את הערך הזה. הערך חייב להיות מספר עשרוני שגדול מ-3.0 או שווה לו, אבל קטן ממכסת השאילתות לשנייה שמוגדרת לכם במודל היעד. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
        • ‫EVAL_QPS: מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוססת-נתונים שולח לשירות ההערכה של AI גנרטיבי או לפונקציית Cloud Run.
          • במקרה של מדדים שמבוססים על מודלים, הערך חייב להיות מספר נקודה צפה שהוא 3.0 או גדול מ-3.0. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.
          • במדדים מותאמים אישית, הערך חייב להיות מספר נקודה צפה שגדול מ-3.0 או שווה לו. הערך הזה קובע את הקצב שבו הכלי לשיפור הביצועים שמבוסס על נתונים קורא לפונקציות Cloud Run של המדד המותאם אישית.
        • ‫SOURCE_MODEL_QPS: מספר השאילתות לשנייה (QPS) שהכלי לאופטימיזציה מבוססת-נתונים שולח למודל המקור. הערך חייב להיות מספר עשרוני שגדול מ-3.0 או שווה לו, אבל קטן ממכסת השאילתות לשנייה שמוגדרת במודל המקור. אם לא מגדירים את המדיניות, ברירת המחדל היא 3.0.

      • פרמטרים אחרים:

        • ‫RESPONSE_MIME_TYPE: סוג ה-MIME של התגובה שמשמש את מודל היעד. הערך חייב להיות text/plain או application/json. אם לא מגדירים את המדיניות, ברירת המחדל היא text/plain.
        • ‫TARGET_LANGUAGE: השפה של ההוראות במערכת. אם לא מגדירים שפה, ברירת המחדל היא אנגלית.
        • ‫PLACEHOLDER_TO_CONTENT: המידע שמחליף את המשתנים בהוראות המערכת. המידע שכלול בדגל הזה לא עובר אופטימיזציה על ידי הכלי לאופטימיזציה של הנחיות מבוססות-נתונים.
        • ‫DATA_LIMIT: כמות הנתונים שמשמשת לאימות. זמן הריצה גדל באופן לינארי עם הערך הזה. חייב להיות מספר שלם בין 5 לבין 100. אם לא מגדירים את המדיניות, ברירת המחדל היא 100.

  3. העלאת קובץ JSON לקטגוריה של Cloud Storage

הרצת כלי האופטימיזציה של ההנחיות

מריצים את הכלי לאופטימיזציה מבוססת-נתונים באמצעות אחת מהאפשרויות הבאות:

Notebook

כדי להריץ את הכלי לאופטימיזציה מבוססת-נתונים דרך המחברת:

  1. ב-Colab Enterprise, פותחים את מסמך ה-notebook של Vertex AI prompt optimizer.

    מעבר ל-Notebook של הכלי לאופטימיזציה מבוססת-נתונים

  2. בקטע Run prompt optimizer (הפעלת הכלי לאופטימיזציה של הנחיות), לוחצים על play_circle Run cell (הפעלת התא).

    כלי האופטימיזציה מבוסס-הנתונים פועל.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫LOCATION: המיקום שבו רוצים להריץ את הכלי לאופטימיזציה של הנחיות ב-Vertex AI.
  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫JOB_NAME: שם למשימה של Vertex AI Prompt Optimizer.
  • ‫PATH_TO_CONFIG: ה-URI של קובץ התצורה בקטגוריה של Cloud Storage. לדוגמה, gs://bucket-name/configuration.json.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

גוף בקשת JSON: 

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": 1,
        "containerSpec": {
          "imageUri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0",
          "args": ["--config=PATH_TO_CONFIG""]
        }
      }
    ]
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

התגובה אמורה להיראות כך:

SDK

מריצים את הכלי לאופטימיזציה מבוססת-נתונים דרך ה-SDK, על ידי הוספת קטעי הקוד הבאים ל-Colab או ל-Notebook.

מחליפים את הפרטים הבאים:

  • ‫LOCATION: המיקום שבו רוצים להריץ את הכלי לאופטימיזציה מבוססת-נתונים.
  • PROJECT_ID: מזהה הפרויקט.
  • ‫PROJECT_NUMBER: מספר הפרויקט, שזמין במסוף Google Cloud .
  • ‫PATH_TO_CONFIG: ה-URI של קובץ התצורה ב-Cloud Storage. לדוגמה, gs://bucket-name/configuration.json.
# Authenticate
from google.colab import auth
auth.authenticate_user(project_id=PROJECT_ID)

# Set the Service Account
SERVICE_ACCOUNT = f"{PROJECT_NUMBER}-compute@developer.gserviceaccount.com"

# Import Vertex AI SDK and Setup
import vertexai
vertexai.init(project=PROJECT_ID, location=LOCATION)

#Create the Vertex AI Client
client = vertexai.Client(project=PROJECT_ID, location=LOCATION)

# Setup the job dictionary
vapo_config = {
  'config_path': PATH_TO_CONFIG,
  'service_account': SERVICE_ACCOUNT,
  'wait_for_completion': True,
}

#Start the Vertex AI Prompt Optimizer
client = client.prompt_optimizer.optimize(method=vertexai.types.PromptOptimizerMethod.VAPO, config=vapo_config)

כדי להשתמש במודל Gemma כמודל היעד, מבצעים את השינויים הבאים:

nano_config = vertexai.types.PromptOptimizerConfig(
    config_path="gs://sample-bucket/config_nano.json",
    project_number=project_number,
    wait_for_completion=True
    )
# Simpler version
# nano_config = {
#     "config_path": "gs://sample-bucket/config_nano.json",
#     "service_account": service_account,
#     "wait_for_completion": True
#     }
logging.basicConfig(encoding='utf-8', level=logging.INFO, force=True)

client.prompt_optimizer.optimize(
    method=vertexai.types.PromptOptimizerMethod.OPTIMIZATION_TARGET_GEMINI_NANO,
    config=nano_config
)

אחרי שהאופטימיזציה מסתיימת, בודקים את פריטי הפלט במיקום הפלט שצוין בהגדרות.

ניתוח התוצאות וביצוע איטרציה

אחרי שמריצים את הכלי לשיפור הביצועים שמבוסס על נתונים, בודקים את התקדמות התהליך באחת מהדרכים הבאות:

Notebook

כדי לראות את התוצאות של הכלי לאופטימיזציה מבוססת-נתונים דרך המחברת:

  1. פותחים את מסמך ה-notebook של Vertex AI לשיפור הנחיות.

  2. בקטע Inspect the results (בדיקת התוצאות), מבצעים את הפעולות הבאות:

    1. בשדה RESULT_PATH, מוסיפים את ה-URI של קטגוריית Cloud Storage שהגדרתם את הכלי לשיפור הביצועים שמבוסס על נתונים כך שיכתוב אליה את התוצאות. לדוגמה, gs://bucket-name/output-path.

    2. לוחצים על play_circle הרצת התא.

המסוף

  1. במסוף Google Cloud , בקטע Vertex AI, עוברים לדף Training pipelines.

    מעבר אל 'אימון צינורות עיבוד נתונים'

  2. לוחצים על הכרטיסייה Custom jobs (משימות בהתאמה אישית). משימת האימון בהתאמה אישית של הכלי לשיפור הביצועים מבוסס הנתונים מופיעה ברשימה עם הסטטוס שלה.

כשהעבודה מסתיימת, בודקים את האופטימיזציות באופן הבא:

  1. במסוף Google Cloud , נכנסים לדף Buckets של Cloud Storage:

    כניסה לדף Buckets

  2. לוחצים על השם של הקטגוריה ב-Cloud Storage.

  3. עוברים לתיקייה עם אותו שם של מצב האופטימיזציה שבו השתמשתם כדי להעריך את ההנחיות, כלומר instruction או demonstration. אם השתמשתם במצב instruction_and_demo, שני התיקיות יופיעו. התיקייה instruction מכילה את התוצאות של האופטימיזציה של הוראות המערכת, והתיקייה demonstration מכילה את התוצאות של האופטימיזציה של demonstration ואת הוראות המערכת שעברו אופטימיזציה.

    התיקייה מכילה את הקבצים הבאים:

    • ‫config.json: ההגדרה המלאה ששימשה את הכלי לאופטימיזציה של הנחיות ב-Vertex AI.
    • ‫templates.json: כל קבוצה של הוראות מערכת או דוגמאות של למידה עם הקשר מועט שנוצרו על ידי הכלי לשיפור הביצועים שמבוסס על נתונים, וציון ההערכה שלהן.
    • ‫eval_results.json: התגובה של מודל היעד לכל הנחיה לדוגמה לכל קבוצה של הוראות מערכת שנוצרו או דוגמאות של למידה עם הקשר מועט וציון ההערכה שלהן.
    • ‫optimized_results.json: ההוראות הטובות ביותר למערכת ו/או דוגמאות עם מעט נתונים וציון ההערכה שלהן.

  4. כדי לראות את הוראות המערכת שעברו אופטימיזציה, אפשר לעיין בקובץ optimized_results.json.

שיטות מומלצות

  • מודלים בתצוגה מקדימה נתמכים רק באזור global, והאזור global לא נתמך על ידי Vertex Custom Job. לכן, אל תשתמשו ב-VAPO כדי לבצע אופטימיזציה של מודלים לתצוגה מקדימה כמודל היעד.

  • במודלים של GA, המשתמשים יכולים לבחור מיקומים ספציפיים לאזור, כמו us-central1 או europe-central2 במקום global, כדי לעמוד בדרישה של מיקום הנתונים.

המאמרים הבאים