בדף הזה מוסבר איך להעריך מודלים באמצעות Gemini Enterprise Agent Platform. לסקירה כללית, ראו הערכת מודלים ב-Agent Platform.
דרישות מוקדמות
פועלים לפי השלבים שמפורטים במאמר הגדרת פרויקט וסביבת פיתוח. בנוסף, מפעילים את השירותים הבאים:
ב-Agent Platform אפשר להעריך מודלים שאומנו באמצעות AutoML או אימון בהתאמה אישית. כדי להשתמש במדריך למסוף Google Cloud , צריך לייבא מודל מאומן למרשם המודלים של Gemini Enterprise Agent Platform.
מעלים את מערך הנתונים לבדיקה אל BigQuery או אל Cloud Storage. קבוצת הנתונים לבדיקה צריכה להכיל את אמת הקרקע (ground truth), שהיא התוצאה הצפויה בפועל להסקה. משיגים את הקישור לקובץ או את המזהה של קבוצת הנתונים.
פלט של הסקת אצווה בצורת טבלה ב-BigQuery או URI של Cloud Storage.
מוודאים שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את הרשאות ה-IAM הבאות:
- אדמין של פלטפורמת הסוכנים (
roles/aiplatform.admin) - סוכן שירות של Vertex AI (
roles/aiplatform.serviceAgent) - אדמין של אובייקטים באחסון (
roles/storage.objectAdmin) - Dataflow Worker (
roles/dataflow.worker) - עריכת נתוני BigQuery (
roles/bigquery.dataEditor) (נדרש רק אם מספקים נתונים בצורת טבלאות ב-BigQuery)
- אדמין של פלטפורמת הסוכנים (
יצירת הערכה
המסוף
במסוף Google Cloud , נכנסים לדף Models ב-Gemini Enterprise Agent Platform.
לוחצים על שם המודל שרוצים להעריך.
לוחצים על מספר הגרסה של המודל.
בכרטיסייה Evaluate, לוחצים על Create Evaluation.
מזינים שם הערכה.
בוחרים יעד, כמו סיווג או רגרסיה.
מזינים את Evaluation target column name, שהיא העמודה מנתוני האימון שהמודל מאומן לחזות.
בקטע Select source, בוחרים את המקור של מערך הנתונים לבדיקה.
בשדה טבלה ב-BigQuery, מזינים את הנתיב של BigQuery.
בשדה File on Cloud Storage, מזינים את הנתיב של Cloud Storage.
בקטע Batch prediction output, בוחרים פורמט פלט.
- מזינים את הנתיב של BigQuery או את ה-URI של Cloud Storage.
לוחצים על התחלת ההערכה.
Python
כדי לראות את תהליך העבודה של הערכת המודל של Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, עיינו ב-notebooks לדוגמה של סוגי המודלים הבאים:
Python SDK
ערכת ה-SDK להערכת מודלים באמצעות Agent Platform נמצאת בשלב ניסיוני. כדי לבקש גישה, פנו אל Google Cloud מנהל החשבון שלכם.
פלטפורמת Agent שולחת באופן אוטומטי התראה באימייל כשמשימת הערכת המודל מסתיימת.
הצגת מדדי הערכה
המסוף
במסוף Google Cloud , נכנסים לדף Models ב-Gemini Enterprise Agent Platform.
עוברים לגרסת המודל.
אפשר לראות את המדדים בכרטיסייה הערכה.
Python
כדי לראות את תהליך העבודה של הערכת המודל של Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, עיינו ב-notebooks לדוגמה של סוגי המודלים הבאים:
Python SDK
ערכת ה-SDK להערכת מודלים באמצעות Agent Platform נמצאת בשלב ניסיוני. כדי להירשם לתוכנית הניסיונית, צריך למלא את טופס ההצטרפות.
השוואה בין מדדי הערכה
אתם יכולים להשוות בין תוצאות ההערכה של מודלים שונים, גרסאות שונות של מודלים ומשימות הערכה שונות. מידע נוסף על ניהול גרסאות של מודלים זמין במאמר ניהול גרסאות ב-מרשם המודלים.
אפשר להשוות רק בין מודלים מאותו סוג, כמו סיווג, רגרסיה או חיזוי. כשמשווים בין מודלים שונים, כל גרסאות המודלים צריכות להיות מאותו סוג.
אפשר להשוות רק עד 5 הערכות בכל פעם.
במסוף Google Cloud , נכנסים ל-Model Registry ב-Gemini Enterprise Agent Platform:
עוברים למודל או לגרסת המודל:
כדי להשוות בין מודלים שונים בדף Models, מסמנים את התיבות לצד שמות המודלים שרוצים להשוות ביניהם.
כדי להשוות בין גרסאות שונות של מודלים:
לוחצים על שם המודל בדף Models כדי לפתוח את רשימת הגרסאות של המודל.
מסמנים את התיבות לצד הגרסאות שרוצים להשוות ביניהן.
כדי להשוות בין משימות הערכה של אותה גרסת מודל:
לוחצים על שם המודל בדף Models כדי לפתוח את רשימת הגרסאות של המודל.
לוחצים על מספר הגרסה.
מסמנים את התיבות לצד משימות ההערכה שרוצים להשוות.
לוחצים על השוואה.