הערכת מודלים באמצעות Agent Platform

במאמר הזה נסביר איך להעריך מודלים באמצעות Gemini Enterprise Agent Platform. סקירה כללית זמינה במאמר הערכת מודלים ב-Agent Platform.

דרישות מוקדמות

  1. פועלים לפי השלבים במאמר הגדרת פרויקט וסביבת פיתוח. בנוסף, מפעילים את השירותים הבאים:

  2. ב-Agent Platform אפשר להעריך מודלים שאומנו באמצעות AutoML או אימון מותאם אישית. כדי להשתמש במדריך של Google Cloud המסוף, צריך לייבא מודל מאומן אל מאגר המודלים של Gemini Enterprise Agent Platform.

  3. מעלים את מערך נתוני הבדיקה אל BigQuery או אל Cloud Storage. מערך נתוני הבדיקה צריך להכיל את נתוני האמת, שהם התוצאה בפועל שצפויה מהסקת המסקנות. מקבלים את הקישור לקובץ או את מזהה מערך הנתונים.

  4. יש לכם פלט של הסקת מסקנות באצווה בצורה של טבלה ב-BigQuery או URI של Cloud Storage.

  5. ודאו שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את הרשאות ה-IAM הבאות:

    • אדמין של Agent Platform‏ (aiplatform.admin)
    • נציג שירות של Agent Platform‏ (aiplatform.serviceAgent)
    • אדמין של אובייקטים באחסון (storage.objectAdmin)
    • ‫Dataflow Worker (dataflow.worker)
    • עריכה של נתוני BigQuery‏ (bigquery.dataEditor) (נדרש רק אם אתם מספקים נתונים בצורה של טבלאות BigQuery)

יצירת הערכה

המסוף

  1. נכנסים לדף Gemini Enterprise Agent Platform Models במסוף Google Cloud .

    כניסה לדף Models

  2. לוחצים על שם המודל שרוצים להעריך.

  3. לוחצים על מספר הגרסה של המודל.

  4. בכרטיסייה הערכה, לוחצים על יצירת הערכה.

  5. מזינים שם של הערכה.

  6. בוחרים מטרה, כמו סיווג או רגרסיה.

  7. מזינים את שם העמודה של יעד ההערכה, שהיא העמודה מנתוני האימון שהמודל מאומן לחזות.

  8. בקטע בחירת מקור, בוחרים את המקור של מערך נתוני הבדיקה.

    1. בשדה טבלה ב-BigQuery, מזינים את נתיב BigQuery.

    2. בשדה קובץ ב-Cloud Storage, מזינים את הנתיב ב-Cloud Storage.

  9. בקטע פלט של חיזוי באצווה, בוחרים פורמט פלט.

    1. מזינים את הנתיב ב-BigQuery או את ה-URI של Cloud Storage.

  10. לוחצים על התחלת ההערכה.

Python

כדי לראות את תהליך העבודה של הערכת מודלים ב-Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, אפשר לעיין במחברות לדוגמה של סוגי המודלים הבאים:

Python SDK

ה-SDK להערכת מודלים באמצעות Agent Platform נמצא בשלב הניסוי. כדי להירשם לניסוי, צריך למלא את טופס ההצטרפות.

Agent Platform שולחת באופן אוטומטי התראה באימייל כשמשימת הערכת מודל מסתיימת.

הצגת מדדי ההערכה

המסוף

  1. נכנסים לדף Gemini Enterprise Agent Platform Models במסוף Google Cloud .

    כניסה לדף Models

  2. עוברים לגרסת המודל.

  3. אפשר לצפות במדדים בכרטיסייה הערכה.

Python

כדי לראות את תהליך העבודה של הערכת מודל Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, אפשר לעיין במחברות לדוגמה של סוגי המודלים הבאים:

Python SDK

ה-SDK להערכת מודלים באמצעות Agent Platform נמצא בשלב הניסוי. כדי להירשם לניסוי, צריך למלא את טופס ההצטרפות.

השוואה בין מדדי הערכה

אפשר להשוות בין תוצאות ההערכה של מודלים שונים, גרסאות מודלים ומשימות הערכה. מידע נוסף על ניהול גרסאות של מודלים זמין במאמר בנושא מרשם המודלים.

אפשר להשוות רק בין מודלים מאותו סוג, כמו סיווג, רגרסיה או חיזוי. כשמשווים בין מודלים שונים, כל הגרסאות של המודל צריכות להיות מאותו הסוג.

אפשר להשוות בין 5 הערכות או פחות בכל פעם.

  1. עוברים אל Gemini Enterprise Agent Platform מרשם המודלים במסוף Google Cloud :

    כניסה לדף Models

  2. עוברים למודל או לגרסת המודל:

    • כדי להשוות בין מודלים שונים בדף Models, מסמנים את התיבות לצד שמות המודלים שרוצים להשוות ביניהם.

    • כדי להשוות בין גרסאות שונות של מודלים:

      1. לוחצים על שם המודל בדף מודלים כדי לפתוח את רשימת גרסאות המודל.

      2. מסמנים את התיבות לצד הגרסאות שרוצים להשוות ביניהן.

    • כדי להשוות בין משימות הערכה של אותה גרסת מודל:

      1. לוחצים על שם המודל בדף מודלים כדי לפתוח את רשימת גרסאות המודל.

      2. לוחצים על מספר הגרסה.

      3. מסמנים את תיבות הסימון לצד משימות ההערכה שרוצים להשוות.

  3. לוחצים על השוואה.

המאמרים הבאים