הערכה של מודלים לתחזיות מבית AutoML

בדף הזה מוסבר איך להעריך את מודלי התחזיות של AutoML באמצעות מדדי הערכת מודלים. המדדים האלה מספקים מדידות כמותיות של הביצועים של המודל בקבוצת נתונים לבדיקה. הפרשנות והשימוש במדדים האלה תלויים בצורך העסקי ובבעיה שהמודל אומן לפתור. לדוגמה, יכול להיות שאתם מוכנים לקבל יותר תוצאות שליליות מטעות מאשר תוצאות חיוביות מטעות, או להפך. השאלות האלה משפיעות על המדדים שמתמקדים בהם.

לפני שמתחילים

לפני שתוכלו להעריך מודל, אתם צריכים לאמן אותו ולהמתין עד שהאימון יסתיים.

משתמשים במסוף או ב-API כדי לבדוק את הסטטוס של משימת האימון.

מסוף Google Cloud

1. במסוף Google Cloud , בקטע Vertex AI, עוברים לדף Training.

   כניסה לדף Training

2. אם הסטטוס של משימת האימון הוא 'אימון', צריך להמשיך להמתין עד שמשימת האימון תסתיים. אם הסטטוס של משימת האימון הוא 'הושלם', אפשר להתחיל בהערכת המודל.

API

בוחרים כרטיסייה שמתאימה לשפה או לסביבה שלכם:

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION: האזור שבו המודל מאוחסן.
• ‫PROJECT: מזהה הפרויקט.
• ‫TRAINING_PIPELINE_ID: מזהה של צינור עיבוד נתונים לאימון.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

תשובה

  If the model is still being trained:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "displayName": "MODEL_DISPLAY_NAME"
    },
    "state": "PIPELINE_STATE_RUNNING",
    ...
  }

  If the model training is complete:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID",
      "displayName": "MODEL_DISPLAY_NAME",
      "versionID": "1"
    },
    "state": "PIPELINE_STATE_SUCCEEDED",
    ...
  }

קבלת מדדי הערכה

אתם יכולים לקבל קבוצה מצטברת של מדדי הערכה עבור המודל. בקטע הבא מוסבר איך מקבלים את המדדים האלה באמצעות מסוף Google Cloud או API.

מסוף Google Cloud

1. במסוף Google Cloud , בקטע Vertex AI, עוברים לדף Models.

   כניסה לדף Models

2. בתפריט הנפתח אזור, בוחרים את האזור שבו נמצא המודל.

3. בוחרים את המודל הרצוי מתוך רשימת המודלים.

4. בוחרים את מספר הגרסה של הדגם.

5. בכרטיסייה Evaluate אפשר לראות את מדדי ההערכה המצטברים של המודל.

API

כדי לראות מדדים משוקללים של הערכת מודל, משתמשים בשיטה projects.locations.models.evaluations.get.

בוחרים כרטיסייה שמתאימה לשפה או לסביבה שלכם:

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION: האזור שבו המודל מאוחסן.
• ‫PROJECT: מזהה הפרויקט.
• ‫MODEL_ID: המזהה של משאב המודל. הסמל MODEL_ID מופיע בצינור האימון אחרי שאימון המודל מסתיים בהצלחה. כדי לקבל את MODEL_ID, כדאי לעיין בקטע לפני שמתחילים.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

תשובה

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/forecasting_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 719.0045,
        "meanAbsoluteError": 487.0792,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.8837288,
        "rootMeanSquaredLogError": "NaN",
        "quantileMetrics": [
          {
            "quantile": 0.2,
            "scaledPinballLoss": 157.34422,
            "observedQuantile": 0.15918367346938775
          },
          {
            "quantile": 0.5,
            "scaledPinballLoss": 243.5396,
            "observedQuantile": 0.45551020408163267
          },
          {
            "quantile": 0.8,
            "scaledPinballLoss": 175.39418,
            "observedQuantile": 0.81183673469387752
          }
        ]
      },
      "createTime": "2021-04-13T01:00:54.091953Z"
    }
  ]
}

מדדים להערכת מודל

קובץ סכימה קובע אילו מדדי הערכה מסופקים על ידי Vertex AI לכל יעד.

אפשר להציג ולהוריד קובצי סכימה ממיקום Cloud Storage הבא:
gs://google-cloud-aiplatform/schema/modelevaluation/

מדדי ההערכה של מודלים לחיזוי הם:

• ‫MAE: השגיאה המוחלטת הממוצעת (MAE) היא ההפרש המוחלט הממוצע בין ערכי היעד לבין הערכים החזויים. המדד הזה נע בין אפס לאינסוף. ערך נמוך יותר מצביע על מודל באיכות גבוהה יותר.
• ‫MAPE: שגיאת האחוזים המוחלטת הממוצעת (MAPE) היא ההפרש המוחלט הממוצע באחוזים בין התוויות לבין הערכים החזויים. המדד הזה נע בין אפס לאינסוף. ערך נמוך יותר מצביע על מודל באיכות גבוהה יותר.
  הערך MAPE לא מוצג אם עמודת היעד מכילה ערכים של 0. במקרה כזה, MAPE לא מוגדר.
• RMSE: שורש טעות ריבועית ממוצעת הוא השורש הריבועי של ההפרש הממוצע בריבוע בין ערכי היעד לבין הערכים החזויים. המדד RMSE רגיש יותר לערכים חריגים מהמדד MAE,ולכן אם אתם מודאגים משגיאות גדולות, כדאי להשתמש במדד RMSE כדי להעריך את השגיאות. בדומה ל-MAE, ערך קטן יותר מצביע על מודל באיכות גבוהה יותר (0 מייצג מודל חיזוי מושלם).
• ‫RMSLE: מדד השגיאה הלוגריתמית של שורש ממוצע הריבועים דומה ל-RMSE, אבל הוא משתמש בלוגריתם הטבעי של הערכים החזויים והערכים בפועל, בתוספת 1. המדד RMSLE מעניש על הסקת מסקנות חסרה בצורה חמורה יותר מאשר על הסקת מסקנות עודפת. זה יכול להיות גם מדד טוב אם אתם לא רוצים להעניש הבדלים בין ערכי הסקה גדולים יותר מאשר בין ערכי הסקה קטנים. המדד הזה נע בין אפס לאינסוף. ערך נמוך יותר מצביע על מודל באיכות גבוהה יותר. מדד ההערכה RMSLE מוחזר רק אם כל ערכי התווית והערכים החזויים הם לא שליליים.
• ‫r^2: r בריבוע (r^2) הוא הריבוע של מקדם המתאם של פירסון בין התוויות לבין הערכים החזויים. הערך של המדד הזה נע בין אפס לאחד. ערך גבוה יותר מציין התאמה טובה יותר לקו הרגרסיה.
• Quantile: אחוזון, שמציין את ההסתברות שערך שנצפה יהיה מתחת לערך החזוי. לדוגמה, בקוונטיל 0.2, הערכים שנצפו צפויים להיות נמוכים מהערכים החזויים ב-20% מהמקרים. מערכת Vertex AI מספקת את המדד הזה אם מציינים את minimize-quantile-loss כיעד האופטימיזציה.
• כמותי שנצפה: אחוז הערכים האמיתיים שהיו קטנים מהערך החזוי עבור כמותי נתון. ‫Vertex AI מספק את המדד הזה אם מציינים minimize-quantile-loss כיעד האופטימיזציה.
• הפסד scaled pinball: הפסד scaled pinball באחוזון מסוים. ערך נמוך יותר מציין מודל איכותי יותר באחוזון הנתון. מערכת Vertex AI מספקת את המדד הזה אם מציינים את minimize-quantile-loss כיעד האופטימיזציה.
• שיוך תכונות למודל: ב-Vertex AI מוצגות ההשפעות של כל תכונה על המודל. הערכים מוצגים כאחוזים לכל תכונה: ככל שהאחוז גבוה יותר, כך ההשפעה של התכונה על אימון המודל גדולה יותר. כדאי לעיין במידע הזה כדי לוודא שכל התכונות הכי חשובות מתאימות לנתונים ולבעיה העסקית שלכם. מידע נוסף זמין במאמר שיוך תכונות לחיזויים.

המאמרים הבאים

• קבלת מסקנות ממודל החיזוי.