הערכה של מודלים לתחזיות מבית AutoML

בדף הזה מוסבר איך להעריך את מודלי התחזית של AutoML באמצעות מדדי הערכת מודלים. המדדים האלה מספקים מדידות כמותיות של הביצועים של המודל בקבוצת נתונים לבדיקה. הפרשנות והשימוש במדדים האלה תלויים בצורך העסקי ובבעיה שהמודל אומן לפתור. לדוגמה, יכול להיות שאתם מוכנים לקבל יותר תוצאות שליליות מטעות מאשר תוצאות חיוביות מטעות, או להפך. השאלות האלה משפיעות על המדדים שמתמקדים בהם.

לפני שמתחילים

כדי להעריך מודל, צריך לאמן אותו ולהמתין עד שהאימון יסתיים.

משתמשים במסוף או ב-API כדי לבדוק את הסטטוס של משימת האימון.

מסוף Google Cloud

1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Training.

   כניסה לדף Training

2. אם הסטטוס של משימת האימון הוא 'אימון', צריך להמשיך להמתין עד שמשימת האימון תסתיים. אם הסטטוס של משימת האימון הוא 'הושלם', אפשר להתחיל בהערכת המודל.

API

בוחרים כרטיסייה שמתאימה לשפה או לסביבה שלכם:

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION: האזור שבו המודל מאוחסן.
• ‫PROJECT: [מזהה הפרויקט](/resource-manager/docs/creating-managing-projects#identifiers). .
• ‫TRAINING_PIPELINE_ID: מזהה של פייפליין לאימון.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

תשובה

  If the model is still being trained:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "displayName": "MODEL_DISPLAY_NAME"
    },
    "state": "PIPELINE_STATE_RUNNING",
    ...
  }

  If the model training is complete:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID",
      "displayName": "MODEL_DISPLAY_NAME",
      "versionID": "1"
    },
    "state": "PIPELINE_STATE_SUCCEEDED",
    ...
  }

קבלת מדדי הערכה

אתם יכולים לקבל קבוצה מצטברת של מדדי הערכה למודל שלכם. בקטע הבא מוסבר איך מקבלים את המדדים האלה באמצעות מסוף Google Cloud או API.

מסוף Google Cloud

1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Models.

   כניסה לדף Models

2. בתפריט הנפתח אזור, בוחרים את האזור שבו נמצא המודל.

3. בוחרים את המודל הרצוי מתוך רשימת המודלים.

4. בוחרים את מספר הגרסה של הדגם.

5. בכרטיסייה Evaluate (הערכה) אפשר לראות את מדדי ההערכה המצטברים של המודל.

API

כדי לראות מדדים מצטברים להערכת מודלים, משתמשים בשיטה projects.locations.models.evaluations.get.

בוחרים כרטיסייה שמתאימה לשפה או לסביבה שלכם:

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION: האזור שבו המודל מאוחסן.
• ‫PROJECT: [מזהה הפרויקט](/resource-manager/docs/creating-managing-projects#identifiers). .
• ‫MODEL_ID: המזהה של משאב המודל. הסמל MODEL_ID מופיע בצינור העיבוד של האימון אחרי שאימון המודל מסתיים בהצלחה. כדי לקבל את MODEL_ID, כדאי לעיין בקטע לפני שמתחילים.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

תשובה

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/forecasting_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 719.0045,
        "meanAbsoluteError": 487.0792,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.8837288,
        "rootMeanSquaredLogError": "NaN",
        "quantileMetrics": [
          {
            "quantile": 0.2,
            "scaledPinballLoss": 157.34422,
            "observedQuantile": 0.15918367346938775
          },
          {
            "quantile": 0.5,
            "scaledPinballLoss": 243.5396,
            "observedQuantile": 0.45551020408163267
          },
          {
            "quantile": 0.8,
            "scaledPinballLoss": 175.39418,
            "observedQuantile": 0.81183673469387752
          }
        ]
      },
      "createTime": "2021-04-13T01:00:54.091953Z"
    }
  ]
}

מדדים להערכת מודל

קובץ סכימה קובע אילו מדדי הערכה מספקת Agent Platform לכל יעד.

אפשר להציג ולהוריד קובצי סכימה ממיקום Cloud Storage הבא:
gs://google-cloud-aiplatform/schema/modelevaluation/

מדדי ההערכה של מודלים לחיזוי הם:

• ‫MAE: השגיאה המוחלטת הממוצעת (MAE) היא ההפרש המוחלט הממוצע בין ערכי היעד לבין הערכים החזויים. המדד הזה נע בין אפס לאינסוף. ערך נמוך יותר מצביע על מודל באיכות גבוהה יותר.
• ‫MAPE: שגיאת האחוזים המוחלטת הממוצעת (MAPE) היא ההפרש המוחלט הממוצע באחוזים בין התוויות לבין הערכים החזויים. המדד הזה נע בין אפס לאינסוף. ערך נמוך יותר מצביע על מודל איכותי יותר.
  הערך MAPE לא מוצג אם עמודת היעד מכילה ערכים של 0. במקרה כזה, MAPE לא מוגדר.
• RMSE: שורש הטעות הריבועית הממוצעת הוא השורש הריבועי של ההפרש הממוצע בריבוע בין ערכי היעד לבין הערכים החזויים. המדד RMSE רגיש יותר לערכים חריגים מהמדד MAE,ולכן אם אתם מודאגים משגיאות גדולות, כדאי להשתמש במדד RMSE כדי להעריך את המודל. בדומה ל-MAE, ערך קטן יותר מצביע על מודל באיכות גבוהה יותר (0 מייצג מודל חיזוי מושלם).
• ‫RMSLE: מדד השגיאה הלוגריתמית של השורש הממוצע הריבועי דומה ל-RMSE, אבל הוא משתמש בלוגריתם הטבעי של הערכים החזויים והערכים בפועל בתוספת 1. המדד RMSLE מעניש על הסקת מסקנות חסרה יותר מאשר על הסקת מסקנות עודפת. זה יכול להיות גם מדד טוב אם אתם לא רוצים להעניש הבדלים בין ערכי הסקה גדולים יותר מאשר בין ערכי הסקה קטנים. המדד הזה נע בין אפס לאינסוף. ערך נמוך יותר מצביע על מודל באיכות גבוהה יותר. מדד ההערכה RMSLE מוחזר רק אם כל ערכי התווית והערכים החזויים הם לא שליליים.
• ‫r^2: r בריבוע (r^2) הוא הריבוע של מקדם המתאם של פירסון בין התוויות לבין הערכים החזויים. הערך של המדד הזה נע בין אפס לאחד. ערך גבוה יותר מציין התאמה טובה יותר לקו הרגרסיה.
• Quantile: אחוזון האחוזים, שמציין את ההסתברות שערך שנצפה יהיה מתחת לערך החזוי. לדוגמה, בקוונטיל 0.2, הערכים שנצפו צפויים להיות נמוכים מהערכים החזויים ב-20% מהמקרים. ‫Agent Platform מספק את המדד הזה אם מציינים minimize-quantile-loss כיעד האופטימיזציה.
• כמותי שנצפה: אחוז הערכים האמיתיים שהיו קטנים מהערך החזוי עבור כמותי נתון. ‫Agent Platform מספק את המדד הזה אם מציינים minimize-quantile-loss כיעד האופטימיזציה.
• הפסד scaled pinball: הפסד scaled pinball בקוונטיל מסוים. ערך נמוך יותר מציין מודל באיכות גבוהה יותר באחוזון הנתון. ‫Agent Platform מספק את המדד הזה אם מציינים minimize-quantile-loss כיעד האופטימיזציה.
• שיוכים של תכונות למודל: ב-Agent Platform מוצגת ההשפעה של כל תכונה על המודל. הערכים מוצגים כאחוזים לכל תכונה: ככל שהאחוז גבוה יותר, כך ההשפעה של התכונה על אימון המודל גדולה יותר. כדאי לעיין במידע הזה כדי לוודא שכל התכונות החשובות ביותר מתאימות לנתונים ולבעיה העסקית שלכם. מידע נוסף זמין במאמר שיוך תכונות לתחזיות.

המאמרים הבאים

• קבלת מסקנות ממודל החיזוי.