שיוך תכונות לחיזוי

מבוא

בדף הזה מובאת סקירה כללית קצרה של שיטות שיוך התכונות שזמינות ב-Agent Platform.

המדד 'חשיבות התכונה הגלובלית' (שיוכים של תכונות המודל) מראה איך כל תכונה משפיעה על המודל. הערכים הם אחוזים לכל תכונה: ככל שהאחוז גבוה יותר, כך התכונה השפיעה יותר על אימון המודל. לדוגמה, אחרי בדיקת חשיבות התכונה הגלובלית של המודל, יכול להיות שתגיעו למסקנה הבאה: "המודל מראה שהמכירות בחודש הקודם הן בדרך כלל המנבא החזק ביותר של המכירות בחודש הבא. גורמים כמו מספר הלקוחות והמבצעים חשובים, אבל הם פחות חשובים מנתוני המכירות".

כדי לראות את חשיבות התכונות הגלובלית של המודל, בודקים את מדדי ההערכה.

שיוכים של מאפיינים מקומיים למודלים של סדרות זמן מציינים את מידת התרומה של כל מאפיין במודל להסקת מסקנות. הם מודדים את התרומה של מאפיין להסקת מסקנות ביחס לערך בסיסי של קלט. במאפיינים מספריים כמו מכירות, ערך הבסיס של הקלט הוא חציון המכירות. במאפיינים קטגוריים כמו שם המוצר, ערך הבסיס של הקלט הוא שם המוצר הנפוץ ביותר. סכום כל השיוכים לא שווה להסקת המסקנות. הסכום מציין את מידת ההבדל בין המסקנה לבין המסקנה הבסיסית (כלומר, כל ערכי הקלט הם ערכי בסיס).

השיוך של התכונות נקבע על סמך תחזיות שנוצרות עבור תרחישים היפותטיים. הנה דוגמה לתחזית: מהי התחזית אם הערך של המודעה TRUE ב-2020-11-21 יוחלף ב-FALSE, שהוא הערך הנפוץ ביותר? מספר התרחישים ההיפותטיים הנדרש גדל בהתאם למספר העמודות ומספר הנתיבים (שנוצרו על ידי השירות). מספר ההסקות שמתקבלות עשוי להיות גדול פי כמה סדרי גודל ממספר ההסקות במשימת הסקה רגילה, וזמן הריצה הצפוי גדל בהתאם.

אתם יכולים להשתמש בחיזוי באמצעות AutoML או בTabular Workflow for Forecasting כדי ליצור שאילתות לגבי שיוך של תכונות מקומיות. חיזוי באמצעות AutoML תומך רק בהסקת מסקנות באצווה. Tabular Workflow for Forecasting תומך גם בהסקת מסקנות באצווה וגם בהסקת מסקנות אונליין.

יתרונות

אם בודקים מקרים ספציפיים וגם צוברים את השיוכים של התכונות במערך נתוני האימון, אפשר לקבל תובנות מעמיקות יותר לגבי אופן הפעולה של המודל. כדאי להביא בחשבון את היתרונות הבאים:

• ניפוי באגים במודלים: שיוך תכונות יכול לעזור לזהות בעיות בנתונים שבדרך כלל לא מזוהות בטכניקות סטנדרטיות להערכת מודלים.

• אופטימיזציה של מודלים: אתם יכולים לזהות ולהסיר תכונות שפחות חשובות, וכך ליצור מודלים יעילים יותר.

מגבלות קונספטואליות

חשוב להביא בחשבון את המגבלות הבאות של שיוך לתכונות:

• שיוכי תכונות, כולל חשיבות תכונות מקומית ל-AutoML, ספציפיים להסקות בודדות. בדיקת שיוכי התכונות להסקה בודדת עשויה לספק תובנה טובה, אבל יכול להיות שהתובנה לא תהיה ניתנת להכללה לכל המחלקה עבור המופע הבודד הזה, או לכל המודל.

  כדי לקבל תובנות כלליות יותר לגבי מודלים של AutoML, כדאי לעיין בחשיבות התכונות של המודל. כדי לקבל תובנות כלליות יותר שמתאימות למודלים אחרים, אפשר לצבור שיוכים על קבוצות משנה של מערך הנתונים או על מערך הנתונים כולו.

• כל שיוך מראה רק את מידת ההשפעה של התכונה על ההסקה בדוגמה הספציפית הזו. שיוך יחיד לא בהכרח משקף את ההתנהגות הכוללת של המודל. כדי להבין את ההתנהגות המשוערת של המודל במערך נתונים שלם, צריך לצבור את השיוכים על פני מערך הנתונים כולו.

• שיוכי תכונות יכולים לעזור בניפוי באגים במודל, אבל הם לא תמיד מציינים באופן ברור אם הבעיה נובעת מהמודל או מהנתונים שהמודל אומן עליהם. כדאי להפעיל שיקול דעת ולנסות לאבחן בעיות נפוצות בנתונים כדי לצמצם את מרחב הגורמים האפשריים.

• השיוכים תלויים לחלוטין במודל ובנתונים ששימשו לאימון המודל. הם יכולים לחשוף רק את הדפוסים שהמודל מצא בנתונים, ולא יכולים לזהות קשרים בסיסיים בנתונים. הנוכחות או היעדר של שיוך חזק לתכונה מסוימת לא אומרת שיש או אין קשר בין התכונה הזו לבין היעד. השיוך רק מראה אם המודל משתמש בתכונה בהסקת המסקנות שלו או לא.

• שיוכים לבדם לא יכולים להראות אם המודל הוגן, לא מוטה או באיכות טובה. חשוב להעריך בקפידה את נתוני האימון ואת מדדי ההערכה בנוסף לשיוכים.

מידע נוסף על מגבלות זמין ב[סקירה מפורטת בנושא הסברים ב-AI].

שיפור השיוך של תכונות

הגורמים הבאים משפיעים הכי הרבה על שיוך התכונות:

• שיטות השיוך מספקות קירוב של ערך Shapley. כדי לשפר את הדיוק של הקירוב, אפשר להגדיל את מספר הנתיבים בשיטת הדגימה של Shapley. כתוצאה מכך, יכול להיות שערכי השיוך ישתנו באופן משמעותי.
• השיוכים רק מציינים את מידת ההשפעה של התכונה על השינוי בערך ההסקה, ביחס לערך הבסיסי. חשוב לבחור בסיס השוואה משמעותי שרלוונטי לשאלה ששואלים את המודל. ערכי השיוך והפרשנות שלהם עשויים להשתנות באופן משמעותי כשמחליפים את נקודות ההשוואה.

מספר הנתיבים וערכי הבסיס מוצגים בפרמטרים ובמטא-נתונים של ההסבר.

הצגת המטא-נתונים והפרמטרים של ההסבר

הפרמטרים והמטא-נתונים של ההסבר מכילים את הפרטים הבאים:

• ‫static_value: ערכי הבסיס שמשמשים ליצירת ההסברים.
• ‫pathCount: מספר הנתיבים, שהוא גורם בכמות הזמן שנדרשת ליצירת שיוכים של תכונות.
• historical_values, ‏ prediction_values: עמודות שזמינות בתחזית.
• ‫historical_values: עמודות שלא זמינות בתחזית.

אפשר לראות את המודל באמצעות Agent Platform API בארכיטקטורת REST, והוא כולל את מפרט ההסבר.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION: האזור שבו המודל מאוחסן
• ‫PROJECT: [מזהה הפרויקט](/resource-manager/docs/creating-managing-projects#identifiers). .
• ‫MODEL_ID: המזהה של משאב המודל

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID" | Select-Object -Expand Content

הפלט שיוצג לכם עבור מודל AutoML מאומן אמור להיות דומה לזה שמופיע כאן.

תשובה

{
  "name": "projects/PROJECT/locations/LOCATION/models/MODEL_ID",
  "displayName": "MODEL_DISPLAYNAME",
  ...
  "explanationSpec": {
    "parameters": {
      "sampledShapleyAttribution": {
        "pathCount": 6
      },
      "topK": -1
    },
    "metadata": {
      "inputs": {
        "prediction_values": {
          "inputBaselines": [
            [
              {
                "date": "2016-11-17",
                "advertisement": "0",
                "holiday": "0"
              }
            ]
          ]
        },
        "static_value": {
          "inputBaselines": [
            {
              "product": "product_0",
              "store": "store_0"
            }
          ]
        },
        "historical_values": {
          "inputBaselines": [
            [
              {
                "date": "2016-11-17",
                "advertisement": "0",
                "holiday": "0",
                "sales": 371.03544292464909
              }
            ]
          ]
        }
      },
      "outputs": {
        "value": {}
      },
      "featureAttributionsSchemaUri": "..."
    }
  }
}

אלגוריתם

פלטפורמת הסוכנים של Gemini Enterprise מספקת שיוך של תכונות באמצעות ערכי שאפלי, אלגוריתם של תורת המשחקים השיתופית שמקצה קרדיט לכל שחקן במשחק על תוצאה מסוימת. כשמחילים את זה על מודלים של למידת מכונה, כל תכונה של המודל נחשבת ל'שחקן' במשחק, והקרדיט מוקצה באופן יחסי לתוצאה של מסקנה מסוימת. במודלים של נתונים מובְנים, פלטפורמת הסוכנים משתמשת בקירוב של דגימה של ערכי שאפלי מדויקים שנקרא שאפלי מדוגם.

למידע מפורט על אופן הפעולה של שיטת הדגימה של ערך שייפלי, אפשר לקרוא את המאמר [Bounding the Estimation Error of Sampling-based Shapley Value Approximation][sampled-shapley-paper].

המאמרים הבאים

במקורות המידע הבאים תוכלו למצוא חומר לימודי שימושי נוסף:

• למידת מכונה שניתן לפרש: ערכי Shapley
• מבוא לערכי Shapley