סקירה כללית על קבלת מסקנות ב-Agent Platform

הסקה היא הפלט של מודל מאומן ללמידת מכונה. בדף הזה מוסבר על תהליך העבודה לקבלת מסקנות מהמודלים שלכם בפלטפורמת הסוכנים של Gemini Enterprise.

ב-Agent Platform יש שתי שיטות לקבלת מסקנות:

  • הסקות אונליין הן בקשות סנכרוניות שנשלחות למודל שפריסתו מתבצעת ב-Endpoint. לכן, לפני ששולחים בקשה, צריך קודם לפרוס את המשאב Model לנקודת קצה. הפעולה הזו משייכת משאבי מחשוב למודל, כדי שהמודל יוכל להכניס לשימוש בסביבת הייצור היקשים אונליין עם זמן אחזור נמוך. משתמשים בהסקת מסקנות אונליין כשמבצעים בקשות בתגובה לקלט של אפליקציה או במצבים שבהם נדרשת הסקת מסקנות בזמן אמת.
  • הסקת מסקנות (inference) בקבוצות הן בקשות לא סנכרוניות שנשלחות למודל שלא נפרס בנקודת קצה. אתם שולחים את הבקשה (כמקור מידע BatchPredictionJob) ישירות למקור המידע Model. כדאי להשתמש בהסקת מסקנות באצווה כשלא נדרשת תגובה מיידית ורוצים לעבד נתונים שנצברו באמצעות בקשה אחת.

בדיקת המודל באופן מקומי

לפני שמקבלים מסקנות, כדאי לפרוס את המודל לנקודת קצה מקומית במהלך שלבי הפיתוח והבדיקה. כך תוכלו לבצע איטרציות מהר יותר ולבדוק את המודל בלי לפרוס אותו לנקודת קצה אונליין או לשלם על הסקת מסקנות. פריסה מקומית מיועדת לפיתוח ולבדיקה מקומיים, ולא לפריסות בייצור.

כדי לפרוס מודל באופן מקומי, משתמשים ב-Agent Platform SDK ל-Python ופורסים LocalModel אל LocalEndpoint. דוגמה אפשר לראות ב-notebook הזה.

גם אם הלקוח שלכם לא כתוב ב-Python, אתם עדיין יכולים להשתמש ב-Agent Platform SDK for Python כדי להפעיל את הקונטיינר והשרת, וכך לבדוק בקשות מהלקוח.

קבלת מסקנות ממודלים מאומנים בהתאמה אישית

כדי לקבל מסקנות, צריך קודם לייבא את המודל. אחרי שמייבאים אותו, הוא הופך למשאב Model שמופיע במאגר המודלים.

אחר כך, קוראים את התיעוד הבא כדי ללמוד איך לקבל מסקנות:

* קבלת מסקנות רבות בבת אחת

Or
  • פריסת מודל לנקודת קצה וקבלת מסקנות אונליין.

    קבלת מסקנות ממודלים של AutoML

    בניגוד למודלים שאומנו בהתאמה אישית, מודלים של AutoML מיובאים אוטומטית ל-Model Registry אחרי האימון.

    בנוסף לכך, תהליך העבודה של מודלים של AutoML דומה, אבל יש בו הבדלים קלים בהתאם לסוג הנתונים ולמטרת המודל. המסמכים בנושא קבלת מסקנות של AutoML נמצאים לצד מסמכים אחרים בנושא AutoML. בקטעים הבאים מופיעים קישורים לתיעוד.

    תמונה

    במאמר הזה מוסבר איך לקבל מסקנות מהסוגים הבאים של מודלים של AutoML לתמונות:

    טבלאי

    במאמר הזה מוסבר איך לקבל מסקנות מהסוגים הבאים של מודלים טבלאיים של AutoML:

    קבלת מסקנות ממודלים של BigQuery ML

    יש שתי דרכים לקבל מסקנות ממודלים של BigQuery ML:

    • שליחת בקשות למסקנות (Inference) באצווה ישירות מהמודל ב-BigQuery ML.
    • לרשום את המודלים ישירות ב-Model Registry, בלי לייצא אותם מ-BigQuery ML או לייבא אותם ל-Model Registry.

    המאמרים הבאים