הסקה היא הפלט של מודל מאומן ללמידת מכונה. בדף הזה מוסבר על תהליך העבודה לקבלת מסקנות מהמודלים ב-Vertex AI.
ב-Vertex AI יש שתי שיטות לקבלת מסקנות:
-
הסקות אונליין הן בקשות סינכרוניות שנשלחות למודל שמוטמע ב-
Endpoint. לכן, לפני ששולחים בקשה, צריך קודם לפרוס את המשאבModelלנקודת קצה. הפעולה הזו משייכת משאבי מחשוב למודל, כדי שהמודל יוכל להציג מסקנות אונליין עם זמן אחזור נמוך. משתמשים בהסקת מסקנות אונליין כשמבצעים בקשות בתגובה לקלט של אפליקציה או במצבים שבהם נדרשת הסקת מסקנות בזמן אמת. -
הסקת מסקנות (inference) בקבוצה הן בקשות אסינכרוניות שנשלחות למודל שלא נפרס בנקודת קצה. שולחים את הבקשה (כמקור מידע מסוג
BatchPredictionJob) ישירות למקור המידעModel. כדאי להשתמש בהסקת מסקנות באצווה כשלא נדרשת תגובה מיידית ורוצים לעבד נתונים שנצברו באמצעות בקשה אחת.
בדיקת המודל באופן מקומי
לפני שמקבלים מסקנות, כדאי לפרוס את המודל לנקודת קצה מקומית במהלך שלבי הפיתוח והבדיקה. כך תוכלו לבצע איטרציות מהר יותר ולבדוק את המודל בלי לפרוס אותו לנקודת קצה אונליין או לשלם על הסקת מסקנות. הפריסה המקומית מיועדת לפיתוח ולבדיקות מקומיות, ולא לפריסות בייצור.
כדי לפרוס מודל באופן מקומי, משתמשים ב-Vertex AI SDK ל-Python ופורסים LocalModel אל LocalEndpoint.
דוגמה אפשר לראות ב-notebook הזה.
גם אם הלקוח שלכם לא נכתב ב-Python, אתם עדיין יכולים להשתמש ב-Vertex AI SDK ל-Python כדי להפעיל את הקונטיינר והשרת, וכך לבדוק בקשות מהלקוח שלכם.
קבלת מסקנות ממודלים שעברו אימון בהתאמה אישית
כדי לקבל מסקנות, צריך קודם לייבא את המודל. אחרי הייבוא, הוא הופך למשאב Model שמופיע במרשם המודלים של Vertex AI.
לאחר מכן, קוראים את מאמרי העזרה הבאים כדי ללמוד איך לקבל היקשים: