מדריך למתחילים בנושא הסקת מסקנות

המדריך הזה למתחילים מספק מבוא לקבלת מסקנות ממודלים בהתאמה אישית ב-Gemini Enterprise Agent Platform.

יעדי למידה

רמת הניסיון ב-Gemini Enterprise Agent Platform: מתחילים

זמן קריאה משוער: 15 דקות

מה תלמדו:

  • היתרונות בשימוש בשירות מנוהל להסקת מסקנות.
  • איך הסקת מסקנות באצווה פועלת ב-Gemini Enterprise Agent Platform.
  • איך הסקת מסקנות אונליין פועלת ב-Agent Platform.

למה כדאי להשתמש בשירות הסקת מסקנות מנוהל?

נניח שקיבלתם משימה ליצור מודל שמקבל כקלט תמונה של צמח ומנבא את הסוג שלו. אפשר להתחיל באימון מודל בנוטבוק, ולנסות היפרפרמטרים וארכיטקטורות שונים. אחרי שמסיימים לאמן את המודל, אפשר לקרוא לשיטת predict במסגרת למידת המכונה שבחרתם ולבדוק את איכות המודל.

תהליך העבודה הזה מצוין לניסויים, אבל אם רוצים להשתמש במודל כדי לקבל מסקנות לגבי הרבה נתונים, או לקבל מסקנות עם זמן אחזור נמוך תוך כדי תנועה, צריך משהו יותר מ-Notebook. לדוגמה, נניח שאתם מנסים למדוד את המגוון הביולוגי של מערכת אקולוגית מסוימת, ובמקום שבני אדם יזהו ויספרו ידנית מיני צמחים בטבע, אתם רוצים להשתמש במודל ה-ML הזה כדי לסווג קבוצות גדולות של תמונות. אם אתם משתמשים ב-Notebook, יכול להיות שתיתקלו במגבלות זיכרון. בנוסף, הסקת מסקנות לגבי כל הנתונים האלה היא כנראה משימה ארוכה מדי שעלולה להסתיים בזמן קצוב לתפוגה במחברת.

או מה אם תרצו להשתמש במודל הזה באפליקציה שבה משתמשים יכולים להעלות תמונות של צמחים ולקבל זיהוי מיידי שלהם? צריך מקום לאירוח המודל מחוץ למחברת, שאפשר להפעיל ממנו את האפליקציה כדי להסיק מסקנות. בנוסף, לא סביר שתהיה תנועה עקבית למודל, ולכן כדאי להשתמש בשירות שיכול לבצע התאמה אוטומטית לעומס כשצריך.

בכל המקרים האלה, שירות מנוהל של הסקת מסקנות יפחית את החיכוך שקשור לאירוח ולשימוש במודלים של למידת מכונה. במדריך הזה נסביר איך להסיק מסקנות ממודלים של למידת מכונה ב-Gemini Enterprise Agent Platform. חשוב לזכור שיש התאמות אישיות, תכונות ודרכים נוספות ליצירת אינטראקציה עם השירות שלא מפורטות כאן. המדריך הזה נועד לספק סקירה כללית. מידע נוסף מופיע במאמרי העזרה בנושא היקשים של Gemini Enterprise Agent Platform.

סקירה כללית על שירות ההסקה המנוהל

Agent Platform תומכת בהסקת מסקנות באצווה ובהסקת מסקנות אונליין.

הסקת מסקנות באצווה היא בקשה לא סנכרונית. השיטה הזו מתאימה אם אתם לא צריכים לקבל תשובה מיידית ורוצים לעבד נתונים שנצברו בבקשה אחת. בדוגמה שמופיעה במבוא, זה יהיה תרחיש השימוש של אפיון המגוון הביולוגי.

אם רוצים לקבל מסקנות עם השהיה נמוכה מנתונים שמועברים למודל תוך כדי תנועה, אפשר להשתמש בהסקת מסקנות אונליין. בדוגמה שמופיעה במבוא, זהו תרחיש השימוש שבו רוצים להטמיע את המודל באפליקציה שעוזרת למשתמשים לזהות מיד מיני צמחים.

העלאת מודל ל-Gemini Enterprise Agent Platform מרשם המודלים

כדי להשתמש בשירות ההסקה, השלב הראשון הוא להעלות את מודל ה-ML שאומן אל מאגר המודלים. זהו מאגר שבו אפשר לנהל את מחזור החיים של המודלים.

יצירת משאב מודל

כשמאמנים מודלים באמצעות שירות האימון בהתאמה אישית של Gemini Enterprise Agent Platform, אפשר לייבא את המודל באופן אוטומטי למאגר אחרי שמשימת האימון מסתיימת. אם דילגתם על השלב הזה, או אם אימנתם את המודל מחוץ ל-Gemini Enterprise Agent Platform, אתם יכולים להעלות אותו באופן ידני באמצעות Google Cloud המסוף או Agent Platform SDK for Python על ידי הפניה למיקום ב-Cloud Storage עם ארטיפקטים של המודל השמור. הפורמט של הארטיפקטים של המודל יכול להיות savedmodel.pb,‏ model.joblib וכו', בהתאם למסגרת ה-ML שבה אתם משתמשים.

העלאת ארטיפקטים ל-Gemini Enterprise Agent Platform מרשם המודלים יוצרת משאב Model, שמופיע במסוף Google Cloud :

משאב מודל

בחירת קונטיינר

כשמייבאים מודל ל-Gemini Enterprise Agent Platform Model Registry, צריך לשייך אותו למאגר כדי ש-Gemini Enterprise Agent Platform יוכל להגיש בקשות להסקת מסקנות.

מאגרי תגים מוכנים מראש

‫Gemini Enterprise Agent Platform מספקת קונטיינרים מוכנים מראש שאפשר להשתמש בהם להסקת מסקנות. הקונטיינרים המוכנים מראש מאורגנים לפי framework של למידת מכונה וגרסת ה-framework, ומספקים שרתי HTTP inference שאפשר להשתמש בהם כדי להכניס לשימוש בסביבת הייצור inference עם מינימום הגדרות. הם מבצעים רק את פעולת ההסקה של מסגרת למידת המכונה, ולכן אם אתם צריכים לבצע עיבוד מקדים של הנתונים, אתם צריכים לעשות זאת לפני שאתם שולחים את בקשת ההסקה. באופן דומה, כל עיבוד שאחרי צריך להתבצע אחרי ששולחים את בקשת ההסקה. דוגמה לשימוש בקונטיינר מוכן מראש מופיעה במחברת Serving PyTorch image models with prebuilt containers on Agent Platform.

מאגרי תגים בהתאמה אישית

אם בתרחיש השימוש שלכם נדרשות ספריות שלא נכללות במאגרי התגים המוכנים מראש, או אם יש לכם טרנספורמציות נתונים מותאמות אישית שאתם רוצים לבצע כחלק מבקשת ההסקה, אתם יכולים להשתמש במאגר תגים מותאם אישית שאתם יוצרים ומעבירים ל-Artifact Registry. אפשר לבצע התאמה אישית רבה יותר באמצעות קונטיינרים מותאמים אישית, אבל הקונטיינר חייב להריץ שרת HTTP. באופן ספציפי, הקונטיינר צריך להאזין לבדיקות של פעילות, בדיקות של תקינות ובקשות של הסקה ולהגיב להן. ברוב המקרים, האפשרות המומלצת והפשוטה יותר היא להשתמש במאגר מוכן מראש, אם אפשר. דוגמה לשימוש בקונטיינר מותאם אישית מופיעה ב-notebook PyTorch Image Classification Single GPU using Vertex Training with Custom Container

שגרות הסקה בהתאמה אישית

אם התרחיש לדוגמה שלכם מחייב טרנספורמציות מותאמות אישית של עיבוד מקדים ועיבוד פוסט, ואתם לא רוצים את התקורה של בנייה ותחזוקה של קונטיינר בהתאמה אישית, אתם יכולים להשתמש בשגרות הסקה בהתאמה אישית. באמצעות שגרות הסקה בהתאמה אישית, אתם יכולים לספק את טרנספורמציות הנתונים שלכם כקוד Python. מאחורי הקלעים, ה-SDK של Agent Platform ל-Python ייצור קונטיינר בהתאמה אישית שתוכלו לבדוק באופן מקומי ולפרוס ב-Gemini Enterprise Agent Platform. דוגמה לשימוש בשגרות הסקה בהתאמה אישית מופיעה במחברת Custom inference routines with Sklearn

קבלת מסקנות לגבי אצווה

אחרי שהמודל שלכם נרשם במאגר המודלים של פלטפורמת האג'נטים של Gemini Enterprise, תוכלו לשלוח משימת הסקה (inference) של קבוצת נתונים ממסוף Google Cloud או מ-SDK של פלטפורמת האג'נטים ל-Python. תצטרכו לציין את המיקום של נתוני המקור, וגם את המיקום ב-Cloud Storage או ב-BigQuery שבו אתם רוצים לשמור את התוצאות. אפשר גם לציין את סוג המכונה שרוצים שהעבודה הזו תפעל עליה, ואת כל המאיצים האופציונליים. מכיוון ששירות ההסקה מנוהל באופן מלא, Gemini Enterprise Agent Platform מקצה באופן אוטומטי משאבי מחשוב, מבצע את משימת ההסקה ומוודא שמשאבי המחשוב נמחקים אחרי שמשימת ההסקה מסתיימת. אפשר לעקוב אחרי הסטטוס של משימות ההסקה באצווה במסוף Google Cloud .

סטטוס של היסק באצווה

קבלת מסקנות אונליין

כדי לקבל מסקנות אונליין, צריך לבצע את השלב הנוסף של פריסת המודל לנקודת קצה של Gemini Enterprise Agent Platform. הפעולה הזו משייכת את פריטי המודל למשאבים פיזיים כדי להפעיל את המודל עם זמן אחזור נמוך, ויוצרת משאב DeployedModel.

היקש אונליין

אחרי שמבצעים פריסה של המודל לנקודת קצה, הוא מקבל בקשות כמו כל נקודת קצה אחרת של REST, כלומר אפשר להפעיל אותו מפונקציית Cloud Run, מצ'אטבוט, מאפליקציית אינטרנט וכו'. שימו לב שאפשר לפרוס כמה מודלים לנקודת קצה אחת ולפצל את התנועה ביניהם. הפונקציונליות הזו שימושית, למשל, אם רוצים לפרוס גרסה חדשה של מודל באופן הדרגתי, אבל לא רוצים להפנות את כל התנועה למודל החדש באופן מיידי. אפשר גם לפרוס את אותו מודל לכמה נקודות קצה.

מקורות מידע לקבלת היסקים ממודלים בהתאמה אישית ב-Agent Platform

מידע נוסף על אירוח מודלים והצגתם בפלטפורמת Agent Platform זמין במקורות המידע הבאים או במאגר הדוגמאות של פלטפורמת Agent Platform ב-GitHub.