מדריך למתחילים בנושא הסקת מסקנות

המדריך הזה למתחילים מספק מבוא להסקת מסקנות ממודלים בהתאמה אישית ב-Gemini Enterprise Agent Platform.

יעדי למידה

רמת הניסיון ב-Gemini Enterprise Agent Platform: מתחילים

זמן קריאה משוער: 15 דקות

מה תלמדו:

  • היתרונות בשימוש בשירות מנוהל להסקת מסקנות.
  • איך הסקת מסקנות באצווה פועלת ב-Gemini Enterprise Agent Platform.
  • איך הסקת מסקנות אונליין פועלת ב-Agent Platform.

למה כדאי להשתמש בשירות הסקת מסקנות מנוהל?

נניח שקיבלתם משימה ליצור מודל שמקבל כקלט תמונה של צמח ומנבא את הסוג שלו. אפשר להתחיל באימון מודל ב-Notebook, ולנסות היפרפרמטרים וארכיטקטורות שונים. אחרי שמסיימים לאמן את המודל, אפשר לקרוא לשיטת predict במסגרת למידת המכונה שבחרתם ולבדוק את איכות המודל.

תהליך העבודה הזה מצוין לניסויים, אבל אם רוצים להשתמש במודל כדי לקבל מסקנות לגבי הרבה נתונים, או לקבל מסקנות עם זמן אחזור נמוך תוך כדי תנועה, צריך משהו יותר מ-Notebook. לדוגמה, נניח שאתם מנסים למדוד את המגוון הביולוגי של מערכת אקולוגית מסוימת, ובמקום שאנשים יזהו ויספרו ידנית מינים של צמחים בטבע, אתם רוצים להשתמש במודל ה-ML הזה כדי לסווג קבוצות גדולות של תמונות. אם אתם משתמשים ב-Notebook, יכול להיות שתיתקלו במגבלות זיכרון. בנוסף, הסקת מסקנות לגבי כל הנתונים האלה היא כנראה משימה ארוכה מדי שעלולה להסתיים בזמן קצוב לתפוגה במחברת.

או מה אם תרצו להשתמש במודל הזה באפליקציה שבה משתמשים יכולים להעלות תמונות של צמחים ולקבל זיהוי מיידי שלהם? צריך מקום לאירוח המודל מחוץ למחברת, שאפשר להפעיל ממנו את האפליקציה כדי להסיק מסקנות. בנוסף, לא סביר שתהיה תנועה עקבית למודל, ולכן כדאי להשתמש בשירות שיכול לבצע התאמה אוטומטית לעומס כשצריך.

בכל המקרים האלה, שירות ניהול הסקת מסקנות יצמצם את החיכוך שנוצר מאירוח ושימוש במודלים של ML. במדריך הזה מוסבר איך להסיק מסקנות ממודלים של ML ב-Gemini Enterprise Agent Platform. חשוב לציין שיש אפשרויות נוספות להתאמה אישית, תכונות ודרכים ליצירת אינטראקציה עם השירות שלא מפורטות כאן. המדריך הזה נועד לספק סקירה כללית. מידע נוסף זמין במסמכי התיעוד בנושא הסקת מסקנות ב-Gemini Enterprise Agent Platform.

סקירה כללית על שירות ההסקה המנוהל

Agent Platform תומכת בהסקת מסקנות באצווה ובהסקת מסקנות אונליין.

הסקת מסקנות באצווה היא בקשה לא סנכרונית. השיטה הזו מתאימה אם אתם לא צריכים לקבל תשובה מיידית ורוצים לעבד נתונים שנצברו בבקשה אחת. בדוגמה שמופיעה במבוא, זה יהיה תרחיש השימוש של אפיון המגוון הביולוגי.

אם רוצים לקבל מסקנות עם השהיה נמוכה מנתונים שמועברים למודל תוך כדי תנועה, אפשר להשתמש בהסקת מסקנות אונליין. בדוגמה שמופיעה במבוא, זהו תרחיש השימוש שבו רוצים להטמיע את המודל באפליקציה שעוזרת למשתמשים לזהות מיד מיני צמחים.

העלאת מודל ל-Gemini Enterprise Agent Platform מרשם המודלים

כדי להשתמש בשירות ההסקה, קודם צריך להעלות את מודל ה-ML שאומן אל מאגר המודלים. זהו מאגר שבו אפשר לנהל את מחזור החיים של המודלים.

יצירת משאב מודל

כשמאמנים מודלים באמצעות שירות האימון בהתאמה אישית של Gemini Enterprise Agent Platform, אפשר לייבא את המודל באופן אוטומטי למאגר אחרי שמשימת האימון מסתיימת. אם דילגתם על השלב הזה, או אם אימנתם את המודל מחוץ ל-Gemini Enterprise Agent Platform, אתם יכולים להעלות אותו באופן ידני באמצעות Google Cloud המסוף או Agent Platform SDK for Python. לשם כך, צריך להפנות למיקום ב-Cloud Storage שבו שמורים ארטיפקטים של המודל. הפורמט של הארטיפקטים של המודל יכול להיות savedmodel.pb, model.joblib וכו', בהתאם למסגרת ה-ML שבה אתם משתמשים.

העלאת ארטיפקטים למאגר המודלים של Gemini Enterprise Agent Platform יוצרת משאב Model, שמוצג במסוף Google Cloud :

משאב מודל

בחירת מאגר

כשמייבאים מודל ל-Gemini Enterprise Agent Platform Model Registry, צריך לשייך אותו למאגר כדי ש-Gemini Enterprise Agent Platform יוכל להציג בקשות הסקה.

מאגרי תגים מוכנים מראש

‫Gemini Enterprise Agent Platform מספקת קונטיינרים מוכנים מראש שאפשר להשתמש בהם להסקת מסקנות. הקונטיינרים המוכנים מראש מאורגנים לפי מסגרת למידת מכונה וגרסת המסגרת, ומספקים שרתי הסקה מסוג HTTP שאפשר להשתמש בהם כדי להציג הסקות עם מינימום הגדרות. הם מבצעים רק את פעולת ההסקה של מסגרת למידת המכונה, ולכן אם אתם צריכים לבצע עיבוד מקדים של הנתונים, אתם צריכים לעשות זאת לפני שאתם שולחים את בקשת ההסקה. באופן דומה, כל עיבוד שאחרי צריך להתבצע אחרי ששולחים את בקשת ההסקה. דוגמה לשימוש בקונטיינר מוכן מראש מופיעה במחברת Serving PyTorch image models with prebuilt containers on Agent Platform.

מאגרי תגים בהתאמה אישית

אם תרחיש השימוש שלכם דורש ספריות שלא נכללות במאגרי התקנים המוכנים מראש, או אם יש לכם טרנספורמציות נתונים מותאמות אישית שאתם רוצים לבצע כחלק מבקשת ההסקה, אתם יכולים להשתמש במאגר תבניות מותאם אישית שאתם בונים ומעבירים ל-Artifact Registry. מאגרי תבניות מותאמים אישית מאפשרים התאמה אישית רבה יותר, אבל מאגר התבניות חייב להריץ שרת HTTP. באופן ספציפי, מאגר התבניות חייב להאזין לבדיקות פעילות, לבדיקות תקינות ולבקשות הסקה ולהגיב להן. ברוב המקרים, מומלץ להשתמש במאגר תבניות מוכן מראש אם אפשר, כי זו האפשרות הפשוטה יותר. דוגמה לשימוש במאגר תבניות מותאם אישית מופיעה במחברת PyTorch Image Classification Single GPU using Vertex Training with Custom Container.

שגרות הסקה בהתאמה אישית

אם תרחיש השימוש שלכם דורש טרנספורמציות מותאמות אישית של עיבוד מראש ועיבוד סופי, ואתם לא רוצים את התקורה של בנייה ותחזוקה של קונטיינר בהתאמה אישית, אתם יכולים להשתמש בשגרות חיזוי בהתאמה אישית. באמצעות שגרות חיזוי בהתאמה אישית, אתם יכולים לספק את טרנספורמציות הנתונים שלכם כקוד Python, ומתחת לפני השטח, ה-SDK של Agent Platform ל-Python יבנה קונטיינר בהתאמה אישית שתוכלו לבדוק באופן מקומי ולפרוס ב-Gemini Enterprise Agent Platform. דוגמה לשימוש בשגרות חיזוי בהתאמה אישית מופיעה בנוטבוק Custom inference routines with Sklearn

קבלת מסקנות לגבי אצווה

אחרי שהמודל שלכם נרשם במאגר המודלים של פלטפורמת האג'נטים של Gemini Enterprise, תוכלו לשלוח משימת הסקה (inference) של קבוצת נתונים ממסוף Google Cloud או מ-SDK של פלטפורמת האג'נטים ל-Python. תצטרכו לציין את המיקום של נתוני המקור, וגם את המיקום ב-Cloud Storage או ב-BigQuery שבו אתם רוצים לשמור את התוצאות. אפשר גם לציין את סוג המכונה שרוצים שהעבודה הזו תפעל עליה, ומאיצי חומרה אופציונליים. מכיוון ששירות ההסקה מנוהל באופן מלא, Gemini Enterprise Agent Platform מקצה באופן אוטומטי משאבי מחשוב, מבצע את משימת ההסקה ומוודא שמשאבי המחשוב יימחקו אחרי שמשימת ההסקה תסתיים. אפשר לעקוב אחרי הסטטוס של משימות ההסקה באצווה ב Google Cloud מסוף.

סטטוס של הסקת מסקנות באצווה

קבלת מסקנות אונליין

כדי לקבל מסקנות אונליין, צריך לבצע עוד שלב: פריסת המודל לנקודת קצה של Gemini Enterprise Agent Platform. כך משייכים את ארטיפקטי המודל למשאבים פיזיים כדי להפעיל את המודל עם זמן אחזור נמוך, ויוצרים משאב DeployedModel.

היקש אונליין

אחרי שמבצעים פריסה של המודל לנקודת קצה, הוא מקבל בקשות כמו כל נקודת קצה אחרת של REST. כלומר, אפשר להפעיל אותו מפונקציית Cloud Run, מצ'אטבוט, מאפליקציית אינטרנט וכו'. שימו לב שאפשר לפרוס כמה מודלים לנקודת קצה אחת, ולפצל את התנועה ביניהם. הפונקציונליות הזו שימושית, למשל, אם רוצים להשיק גרסה חדשה של מודל אבל לא רוצים להפנות את כל התנועה למודל החדש באופן מיידי. אפשר גם לפרוס את אותו מודל לכמה נקודות קצה.

מקורות מידע לקבלת היסקים ממודלים בהתאמה אישית ב-Agent Platform

מידע נוסף על אירוח מודלים והצגתם בפלטפורמת הסוכנים זמין במקורות המידע הבאים או במאגר הדוגמאות של Agent Platform ב-GitHub.