במסוף Google Cloud , אפשר ליצור נקודת קצה ציבורית ולפרוס אליה מודל.
אפשר לפרוס מודלים מהדף Online prediction (חיזוי אונליין) או מהדף Model Registry (מרשם המודלים).
פריסת מודל מדף התחזיות אונליין
בדף 'חיזוי אונליין', אפשר ליצור נקודת קצה ולפרוס אליה מודל אחד או יותר באופן הבא:
במסוף Google Cloud , בקטע Vertex AI, עוברים לדף Online prediction.
לוחצים על יצירה.
בחלונית New endpoint:
מזינים את שם נקודת הקצה.
בוחרים באפשרות רגילה בתור סוג הגישה.
כדי ליצור נקודת קצה ציבורית ייעודית (לא משותפת), מסמנים את תיבת הסימון הפעלת DNS ייעודי.
לוחצים על Continue.
בחלונית הגדרות המודל:
בוחרים מודל מהרשימה הנפתחת.
בוחרים את גרסת המודל מהרשימה הנפתחת.
מזינים את אחוז חלוקת התנועה של המודל.
לוחצים על סיום.
חוזרים על השלבים האלה כדי לפרוס מודלים נוספים.
פריסת מודל מדף מרשם המודלים
בדף Model Registry (מאגר המודלים) אפשר לפרוס מודל לנקודת קצה חדשה או קיימת אחת או יותר באופן הבא:
במסוף Google Cloud , בקטע Vertex AI, עוברים לדף Models.
לוחצים על השם ומזהה הגרסה של המודל שרוצים לפרוס כדי לפתוח את דף הפרטים שלו.
בוחרים בכרטיסייה Deploy & Test (פריסה ובדיקה).
אם המודל כבר נפרס לנקודות קצה כלשהן, הן מפורטות בקטע Deploy your model.
לוחצים על Deploy to endpoint.
כדי לפרוס את המודל לנקודת קצה חדשה:
- בוחרים באפשרות יצירת נקודת קצה חדשה.
- מזינים שם לנקודת הקצה החדשה.
- כדי ליצור נקודת קצה ציבורית ייעודית (לא משותפת), מסמנים את תיבת הסימון הפעלת DNS ייעודי.
- לוחצים על Continue.
כדי לפרוס את המודל לנקודת קצה קיימת:
- בוחרים באפשרות הוספה לנקודת קצה קיימת.
- בוחרים את נקודת הקצה מהרשימה הנפתחת.
- לוחצים על Continue.
אפשר לפרוס כמה מודלים לנקודת קצה אחת, או לפרוס את אותו מודל לכמה נקודות קצה.
אם פורסים את המודל לנקודת קצה קיימת שכבר פרוסים בה מודל אחד או יותר, צריך לעדכן את אחוז חלוקת התנועה של המודל שפורסים ושל המודלים שכבר פרוסים, כך שסכום האחוזים יהיה 100%.
אם אתם פורסים את המודל לנקודת קצה חדשה, צריך להזין 100 בחלוקת התנועה. אחרת, צריך לשנות את ערכי חלוקת התנועה של כל המודלים בנקודת הקצה כך שהסכום שלהם יהיה 100.
מזינים את מספר הצמתים המינימלי של מחשוב שרוצים לספק למודל.
זה מספר הצמתים שצריכים להיות זמינים למודל בכל רגע נתון.
תחויבו על הצמתים שבהם נעשה שימוש, בין אם כדי לטפל בעומס של הסקת מסקנות או עבור צמתים במצב המתנה (מינימום), גם אם אין תנועה של הסקת מסקנות. מחירון
מספר צמתי החישוב יכול לגדול אם יש צורך לטפל בתנועת הסקת מסקנות, אבל הוא אף פעם לא יעלה על המספר המקסימלי של הצמתים.
כדי להשתמש בהתאמה אוטומטית לעומס, מזינים את המספר המקסימלי של צמתי מחשוב שרוצים ש-Vertex AI יתאים את קנה המידה שלו עד אליו.
בוחרים את סוג המכונה.
הגדלת משאבי המכונה משפרת את ביצועי ההסקה ומגדילה את העלויות. השוואה בין סוגי המכונות הזמינים
בוחרים סוג מאיץ ומספר מאיצים.
האפשרות הזו מוצגת אם הפעלתם את השימוש ב-Accelerator כשייבאתם או יצרתם את המודל.
כדי לדעת כמה מאיצים יש, צריך לעיין בטבלת ה-GPU ולבדוק אילו מספרים תקינים של יחידות GPU אפשר להשתמש בהם עם כל סוג מכונה של CPU. מספר המאיצים מתייחס למספר המאיצים לכל צומת, ולא למספר הכולל של המאיצים בפריסה.
אם רוצים להשתמש בחשבון שירות בהתאמה אישית לפריסה, בוחרים חשבון שירות בתיבת הנפתחת Service account.
לוחצים על סיום ליד המודל, ואם כל האחוזים של חלוקת התנועה נכונים, לוחצים על המשך.
האזור שבו המודל נפרס מוצג. האזור הזה צריך להיות האזור שבו יצרתם את המודל.
לוחצים על פריסה כדי לפרוס את המודל בנקודת הקצה.