פריסת מודל באמצעות מסוף Google Cloud

במסוף Google Cloud , אפשר ליצור נקודת קצה ציבורית ולפרוס אליה מודל.

אפשר לפרוס מודלים מהדף 'חיזוי אונליין' או מהדף 'מאגר המודלים'.

פריסת מודל מדף התחזיות אונליין

בדף 'חיזוי אונליין', אפשר ליצור נקודת קצה ולפרוס אליה מודל אחד או יותר באופן הבא:

  1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף חיזוי מיידי.

    מעבר לדף התחזית אונליין

  2. לוחצים על יצירה.

  3. בחלונית New endpoint:

    1. מזינים את שם נקודת הקצה.

    2. בוחרים באפשרות רגילה בתור סוג הגישה.

    3. כדי ליצור נקודת קצה ציבורית ייעודית (לא משותפת), מסמנים את תיבת הסימון הפעלת DNS ייעודי.

    4. לוחצים על Continue.

  4. בחלונית Model settings:

    1. בוחרים מודל מהרשימה הנפתחת.

    2. בוחרים את גרסת המודל מהרשימה הנפתחת.

    3. מזינים את אחוז חלוקת התנועה של המודל.

    4. לוחצים על סיום.

    5. חוזרים על השלבים האלה כדי לפרוס מודלים נוספים.

פריסת מודל מדף מרשם המודלים

בדף Model Registry (מאגר המודלים) אפשר לפרוס מודל לנקודת קצה חדשה או קיימת אחת או יותר באופן הבא:

  1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Models.

    כניסה לדף Models

  2. לוחצים על השם ומזהה הגרסה של המודל שרוצים לפרוס כדי לפתוח את דף הפרטים שלו.

  3. בוחרים בכרטיסייה Deploy & Test (פריסה ובדיקה).

    אם המודל כבר נפרס בנקודות קצה כלשהן, הן מפורטות בקטע Deploy your model.

  4. לוחצים על Deploy to endpoint.

  5. כדי לפרוס את המודל לנקודת קצה חדשה:

    1. בוחרים באפשרות יצירת נקודת קצה חדשה.
    2. מזינים שם לנקודת הקצה החדשה.
    3. כדי ליצור נקודת קצה ציבורית ייעודית (לא משותפת), מסמנים את תיבת הסימון הפעלת DNS ייעודי.
    4. לוחצים על Continue.

    כדי לפרוס את המודל לנקודת קצה קיימת:

    1. בוחרים באפשרות הוספה לנקודת קצה קיימת.
    2. בוחרים את נקודת הקצה מהרשימה הנפתחת.
    3. לוחצים על Continue.

    אפשר לפרוס כמה מודלים לנקודת קצה אחת, או לפרוס את אותו מודל לכמה נקודות קצה.

  6. אם פורסים את המודל לנקודת קצה קיימת שכבר פרוסים בה מודל אחד או יותר, צריך לעדכן את אחוז חלוקת התנועה של המודל שפורסים ושל המודלים שכבר פרוסים, כך שסכום האחוזים יהיה 100%.

  7. אם אתם פורסים את המודל לנקודת קצה חדשה, צריך להזין 100 בפיצול התעבורה. אחרת, צריך לשנות את ערכי חלוקת התנועה של כל המודלים בנקודת הקצה כך שהסכום שלהם יהיה 100.

  8. מזינים את המספר המינימלי של צמתי מחשוב שרוצים לספק למודל.

    זה מספר הצמתים שצריכים להיות זמינים למודל בכל רגע.

    תחויבו על הצמתים שבהם נעשה שימוש, בין אם כדי לטפל בעומס ההסקה או עבור צמתים במצב המתנה (מינימום), גם אם אין תנועת הסקה. מחירון

    מספר צמתי החישוב יכול לגדול אם יש צורך לטפל בתנועת הסקת מידע, אבל הוא אף פעם לא יהיה גבוה ממספר הצמתים המקסימלי.

  9. כדי להשתמש בהתאמה אוטומטית לעומס, מזינים את המספר המקסימלי של צמתי מחשוב שרוצים שה-Agent Platform תתאים את קנה המידה שלה עד אליו.

  10. בוחרים את סוג המכונה.

    הגדלת משאבי המכונה משפרת את ביצועי ההסקה ומגדילה את העלויות. השוואה בין סוגי המכונות הזמינים

  11. בוחרים סוג מאיץ ומספר מאיצים.

    האפשרות הזו מוצגת אם הפעלתם את השימוש במאיץ כשייבאתם או יצרתם את המודל.

    כדי לדעת כמה מאיצים יש, אפשר לעיין בטבלת ה-GPU ולבדוק אילו מספרים תקינים של יחידות GPU אפשר להשתמש בהם עם כל סוג של מכונת CPU. מספר המאיצים מתייחס למספר המאיצים לכל צומת, ולא למספר הכולל של המאיצים בפריסה.

  12. אם רוצים להשתמש בחשבון שירות בהתאמה אישית לפריסה, בוחרים חשבון שירות בתיבת הנפתחת Service account.

  13. איך משנים את הגדרות ברירת המחדל של רישום מסקנות

  14. לוחצים על סיום ליד המודל, ואם כל אחוזי פיצול התנועה נכונים, לוחצים על המשך.

    האזור שבו המודל נפרס מוצג. האזור הזה צריך להיות האזור שבו יצרתם את המודל.

  15. לוחצים על Deploy (פריסה) כדי לפרוס את המודל בנקודת הקצה.

המאמרים הבאים