פריסת מודל באמצעות מסוף Google Cloud

במסוף Google Cloud , אפשר ליצור נקודת קצה ציבורית ולפרוס אליה מודל.

אפשר לפרוס מודלים מהדף Online prediction (חיזוי אונליין) או מהדף Model Registry (מרשם המודלים).

פריסת מודל מדף התחזיות אונליין

בדף 'חיזוי אונליין', אפשר ליצור נקודת קצה ולפרוס אליה מודל אחד או יותר באופן הבא:

  1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Online prediction.

    מעבר לדף התחזית אונליין

  2. לוחצים על יצירה.

  3. בחלונית New endpoint:

    1. מזינים את שם נקודת הקצה.

    2. בוחרים באפשרות רגילה בתור סוג הגישה.

    3. כדי ליצור נקודת קצה ציבורית ייעודית (לא משותפת), מסמנים את תיבת הסימון הפעלת DNS ייעודי.

    4. לוחצים על Continue.

  4. בחלונית הגדרות המודל:

    1. בוחרים מודל מהרשימה הנפתחת.

    2. בוחרים את גרסת המודל מהרשימה הנפתחת.

    3. מזינים את אחוז חלוקת התנועה של המודל.

    4. לוחצים על סיום.

    5. חוזרים על השלבים האלה לכל מודל נוסף שרוצים לפרוס.

פריסת מודל מדף מרשם המודלים

בדף Model Registry (מאגר המודלים), אפשר לפרוס מודל לנקודת קצה חדשה או קיימת אחת או יותר באופן הבא:

  1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Models.

    כניסה לדף Models

  2. לוחצים על השם ומזהה הגרסה של המודל שרוצים לפרוס כדי לפתוח את דף הפרטים שלו.

  3. בוחרים בכרטיסייה Deploy & Test (פריסה ובדיקה).

    אם המודל כבר נפרס בנקודות קצה כלשהן, הן מפורטות בקטע Deploy your model.

  4. לוחצים על Deploy to endpoint.

  5. כדי לפרוס את המודל לנקודת קצה חדשה:

    1. בוחרים באפשרות יצירת נקודת קצה חדשה.
    2. מזינים שם לנקודת הקצה החדשה.
    3. כדי ליצור נקודת קצה ציבורית ייעודית (לא משותפת), מסמנים את תיבת הסימון הפעלת DNS ייעודי.
    4. לוחצים על Continue.

    כדי לפרוס את המודל לנקודת קצה קיימת:

    1. בוחרים באפשרות הוספה לנקודת קצה קיימת.
    2. בוחרים את נקודת הקצה מהרשימה הנפתחת.
    3. לוחצים על Continue.

    אפשר לפרוס כמה מודלים לנקודת קצה אחת, או לפרוס את אותו מודל לכמה נקודות קצה.

  6. אם פורסים את המודל לנקודת קצה קיימת שפרוסים בה מודל אחד או יותר, צריך לעדכן את אחוז חלוקת התנועה של המודל שפורסים ושל המודלים שכבר פרוסים, כך שסכום האחוזים יהיה 100%.

  7. אם אתם פורסים את המודל לנקודת קצה חדשה, צריך להזין 100 בפיצול התנועה. אחרת, צריך לשנות את ערכי חלוקת התנועה של כל המודלים בנקודת הקצה כך שהסכום שלהם יהיה 100.

  8. מזינים את מספר הצמתים המינימלי של מחשוב שרוצים לספק למודל.

    זה מספר הצמתים שצריכים להיות זמינים למודל בכל רגע נתון.

    תחויבו על הצמתים שבהם נעשה שימוש, בין אם כדי לטפל בעומס של הסקת מסקנות או עבור צמתים במצב המתנה (מינימום), גם אם אין תנועה של הסקת מסקנות. מחירון

    מספר צמתי החישוב יכול לגדול אם יש צורך לטפל בתנועת הסקת מסקנות, אבל הוא אף פעם לא יעלה על המספר המקסימלי של הצמתים.

  9. כדי להשתמש בהתאמה אוטומטית לעומס, מזינים את המספר המקסימלי של צמתי מחשוב שרוצים ש-Agent Platform תתאים את קנה המידה שלה אליו.

  10. בוחרים את סוג המכונה.

    משאבי מכונה גדולים יותר משפרים את ביצועי ההסקה ומגדילים את העלויות. כאן אפשר להשוות בין סוגי המכונות הזמינים.

  11. בוחרים סוג מאיץ ומספר מאיצים.

    האפשרות הזו מוצגת אם הפעלתם את השימוש במאיץ כשייבאתם או יצרתם את המודל.

    כדי לדעת כמה מאיצים יש, אפשר לעיין בטבלת ה-GPU ולבדוק אילו מספרים תקינים של יחידות GPU אפשר להשתמש בהם עם כל סוג מכונה של CPU. מספר המאיצים מתייחס למספר המאיצים לכל צומת, ולא למספר הכולל של המאיצים בפריסה.

  12. אם רוצים להשתמש בחשבון שירות בהתאמה אישית לפריסה, בוחרים חשבון שירות בתיבת הנפתחת Service account.

  13. איך משנים את הגדרות ברירת המחדל של רישום מסקנות

  14. לוחצים על סיום ליד המודל, ואם כל אחוזי פיצול התנועה נכונים, לוחצים על המשך.

    האזור שבו הפריסה של המודל מתבצעת מוצג. זה חייב להיות האזור שבו יצרתם את המודל.

  15. לוחצים על Deploy (פריסה) כדי לפרוס את המודל בנקודת הקצה.

המאמרים הבאים