נקודת מבט של AI ו-ML: אופטימיזציה של עלויות

Last reviewed 2025-05-28 UTC

במסמך Well-Architected Framework: AI and ML perspective מופיעה סקירה כללית של עקרונות והמלצות לאופטימיזציה של העלות של מערכות AI לאורך מחזור החיים של ML. אם הארגון שלכם יאמץ גישה פרואקטיבית ומבוססת-מידע לניהול עלויות, הוא יוכל לממש את הפוטנציאל המלא של מערכות AI ו-ML, וגם לשמור על משמעת פיננסית. ההמלצות במסמך הזה תואמות לעקרון הוזלת העלויות של Google Cloud Well-Architected Framework.

מערכות AI ו-ML יכולות לעזור לכם להפיק תובנות חשובות ולחזות מגמות על סמך נתונים. לדוגמה, אתם יכולים לצמצם את החיכוך בתהליכים פנימיים, לשפר את חוויית המשתמש ולקבל תובנות מעמיקות יותר לגבי הלקוחות. הענן מציע כמויות עצומות של משאבים וזמן קצר להפקת ערך, בלי השקעות גדולות מראש בעומסי עבודה של AI ו-ML. כדי למקסם את הערך העסקי ולהתאים את ההוצאות ליעדים העסקיים, צריך להבין את הגורמים שמשפיעים על העלויות, לבצע אופטימיזציה יזומה של העלויות, להגדיר אמצעי בקרה על ההוצאות ולאמץ שיטות עבודה של FinOps.

ההמלצות במסמך הזה ממופות לעקרונות הליבה הבאים:

הגדרת העלויות וההחזרים ומדידתם

כדי לנהל ביעילות את העלויות של AI ו-ML ב- Google Cloud, צריך להגדיר ולמדוד את העלויות של משאבי הענן ואת הערך העסקי של יוזמות ה-AI וה-ML. כדי לעזור לכם לעקוב אחרי ההוצאות ברמת פירוט גבוהה, Google Cloud מספקת כלים מקיפים לניהול חיובים ועלויות, כמו:

  • דוחות וטבלאות של חיוב ב-Cloud
  • לוחות בקרה, תקציבים והתראות ב-Looker Studio
  • Cloud Monitoring
  • Cloud Logging

כדי לקבל החלטות מושכלות לגבי הקצאת משאבים ואופטימיזציה, כדאי לעיין בהמלצות הבאות.

הגדרת יעדים עסקיים ומדדי KPI

התאמה בין הבחירות הטכניות בפרויקטים של AI ו-ML לבין היעדים העסקיים ומדדי הביצועים המרכזיים (KPI).

הגדרת יעדים אסטרטגיים ומדדי KPI שמתמקדים בהחזר ROI

חשוב לוודא שפרויקטים של AI ו-ML תואמים ליעדים אסטרטגיים כמו צמיחה בהכנסות, צמצום עלויות, שביעות רצון לקוחות ויעילות. כדאי לשתף את בעלי העניין כדי להבין את סדרי העדיפויות של העסק. להגדיר יעדים ספציפיים, מדידים, ברי השגה, רלוונטיים ותחומי זמן (SMART) ל-AI ול-ML. לדוגמה, מטרה חכמה היא: "קיצור זמן הטיפול בצ'אט לתמיכת לקוחות ב-15% תוך 6 חודשים באמצעות צ'אט בוט מבוסס-AI".

כדי להתקדם לעבר היעדים העסקיים ולמדוד את ההחזר על ההשקעה (ROI), צריך להגדיר מדדי KPI לקטגוריות הבאות של מדדים:

  • עלויות של אימון, הסקה, אחסון ומשאבי רשת, כולל עלויות ספציפיות ליחידה (למשל, עלות להסקה, לנקודה על הגרף או למשימה). המדדים האלה עוזרים לכם לקבל תובנות לגבי יעילות והזדמנויות לאופטימיזציה של העלויות. כדי לעקוב אחרי העלויות האלה, אפשר להשתמש בדוחות החיוב ב-Cloud ובלוחות הבקרה של Cloud Monitoring.
  • מדדי ערך עסקי כמו צמיחה בהכנסות, חיסכון בעלויות, שביעות רצון לקוחות, יעילות, דיוק ואימוץ. אפשר לעקוב אחרי המדדים האלה באמצעות ניתוח נתונים ב-BigQuery ולוחות בקרה ב-Looker.

  • מדדים ספציפיים לתחום, כמו:

    • תחום הקמעונאות: מדידת העלייה בהכנסות והנטישה
    • תחום הבריאות: מדידת הזמן של המטופלים והתוצאות שלהם
    • ענף הפיננסים: מדידת הפחתה בהונאות

  • מדדים ספציפיים לפרויקט. אפשר לעקוב אחרי המדדים האלה באמצעות Vertex AI Experiments והערכה.

    • ‫AI חיזוי: מדידת הדיוק והפרטים
    • AI גנרטיבי: מדידת ההטמעה, שביעות הרצון ואיכות התוכן
    • ‫AI לראייה ממוחשבת: מדידת הדיוק

טיפוח תרבות של מודעות לעלויות ואופטימיזציה מתמשכת

כדאי לאמץ את העקרונות של FinOps כדי לוודא שלכל פרויקט AI ולמידת מכונה יש עלויות משוערות ודרכים למדוד ולעקוב אחרי העלויות בפועל לאורך מחזור החיים שלו. חשוב לוודא שלעלויות ולתועלות העסקיות של הפרויקטים שלכם יש בעלים מוגדרים ושהאחריות ברורה.

מידע נוסף זמין במאמר בנושא טיפוח תרבות של מודעות לעלויות בעמודה Cost Optimization של Google Cloud Well-Architected Framework.

שיפור הערך ואופטימיזציה מתמשכת באמצעות איטרציה ומשוב

מיפוי של אפליקציות AI ו-ML ישירות ליעדים העסקיים ומדידת החזר ה-ROI.

כדי לאמת את ההשערות לגבי החזר ה-ROI, מתחילים בפרויקטים ניסיוניים ומשתמשים במחזור האופטימיזציה האיטרטיבי הבא:

  1. מעקב רציף וניתוח נתונים: מעקב אחרי מדדי KPI ועלויות כדי לזהות סטיות והזדמנויות לאופטימיזציה.
  2. ביצוע שינויים מבוססי-נתונים: אופטימיזציה של אסטרטגיות, מודלים, תשתית והקצאת משאבים על סמך תובנות מנתונים.
  3. משפרים באופן איטרטיבי: משנים את היעדים העסקיים ואת מדדי ה-KPI בהתאם למה שלמדתם ולצרכים העסקיים המשתנים. האיטרציה הזו עוזרת לכם לשמור על רלוונטיות ועל התאמה אסטרטגית.
  4. יצירת לולאת משוב: חשוב לבדוק את הביצועים, העלויות והערך עם בעלי העניין כדי לשפר את האופטימיזציה המתמשכת ולתכנן פרויקטים עתידיים.

ניהול נתוני החיוב באמצעות Cloud Billing ותוויות

כדי לבצע אופטימיזציה יעילה של העלויות, צריך לראות את המקור של כל רכיב עלות. ההמלצות בקטע הזה יעזרו לכם להשתמש בכלים של Google Cloudכדי לקבל תובנות מפורטות לגבי העלויות של AI ו-ML. אפשר גם לשייך עלויות לפרויקטים, לצוותים ולפעילויות ספציפיים של AI ו-ML. התובנות האלה מספקות את הבסיס לאופטימיזציה של העלויות.

ארגון וסימון Google Cloud משאבים

  • מבנה הפרויקטים והמשאבים בהיררכיה שמשקפת את המבנה הארגוני ואת תהליכי העבודה של AI ו-ML. כדי לעקוב אחרי העלויות ולנתח אותן ברמות שונות, כדאי לארגן את המשאבים באמצעות ארגונים, תיקיות ופרויקטים. Google Cloud מידע נוסף זמין במאמר בנושא הגדרת היררכיית משאבים ל- Google Cloud landing zone.
  • כדאי להחיל תוויות משמעותיות על המשאבים. אתם יכולים להשתמש בתוויות שמציינות את הפרויקט, הצוות, הסביבה, שם המודל, מערך הנתונים, תרחיש השימוש ודרישות הביצועים. התוויות מספקות הקשר חשוב לנתוני החיוב ומאפשרות ניתוח מפורט של העלויות.
  • חשוב לשמור על עקביות במוסכמות התיוג בכל הפרויקטים של AI ו-ML. מוסכמות עקביות למתן תוויות מבטיחות שהנתונים לחיוב יהיו מאורגנים ושאפשר יהיה לנתח אותם בקלות.
  • כדי לבצע ניתוח מפורט ולהפיק דוחות, אפשר לייצא את נתוני החיוב ל-BigQuery. ל-BigQuery יש יכולות שאילתה מתקדמות שמאפשרות לכם לנתח את נתוני החיוב כדי להבין את העלויות.
  • כדי לצבור עלויות לפי תוויות, פרויקטים או תקופות זמן ספציפיות, אפשר לכתוב שאילתות SQL בהתאמה אישית ב-BigQuery. בעזרת שאילתות כאלה אפשר לשייך עלויות לפעילויות ספציפיות של AI ולמידת מכונה, כמו אימון מודלים, כוונון היפר-פרמטרים או הסקה.
  • כדי לזהות חריגות בעלויות או עליות חדות לא צפויות בהוצאות, אפשר להשתמש ביכולות הניתוח ב-BigQuery. הגישה הזו יכולה לעזור לכם לזהות בעיות פוטנציאליות או חוסר יעילות בעומסי העבודה של AI ו-ML.
  • כדי לזהות ולנהל עלויות לא צפויות, אפשר להשתמש במרכז הבקרה לזיהוי אנומליות בחיוב ב-Cloud.
  • כדי לחלק את העלויות בין צוותים או מחלקות שונים על סמך השימוש במשאבים, אפשר להשתמש בתכונה cost allocation של Google Cloud. הקצאת עלויות מעודדת אחריותיות ושקיפות.
  • כדי לקבל תובנות לגבי דפוסי ההוצאות, כדאי לעיין בדוחות החיוב ב-Cloud המוכנים מראש. אתם יכולים לסנן ולהתאים אישית את הדוחות האלה כדי להתמקד בפרויקטים או בשירותים ספציפיים של AI ו-ML.

מעקב רציף אחרי משאבים באמצעות לוחות בקרה, התראות ודוחות

כדי ליצור דרך ניתנת להרחבה ועמידה למעקב אחרי עלויות, צריך לבצע מעקב ודיווח באופן רציף. מרכזי בקרה, התראות ודוחות הם הבסיס למעקב יעיל אחרי עלויות. הבסיס הזה מאפשר לכם לשמור על גישה קבועה לפרטי העלויות, לזהות תחומים לאופטימיזציה ולהבטיח התאמה בין היעדים העסקיים לבין העלויות.

יצירת מערכת דיווח

ליצור דוחות מתוזמנים ולשתף אותם עם בעלי העניין המתאימים.

אפשר להשתמש ב-Cloud Monitoring כדי לאסוף מדדים ממקורות שונים, כולל מהאפליקציות, מהתשתית ומשירותים כמו Compute Engine,‏ Google Kubernetes Engine‏ (GKE) ופונקציות של Cloud Run. Google Cloud כדי להציג חזותית מדדים ויומנים בזמן אמת, אפשר להשתמש בלוח הבקרה המובנה של Cloud Monitoring או ליצור לוחות בקרה בהתאמה אישית. לוחות בקרה בהתאמה אישית מאפשרים לכם להגדיר ולהוסיף מדדים למעקב אחרי היבטים ספציפיים של המערכות שלכם, כמו ביצועי המודל, קריאות API או מדדי KPI ברמת העסק.

אפשר להשתמש ב-Cloud Logging לאיסוף ולאחסון מרוכזים של יומנים מהאפליקציות, מהמערכות ומשירותי Google Cloud . השימוש ביומנים הוא למטרות הבאות:

  • מעקב אחרי העלויות והניצול של משאבים כמו מעבד (CPU), זיכרון, אחסון ורשת.
  • לזהות מקרים של הקצאת יתר (over-provisioning) (שבהם המשאבים לא מנוצלים במלואם) והקצאת חסר (under-provisioning) (שבהם אין מספיק משאבים). הקצאת יתר של משאבים מובילה לעלויות מיותרות. הקצאת משאבים נמוכה מדי מאריכה את זמני האימון ועלולה לגרום לבעיות בביצועים.
  • לזהות משאבים בלי פעילות או משאבים שלא מנוצלים מספיק, כמו VM ו-GPU, ולנקוט פעולות להשבתה או להתאמה של גודל המשאבים כדי לייעל את העלויות.
  • זיהוי של עליות חדות בעלויות כדי לזהות עליות פתאומיות ובלתי צפויות בשימוש במשאבים או בעלויות.

אפשר להשתמש ב-Looker או ב-Looker Studio כדי ליצור לוחות בקרה ודוחות אינטראקטיביים. חיבור מרכזי הבקרה והדוחות למקורות נתונים שונים, כולל BigQuery ו-Cloud Monitoring.

הגדרת ספי התראה על סמך מדדי KPI מרכזיים

לגבי מדדי ה-KPI, קובעים את ערכי הסף שיפעילו התראות. הגדרת ספי התראה משמעותיים יכולה לעזור לכם להימנע מעייפות מהתראות. יוצרים מדיניות התראות ב-Cloud Monitoring כדי לקבל התראות שקשורות למדדי ה-KPI. לדוגמה, אתם יכולים לקבל התראות כשרמת הדיוק יורדת מתחת לסף מסוים או כשההשהיה חורגת ממגבלה מוגדרת. התראות שמבוססות על נתוני יומן יכולות לעדכן אתכם בזמן אמת לגבי בעיות פוטנציאליות בעלויות. ההתראות האלה מאפשרות לכם לבצע פעולות מתקנות במהירות ולמנוע הפסדים כספיים נוספים.

אופטימיזציה של הקצאת משאבים

כדי להשיג יעילות בעלויות של עומסי העבודה של AI ו-ML ב- Google Cloud, צריך לבצע אופטימיזציה של הקצאת המשאבים. כדי לעזור לכם להימנע מהוצאות מיותרות ולוודא שלעומסי העבודה יש את המשאבים שהם צריכים כדי לפעול בצורה אופטימלית, כדאי להתאים את הקצאת המשאבים לצרכים של עומסי העבודה.

כדי לייעל את הקצאת משאבי הענן לעומסי עבודה של AI ו-ML, כדאי לפעול לפי ההמלצות הבאות.

שימוש בהתאמה אוטומטית לעומס (automatic scaling) כדי להתאים באופן דינמי את המשאבים

מומלץ להשתמש בשירותים שתומכים בהתאמה אוטומטית לעומס, שמתאימה באופן אוטומטי את הקצאת המשאבים לביקוש הנוכחי. Google Cloud התאמה אוטומטית לעומס מספקת את היתרונות הבאים:

  • אופטימיזציה של העלויות והביצועים: אתם נמנעים מתשלום על משאבים לא פעילים. במקביל, התאמה אוטומטית לעומס (automatic scaling) מבטיחה שלמערכות שלכם יהיו המשאבים הדרושים כדי לפעול בצורה אופטימלית, גם בעומס שימוש גבוה.
  • יעילות משופרת: אתם מאפשרים לצוות להתמקד במשימות אחרות.
  • גמישות משופרת: אתם יכולים להגיב במהירות לשינויים בביקוש ולשמור על זמינות גבוהה של האפליקציות.

בטבלה הבאה מסוכמות השיטות שבהן אפשר להשתמש כדי להטמיע התאמה אוטומטית לעומס בשלבים שונים של פרויקטים של AI.

שלב טכניקות של התאמה אוטומטית לעומס
הדרכה
  • משתמשים בשירותים מנוהלים כמו Vertex AI או GKE, שמציעים יכולות מובנות של התאמה אוטומטית לעומס למשימות אימון.
  • הגדרת מדיניות של התאמה אוטומטית לעומס כדי לשנות את מספר המקרים של אימון על סמך מדדים כמו ניצול המעבד (CPU), שימוש בזיכרון ואורך תור המשימות.
  • אפשר להשתמש במדדי קנה מידה מותאמים אישית כדי לכוונן את התנהגות ההתאמה האוטומטית לעומס עבור עומסי העבודה הספציפיים שלכם.
הסקת מסקנות
  • פריסת המודלים בפלטפורמות שניתנות להרחבה כמו Vertex AI Inference,‏ GPUs on GKE או TPUs on GKE.
  • משתמשים בתכונות של התאמה אוטומטית לעומס כדי לשנות את מספר הרפליקות על סמך מדדים כמו קצב הבקשות, זמן האחזור וניצול המשאבים.
  • כדאי להטמיע איזון עומסים כדי לחלק את תעבורת הנתונים באופן שווה בין העותקים המשוכפלים, וכדי להבטיח זמינות גבוהה.

מתחילים עם מודלים ועם מערכי נתונים קטנים

כדי לצמצם עלויות, מומלץ לבדוק השערות של ML בקנה מידה קטן ככל האפשר, ולהשתמש בגישה איטרטיבית. הגישה הזו, עם מודלים ומערכי נתונים קטנים יותר, מספקת את היתרונות הבאים:

  • הפחתת עלויות מההתחלה: פחות כוח מחשוב, נפח אחסון וזמן עיבוד יכולים להוביל לעלויות נמוכות יותר בשלבים הראשוניים של הניסוי והפיתוח.
  • איטרציה מהירה יותר: נדרש פחות זמן אימון, כך שאפשר לבצע איטרציה מהירה יותר, לבחון גישות חלופיות ולזהות כיוונים מבטיחים בצורה יעילה יותר.
  • מורכבות מופחתת: ניפוי באגים, ניתוח ופרשנות פשוטים יותר של התוצאות, מה שמוביל למחזורי פיתוח מהירים יותר.
  • שימוש יעיל במשאבים: סיכוי נמוך יותר להקצאת יתר של משאבים. אתם מקצים רק את המשאבים שדרושים לעומס העבודה הנוכחי.

כדאי לשקול את ההמלצות הבאות:

  • קודם משתמשים בנתונים לדוגמה: מאמנים את המודלים על קבוצת משנה מייצגת של הנתונים. הגישה הזו מאפשרת לכם להעריך את הביצועים של המודל ולזהות בעיות פוטנציאליות בלי לעבד את כל מערך הנתונים.
  • עורכים ניסויים באמצעות מחברות: מתחילים עם מקרים קטנים יותר ומשנים את קנה המידה לפי הצורך. אתם יכולים להשתמש ב-Vertex AI Workbench, סביבת notebook מנוהלת של Jupyter שמתאימה מאוד לניסויים עם ארכיטקטורות שונות של מודלים ומערכי נתונים.

  • מתחילים עם מודלים פשוטים יותר או עם מודלים שאומנו מראש: אפשר להשתמש ב-Vertex AI Model Garden כדי למצוא ולבדוק את המודלים שאומנו מראש. מודלים כאלה דורשים פחות משאבי מחשוב. ככל שהדרישות משתנות, מעלים את רמת המורכבות של הפעולה.

    • שימוש במודלים שאומנו מראש למשימות כמו סיווג תמונות ועיבוד שפה טבעית. כדי לחסוך בעלויות האימון, אפשר לכוונן את המודלים באמצעות מערכי נתונים קטנים יותר בהתחלה.
    • שימוש ב-BigQuery ML לנתונים מובְנים. ‫BigQuery ML מאפשר ליצור ולפרוס מודלים ישירות ב-BigQuery. הגישה הזו יכולה להיות חסכונית בשלב הניסוי הראשוני, כי אפשר לנצל את מודל התמחור של BigQuery לפי שאילתה.

  • התאמה להיקף הפרסום לאופטימיזציה של משאבים: אפשר להשתמש בתשתית הגמישה של Google Cloudכדי להתאים את היקף הפרסום של המשאבים לפי הצורך. מתחילים עם מקרים קטנים יותר ומשנים את הגודל או המספר שלהם לפי הצורך.

גילוי דרישות המשאבים באמצעות ניסויים

הדרישות למשאבים עבור עומסי עבודה של AI ו-ML יכולות להשתנות באופן משמעותי. כדי לייעל את הקצאת המשאבים והעלויות, צריך להבין את הצרכים הספציפיים של עומסי העבודה באמצעות ניסויים שיטתיים. כדי לזהות את ההגדרה היעילה ביותר למודלים, כדאי לבדוק הגדרות שונות ולנתח את הביצועים שלהן. לאחר מכן, בהתאם לדרישות, משנים את גודל המשאבים שבהם השתמשתם לאימון ולמילוי הבקשה.

הגישה המומלצת לניסויים:

  1. מתחילים עם רמת בסיס: מתחילים עם הגדרת בסיס על סמך ההערכות הראשוניות של דרישות עומס העבודה. כדי ליצור בסיס להשוואה, אתם יכולים להשתמש בכלי להערכת עלויות של עומסי עבודה חדשים או בדוח חיוב קיים. מידע נוסף זמין במאמר העלות האמיתית של AI לארגונים ב- Google Cloud.
  2. הבנת המכסות: לפני שמפעילים ניסויים נרחבים, חשוב להכיר את המכסות של Google Cloud הפרויקט עבור המשאבים וממשקי ה-API שמתכננים להשתמש בהם. המיכסות קובעות את טווח ההגדרות שאפשר לבדוק באופן ריאלי. הכרת המכסות מאפשרת לכם לעבוד במסגרת מגבלות המשאבים הזמינות במהלך שלב הניסוי.
  3. עורכים ניסויים באופן שיטתי: משנים פרמטרים כמו מספר מעבדי ה-CPU, כמות הזיכרון, מספר מעבדי ה-GPU וה-TPU וסוגם, וקיבולת האחסון. ‫Vertex AI training ו-Vertex AI predictions מאפשרים לכם להתנסות בסוגים שונים של מכונות ובהגדרות שונות.

  4. מעקב אחרי הניצול, העלות והביצועים: אפשר לעקוב אחרי ניצול המשאבים, העלות ומדדי הביצועים המרכזיים כמו זמן האימון, זמן האחזור של ההסקה ודיוק המודל, לכל הגדרה שאתם בודקים.

    • כדי לעקוב אחרי ניצול המשאבים ומדדי הביצועים, אפשר להשתמש במסוף Vertex AI.
    • כדי לאסוף ולנתח מדדי ביצועים מפורטים, משתמשים ב-Cloud Monitoring.
    • כדי לראות את העלויות, אפשר להשתמש בדוחות החיוב ב-Cloud ובלוחות הבקרה של Cloud Monitoring.
    • כדי לזהות צווארי בקבוק בביצועים של המודלים ולבצע אופטימיזציה של השימוש במשאבים, אפשר להשתמש בכלי פרופיל כמו Vertex AI TensorBoard.

  5. ניתוח עלויות: השוואה בין העלות והביצועים של כל הגדרה כדי לזהות את האפשרות הכי משתלמת.

  6. הגדרת ספי צריכת משאבים ויעדי שיפור על סמך מכסות: הגדרת ספי צריכת משאבים שמעבר להם ההחזרים על ההשקעה מתחילים לרדת, למשל צמצום מינימלי בזמן האימון או בחביון, לעומת עלייה משמעותית בעלויות. כדאי לקחת בחשבון את מכסות הפרויקט כשמגדירים את ערכי הסף האלה. קובעים את הנקודה שבה העלות וההשלכות הפוטנציאליות על המכסה של הרחבת הפריסה כבר לא מוצדקות על ידי שיפורים בביצועים.

  7. שיפור איטרטיבי: חוזרים על תהליך הניסוי עם הגדרות משופרות על סמך הממצאים. חשוב לוודא תמיד שהשימוש במשאבים נשאר במסגרת המכסות שהוקצו ובהתאם לסף העלויות והתועלות שנקבע.

שימוש ב-MLOps כדי לצמצם חוסר יעילות

ככל שארגונים משתמשים יותר ב-ML כדי לקדם חדשנות ויעילות, ניהול יעיל של מחזור החיים של ה-ML הופך להיות קריטי. פעולות למידת מכונה (MLOps) הן קבוצה של שיטות עבודה שמבצעות אוטומציה ומייעלות את מחזור החיים של למידת מכונה, החל מפיתוח המודל ועד לפריסה ולמעקב.

התאמה בין MLOps לבין הגורמים לשינוי בעלויות

כדי ליהנות מ-MLOps לחיסכון בעלויות, צריך לזהות את הגורמים העיקריים לעלויות במחזור החיים של למידת המכונה. לאחר מכן, תוכלו לאמץ וליישם שיטות עבודה מומלצות של MLOps שמתאימות לגורמים שמשפיעים על העלויות. כדאי לתעדף את התכונות של MLOps שמתייחסות לגורמים המשפיעים ביותר על העלויות, ולהטמיע אותן. הגישה הזו עוזרת להבטיח דרך מוצלחת ונוחה להשגת חיסכון משמעותי בעלויות.

הטמעה של MLOps לאופטימיזציה של עלויות

אלה שיטות נפוצות של MLOps שעוזרות להקטין את העלויות:

  • ניהול גרסאות: כלים כמו Git יכולים לעזור לכם לעקוב אחרי גרסאות של קוד, נתונים ומודלים. בקרת גרסאות מבטיחה שניתן יהיה לשחזר את התוצאות, מאפשרת שיתוף פעולה ומונעת עבודה מחדש יקרה שעלולה להיגרם מבעיות בגרסאות.
  • אינטגרציה רציפה (CI) וצינורות עיבוד נתונים של CI/CD לפיתוח רציף (continuous delivery):‏ Cloud Build ו-Artifact Registry מאפשרים להטמיע צינורות עיבוד נתונים של CI/CD כדי לבצע אוטומציה של בנייה, בדיקה ופריסה של מודלים של ML. צינורות CI/CD מבטיחים ניצול יעיל של המשאבים ומצמצמים את העלויות שקשורות להתערבויות ידניות.
  • ניראות (observability): Cloud Monitoring ו-Cloud Logging מאפשרים לעקוב אחרי ביצועי המודל בסביבת הייצור, לזהות בעיות ולהפעיל התראות להתערבות יזומה. היכולת לניטור מאפשרת לכם לשמור על דיוק המודל, לבצע אופטימיזציה של הקצאת המשאבים ולמנוע השבתה יקרה או ירידה בביצועים.
  • אימון מחדש של מודלים: ‫Vertex AI Pipelines מפשט את התהליכים של אימון מחדש של מודלים באופן תקופתי או כשביצועי המודל יורדים. כשמשתמשים ב-Vertex AI Pipelines לאימון מחדש, אפשר לוודא שהמודלים יישארו מדויקים ויעילים, וכך למנוע צריכת משאבים מיותרת ולשמור על ביצועים אופטימליים.
  • בדיקה והערכה אוטומטיות: Vertex AI עוזרת לכם להאיץ את ההערכה של המודלים ולבצע אותה באופן סטנדרטי. כדאי להטמיע בדיקות אוטומטיות לאורך מחזור החיים של למידת המכונה כדי להבטיח את האיכות והאמינות של המודלים. בדיקות כאלה יכולות לעזור לכם לזהות שגיאות בשלב מוקדם, למנוע בעיות יקרות בסביבת הייצור ולצמצם את הצורך בבדיקות ידניות מקיפות.

מידע נוסף זמין במאמר בנושא MLOps: צינורות עיבוד נתונים של פיתוח רציף ואוטומציה בלמידת מכונה.

אכיפה של שיטות לניהול נתונים ולפיקוח עליהם

ניהול נתונים ושיטות ממשל יעילות חיוניים לאופטימיזציה של עלויות. נתונים מאורגנים היטב יכולים לעודד צוותים לעשות שימוש חוזר במערכי נתונים, להימנע משכפול מיותר ולצמצם את המאמץ שנדרש כדי להשיג נתונים באיכות גבוהה. ניהול פרואקטיבי של הנתונים יכול לעזור לכם להפחית את עלויות האחסון, לשפר את איכות הנתונים ולוודא שהמודלים של למידת המכונה מאומנים על הנתונים הרלוונטיים והחשובים ביותר.

כדי ליישם שיטות לניהול נתונים ולשמירה על אמינותם, כדאי לפעול לפי ההמלצות הבאות.

הקמה ואימוץ של מסגרת למשילות מידע (data governance)

החשיבות הגוברת של AI ו-ML הפכה את הנתונים לנכס הכי חשוב לארגונים שעוברים טרנספורמציה דיגיטלית. מסגרת חזקה למשילות מידע היא דרישה חיונית לניהול עומסי עבודה של AI ו-ML בצורה חסכונית ובקנה מידה גדול. מסגרת משילות מידע עם מדיניות, נהלים ותפקידים מוגדרים בבירור מספקת גישה מובנית לניהול נתונים לאורך מחזור החיים שלהם. מסגרת כזו עוזרת לשפר את איכות הנתונים, לשפר את האבטחה, לשפר את הניצול ולהפחית את הכפילות.

הקמת מסגרת למשילות מידע (data governance)

קיימות מסגרות רבות לניהול נתונים, כמו המסגרות שפורסמו על ידי EDM Council, עם אפשרויות שזמינות לתעשיות שונות ולארגונים בגדלים שונים. בוחרים מסגרת שמתאימה לצרכים ולסדרי העדיפויות הספציפיים שלכם ומבצעים בה התאמות.

הטמעה של מסגרת משילות מידע (data governance)

‫Google Cloud מספקת את השירותים והכלים הבאים שיעזרו לכם להטמיע מסגרת חזקה למשילות נתונים:

  • Dataplex Universal Catalog הוא מארג נתונים חכם שעוזר לאחד נתונים מבוזרים ולבצע אוטומציה של ניהול נתונים, בלי לאחד מערכי נתונים במקום אחד. כך אפשר לצמצם את העלויות של הפצת הנתונים והתחזוקה שלהם, לאתר נתונים בקלות ולקדם שימוש חוזר בהם.

  • Dataplex Universal Catalog הוא גם שירות מנוהל לניהול מטא-נתונים שאפשר להתאים לעומס. הקטלוג מספק בסיס שמבטיח שנכסי הנתונים יהיו נגישים וניתנים לשימוש חוזר.

    • מטא-נתונים ממקורות נתמכים Google Cloud מוזנים באופן אוטומטי לקטלוג האוניברסלי. למקורות נתונים מחוץ ל- Google Cloud, צריך ליצור רשומות בהתאמה אישית.
    • כדי לשפר את החשיפה של נכסי נתונים ואת הניהול שלהם, אפשר להעשיר את המטא-נתונים הטכניים במטא-נתונים עסקיים באמצעות היבטים.
    • מוודאים שלמדעני נתונים ולמומחי למידת מכונה יש הרשאות מספיקות כדי לגשת ל-Dataplex Universal Catalog ולהשתמש בפונקציית החיפוש.

  • שיתוף ב-BigQuery מאפשר לכם להחליף נכסי נתונים בין הארגונים שלכם בצורה יעילה ומאובטחת, כדי להתמודד עם אתגרים שקשורים למהימנות הנתונים ולעלויות.

    • מגדירים החלפות נתונים ומוודאים שאפשר לראות נכסי נתונים שנאספו ככרטיסי מוצר.
    • שימוש בחדרים נקיים לנתונים כדי לנהל באופן מאובטח את הגישה למידע אישי רגיש ולשתף פעולה ביעילות עם צוותים וארגונים חיצוניים בפרויקטים של AI ו-ML.
    • מוודאים שלמדעני נתונים ולמומחים ללמידת מכונה יש הרשאות מספיקות כדי להציג ולפרסם מערכי נתונים בשיתוף BigQuery.

שימוש חוזר במערכי נתונים ובתכונות לאורך מחזור החיים של למידת המכונה

כדי ליהנות מיתרונות משמעותיים ביעילות ובעלויות, מומלץ לעשות שימוש חוזר במערכי נתונים ובתכונות בכמה פרויקטים של למידת מכונה. כשנמנעים ממאמצים מיותרים של הנדסת נתונים ופיתוח תכונות, הארגון יכול להאיץ את פיתוח המודלים, להפחית את עלויות התשתית ולפנות משאבים יקרים לביצוע משימות קריטיות אחרות.

‫Google Cloud מספקת את השירותים והכלים הבאים שיעזרו לכם לעשות שימוש חוזר במערכי נתונים ובתכונות:

  • מומחים בתחום הנתונים והלמידה מחישובים יכולים לפרסם מוצרי נתונים כדי למקסם את השימוש החוזר בנתונים בצוותים שונים. אחרי כן אפשר לגלות את מוצרי הנתונים ולהשתמש בהם באמצעות Dataplex Universal Catalog ושיתוף ב-BigQuery.
  • לגבי מערכי נתונים טבלאיים ומובנים, אפשר להשתמש ב-Vertex AI Feature Store כדי לקדם שימוש חוזר ולייעל את ניהול התכונות באמצעות BigQuery.
  • אפשר לאחסן נתונים לא מובנים ב-Cloud Storage ולנהל את הנתונים באמצעות טבלאות אובייקטים של BigQuery וכתובות URL חתומות.
  • אפשר לנהל הטבעות וקטוריות על ידי הכללת מטא-נתונים באינדקסים של חיפוש וקטורים.

אוטומציה וייעול באמצעות MLOps

יתרון מרכזי באימוץ שיטות MLOps הוא הפחתה בעלויות של טכנולוגיה וכוח אדם. אוטומציה עוזרת לכם להימנע משכפול של פעילויות למידת מכונה (ML) ומצמצום עומס העבודה של מדעני נתונים ומהנדסי למידת מכונה.

כדי להפוך את פיתוח למידת המכונה לאוטומטי ולייעל אותו באמצעות MLOps, כדאי לפעול לפי ההמלצות הבאות.

אוטומציה וסטנדרטיזציה של איסוף ועיבוד נתונים

כדי להפחית את המאמץ והזמן שנדרשים לפיתוח של ML, כדאי להשתמש באוטומציה ובסטנדרטיזציה של טכנולוגיות איסוף ועיבוד הנתונים.

אוטומציה של איסוף ועיבוד נתונים

בקטע הזה מופיע סיכום של המוצרים, הכלים והשיטות שבהם אפשר להשתמש כדי לבצע איסוף נתונים ועיבוד נתונים באופן אוטומטי.

מזהים ובוחרים את מקורות הנתונים הרלוונטיים למשימות ה-AI וה-ML:

לכל אחד ממקורות הנתונים, בוחרים כלי להעברה:

  • ‫Dataflow: לעיבוד נתונים באצווה ועיבוד זרמי נתונים (stream processing) ממקורות שונים, עם שילוב של רכיבי ML. בארכיטקטורה מבוססת-אירועים, אפשר לשלב את Dataflow עם Eventarc כדי לעבד נתונים בצורה יעילה לצורך למידת מכונה. כדי לשפר את היעילות של MLOps ועבודות ML, כדאי להשתמש ב-GPU וביכולות התאמה נכונה.
  • פונקציות Cloud Run: לצורך הטמעה של נתונים מבוססי-אירועים שמופעלת על ידי שינויים במקורות נתונים עבור אפליקציות בזמן אמת.
  • ‫BigQuery: להטמעת נתונים טבלאיים קלאסיים עם גישה תכופה.

בחירת כלים לטרנספורמציה ולטעינה של נתונים:

  • אפשר להשתמש בכלים כמו Dataflow או Dataform כדי לבצע אוטומציה של טרנספורמציות של נתונים כמו שינוי קנה מידה של מאפיינים, קידוד של משתנים קטגוריים ויצירה של מאפיינים חדשים באצווה, בסטרימינג או בזמן אמת. הכלים שתבחרו תלויים בדרישות שלכם ובשירותים שבחרתם.
  • אפשר להשתמש ב-Vertex AI Feature Store כדי להפוך את היצירה והניהול של תכונות לאוטומטיים. אתם יכולים לרכז תכונות לשימוש חוזר במודלים ובפרויקטים שונים.

איך יוצרים סטנדרטיזציה של איסוף ועיבוד נתונים

כדי לגלות נכסי נתונים, להבין אותם ולנהל אותם, אפשר להשתמש בשירותים לניהול מטא-נתונים כמו Dataplex Universal Catalog. הוא עוזר לכם לתקנן את הגדרות הנתונים ולהבטיח עקביות בכל הארגון.

כדי לאכוף סטנדרטיזציה ולחסוך בעלויות של תחזוקת הטמעות מותאמות אישית מרובות, כדאי להשתמש בצינורות אוטומטיים של אימון ותזמור. מידע נוסף זמין בסעיף הבא.

אוטומציה של צינורות עיבוד נתונים של אימון ושימוש חוזר בנכסים קיימים

כדי לשפר את היעילות והפרודוקטיביות ב-MLOps, צינורות עיבוד נתונים אוטומטיים לאימון הם חיוניים. Google Cloud מציע קבוצה חזקה של כלים ושירותים לבנייה ולפריסה של צינורות עיבוד נתונים לאימון, עם דגש חזק על שימוש חוזר בנכסים קיימים. צינורות אוטומטיים לאימון עוזרים להאיץ את פיתוח המודלים, לשמור על עקביות ולצמצם מאמצים מיותרים.

אוטומציה של צינורות עיבוד נתונים לאימון

בטבלה הבאה מתוארים השירותים והתכונות של Google Cloud שבהם אפשר להשתמש כדי להפוך לאוטומטיות את הפונקציות השונות של צינור אימון.

תפקיד Google Cloud שירותים ותכונות
תזמור: הגדרת תהליכי עבודה מורכבים של למידת מכונה שכוללים כמה שלבים ותלויות. אפשר להגדיר כל שלב כמשימה נפרדת בתוך קונטיינר, וכך לנהל ולהרחיב בקלות משימות נפרדות.
  • כדי ליצור צינורות ולהפעיל אותם, אפשר להשתמש ב-Vertex AI Pipelines או ב-Kubeflow Pipelines. הכלים האלה תומכים בטרנספורמציה פשוטה של נתונים, באימון מודלים, בפריסת מודלים ובניהול גרסאות של צינורות נתונים. הם מאפשרים להגדיר תלויות בין שלבים, לנהל את זרימת הנתונים ולבצע אוטומציה של הביצוע של כל תהליך העבודה.
  • למשימות תפעוליות מורכבות עם דרישות כבדות של CI/CD ו-ETL (חילוץ, טרנספורמציה וטעינה), כדאי להשתמש ב-Cloud Composer. אם אתם מעדיפים את Airflow לתזמור נתונים, Cloud Composer הוא שירות מנוהל תואם שמבוסס על Airflow.
  • לצינורות שמוגדרים מחוץ ל-Vertex AI Pipelines, אפשר להשתמש בWorkflows למשימות שמתמקדות בתשתית, כמו הפעלה והפסקה של מכונות וירטואליות או שילוב עם מערכות חיצוניות.
  • כדי להפוך את תהליך ה-CI/CD לאוטומטי, אפשר להשתמש ב-Cloud Build עם Pub/Sub. אפשר להגדיר התראות וטריגרים אוטומטיים למקרים שבהם קוד חדש נדחף או כשצריך לאמן מודל חדש.
  • כדי להשתמש בפתרון מנוהל וניתן להרחבה לניהול צינורות נתונים, אפשר להשתמש ב-Cloud Data Fusion.
ניהול גרסאות: מעקב ושליטה בגרסאות שונות של צינורות ורכיבים כדי להבטיח שחזור וביקורת. אחסון תבניות של צינור עיבוד נתונים של Kubeflow במאגר Kubeflow Pipelines ב-Artifact Registry.
אפשרות לשימוש חוזר: אפשר לעשות שימוש חוזר ברכיבים ובארטיפקטים קיימים של צינורות, כמו מערכי נתונים מוכנים ומודלים מאומנים, כדי להאיץ את הפיתוח. אפשר לאחסן את תבניות צינורות העיבוד ב-Cloud Storage ולשתף אותן עם כל הארגון.
מעקב: מעקב אחר הפעלת צינור עיבוד הנתונים כדי לזהות בעיות ולפתור אותן. שימוש ב-Cloud Logging וב-Cloud Monitoring. מידע נוסף זמין במאמר מעקב רציף אחרי משאבים באמצעות מרכזי בקרה, התראות ודוחות.

הרחבת האפשרות לשימוש חוזר מעבר לצינורות

כדאי לחפש הזדמנויות להרחבת השימוש החוזר מעבר לצינורות של אימון. Google Cloud הדוגמאות הבאות ממחישות יכולות שמאפשרות לכם לעשות שימוש חוזר בתכונות של למידת מכונה, במערכי נתונים, במודלים ובקוד.

  • ‫Vertex AI Feature Store מספק מאגר מרכזי לארגון, לאחסון ולהצגה של תכונות של למידת מכונה. הוא מאפשר לכם לעשות שימוש חוזר בתכונות בפרויקטים ובמודלים שונים, וכך לשפר את העקביות ולצמצם את המאמץ שנדרש להנדסת תכונות. אתם יכולים לאחסן, לשתף ולגשת לתכונות לתרחישי שימוש אונליין ואופליין.
  • מערכי נתונים של Vertex AI מאפשרים לצוותים ליצור ולנהל מערכי נתונים באופן מרכזי, כך שהארגון יכול למקסם את השימוש החוזר בנתונים ולצמצם את כפילות הנתונים. הצוותים שלכם יכולים לחפש ולגלות את מערכי הנתונים באמצעות Dataplex Universal Catalog.
  • מרשם המודלים של Vertex AI מאפשר לכם לאחסן, לנהל ולפרוס את המודלים שאומנו. מאגר המודלים מאפשר לכם להשתמש מחדש במודלים בצינורות נתונים עוקבים או לחיזוי אונליין, וכך לנצל את מאמצי האימון הקודמים.
  • קונטיינרים בהתאמה אישית מאפשרים לארוז את קוד ההדרכה ואת יחסי התלות בקונטיינרים ולאחסן את הקונטיינרים ב-Artifact Registry. קונטיינרים בהתאמה אישית מאפשרים לספק סביבות אימון עקביות וניתנות לשחזור בצינורות שונים ובפרויקטים שונים.

שימוש בשירותי Google Cloud להערכה ולהתאמה של מודלים

Google Cloud מציעה חבילה עוצמתית של כלים ושירותים לייעול ולאוטומציה של הערכה והתאמה של מודלים. הכלים והשירותים האלה יכולים לעזור לכם לקצר את הזמן עד להפקה ולצמצם את המשאבים שנדרשים לאימון ולניטור מתמשכים. השימוש בשירותים האלה מאפשר לצוותי ה-AI וה-ML שלכם לשפר את ביצועי המודלים בפחות איטרציות יקרות, להשיג תוצאות מהר יותר ולצמצם את בזבוז משאבי המחשוב.

שימוש בהערכת מודלים ובניסויים יעילים מבחינת משאבים

כדאי להתחיל פרויקט AI עם ניסויים לפני שמרחיבים את הפתרון. בניסויים, כדאי לעקוב אחרי מטא-נתונים שונים כמו גרסת מערך הנתונים, פרמטרים של המודל וסוג המודל. כדי לשפר את השחזור וההשוואה של התוצאות, כדאי להשתמש במעקב מטא-נתונים בנוסף לניהול גרסאות של הקוד, בדומה ליכולות ב-Git. כדי להימנע ממידע חסר או מפריסת הגרסה הלא נכונה בסביבת הייצור, מומלץ להשתמש בניסויים ב-Vertex AI לפני שמבצעים פריסה או משימות אימון בקנה מידה מלא.

בעזרת Vertex AI Experiments, אפשר:

  • מייעלים ומבצעים אוטומציה של מעקב אחר מטא-נתונים וגילוי שלהם באמצעות ממשק משתמש ו-API ידידותיים למשתמש, עבור עומסי עבודה שמוכנים לייצור.
  • לנתח את מדדי הביצועים של המודל ולהשוות בין מדדים של כמה מודלים.

אחרי שהמודל עובר אימון, צריך לעקוב באופן רציף אחרי הביצועים והסחף של הנתונים לאורך זמן עבור נתונים נכנסים. כדי לייעל את התהליך הזה, אפשר להשתמש ב-Vertex AI Model Monitoring כדי לגשת ישירות למודלים שנוצרו במרשם המודלים. בנוסף, Model Monitoring מאפשר אוטומציה של מעקב אחרי נתונים ותוצאות באמצעות תחזיות אונליין ובאצווה. אפשר לייצא את התוצאות ל-BigQuery כדי להמשיך לנתח ולעקוב אחרי הנתונים.

בחירת אסטרטגיות אופטימליות לאימון אוטומטי

לצורך כוונון היפר-פרמטרים, מומלץ להשתמש בגישות הבאות:

  • כדי לאתר באופן אוטומטי את ההיפר-פרמטרים האופטימליים למודלים, אפשר להשתמש בכוונון היפר-פרמטרים ב-Vertex AI. ב-Vertex AI נעשה שימוש באלגוריתמים מתקדמים כדי לחקור את מרחב ההיפרפרמטרים ולזהות את התצורה הטובה ביותר.
  • כדי לבצע כוונון יעיל של היפר-פרמטרים, מומלץ להשתמש בטכניקות של אופטימיזציה בייסיאנית, במיוחד כשעובדים עם מודלים מורכבים ומערכי נתונים גדולים.

לצורך אימון מבוזר, מומלץ להשתמש בגישות הבאות:

  • למערכי נתונים גדולים ולמודלים מורכבים, כדאי להשתמש בתשתית האימון המבוזר של Vertex AI. הגישה הזו מאפשרת לאמן את המודלים בכמה מכונות, וכך לקצר משמעותית את זמן האימון ולהפחית את העלויות הנלוות. אפשר להשתמש בכלים כמו:

  • בחרו מסגרות אופטימליות של ML, כמו Keras ו-PyTorch, שתומכות בהדרכה מבוזרת ובניצול יעיל של משאבים.

שימוש ב-AI ניתן להסברה

חשוב להבין למה מודל מקבל החלטות מסוימות, ולזהות הטיה פוטנציאלית או תחומים לשיפור. משתמשים ב-Vertex AI ניתן להסברה כדי לקבל תובנות לגבי התחזיות של המודל. ‫Vertex AI ניתן להסברה מציע דרך להפוך לאוטומטיות הסברים שמבוססים על תכונות ועל דוגמאות, שמקושרים לניסויים שלכם ב-Vertex AI.

  • מבוסס-תכונות: כדי להבין אילו תכונות משפיעות הכי הרבה על התחזיות של המודל, צריך לנתח את השיוכים של התכונות. ההבנה הזו יכולה לעזור לכם בתהליך של הנדסת תכונות ולשפר את היכולת שלכם להבין את המודל.
  • מבוסס על דוגמאות: כדי להחזיר רשימה של דוגמאות (בדרך כלל מתוך קבוצת נתונים לאימון) שהכי דומות לקלט, מערכת Vertex AI משתמשת בחיפוש השכן הקרוב ביותר. מכיוון שקלט דומה בדרך כלל מניב תחזיות דומות, אפשר להשתמש בהסברים האלה כדי לבחון ולהסביר את ההתנהגות של המודל.

שימוש בשירותים מנוהלים ובמודלים שעברו אימון

מומלץ לאמץ גישה מצטברת לבחירת מודלים ולפיתוח מודלים. הגישה הזו עוזרת לכם להימנע מעלויות מוגזמות שקשורות להתחלה מחדש בכל פעם. כדי לשלוט בעלויות, כדאי להשתמש במסגרות ML, בשירותים מנוהלים ובמודלים שאומנו מראש.

כדי להפיק את הערך המקסימלי משירותים מנוהלים וממודלים שאומנו מראש, כדאי לפעול לפי ההמלצות הבאות.

שימוש במחברות לניתוח ולניסויים

סביבות Notebook חיוניות לניסויים חסכוניים ב-ML. מחברת מספקת מרחב אינטראקטיבי ושיתופי למדעני נתונים ולמהנדסים כדי לבדוק נתונים, לפתח מודלים, לשתף ידע ולבצע איטרציות בצורה יעילה. שיתוף בעבודה ושיתוף ידע באמצעות מחברות מאיצים באופן משמעותי את הפיתוח, את בקרות הקוד ואת העברת הידע. מחברות עוזרות לייעל את תהליכי העבודה ולצמצם את המאמץ הכפול.

במקום לרכוש ולנהל חומרה יקרה לסביבת הפיתוח, אתם יכולים להשתמש בתשתית הניתנת להרחבה ולפי דרישה של Vertex AI Workbench ו-Colab Enterprise.

  • ‫Vertex AI Workbench היא סביבת פיתוח של Jupyter notebook לכל תהליך העבודה של מדעי הנתונים. אתם יכולים ליצור אינטראקציה עם Vertex AI ושירותים אחרים Google Cloud מתוך מחברת Jupyter של מופע. השילובים והתכונות של Vertex AI Workbench עוזרים לכם:

    • גישה לנתונים ממחברת Jupyter ועיון בהם באמצעות שילובים של BigQuery ו-Cloud Storage.
    • אפשר להגדיר עדכונים חוזרים למודל באמצעות הפעלות מתוזמנות של קוד שפועל ב-Vertex AI.
    • עיבוד נתונים מהיר על ידי הרצת מחברת באשכול Dataproc.
    • להריץ notebook כשלב בצינור עיבוד נתונים באמצעות Vertex AI Pipelines.

  • ‫Colab Enterprise היא סביבת notebook משותפת ומנוהלת עם יכולות האבטחה והתאימות של Google Cloud. ‫Colab Enterprise הוא פתרון אידיאלי אם בין סדרי העדיפויות של הפרויקט שלכם נכללים פיתוח שיתופי וצמצום המאמץ הנדרש לניהול התשתית. ‫Colab Enterprise משתלב עם שירותים ועם עזרה מבוססת-AI שמבוססת על Gemini.Google Cloud ‫Colab Enterprise מאפשר לכם:

    • עבודה במחברות בלי לנהל את התשתית.
    • אתם יכולים לשתף מחברת עם משתמש יחיד, קבוצת Google או דומיין Google Workspace. אפשר לשלוט בגישה למחברת באמצעות ניהול זהויות והרשאות גישה (IAM).
    • אינטראקציה עם תכונות שמוטמעות ב-Vertex AI וב-BigQuery.

כדי לעקוב אחרי שינויים ולחזור לגרסאות קודמות כשצריך, אפשר לשלב את מחברות ה-notebook עם כלים לניהול גרסאות כמו Git.

מתחילים עם מודלים קיימים ומאומנים מראש

אימון מודלים מורכבים מאפס, במיוחד מודלים של למידה עמוקה, דורש משאבי מחשוב וזמן משמעותיים. כדי להאיץ את תהליך הבחירה והפיתוח של המודל, מומלץ להתחיל עם מודלים קיימים שאומנו מראש. המודלים האלה, שאומנו על מערכי נתונים עצומים, מייתרים את הצורך לאמן מודלים מאפס ומפחיתים באופן משמעותי את העלות ואת זמן הפיתוח.

צמצום עלויות ההכשרה והפיתוח

לבחור מודל או API מתאימים לכל משימת ML ולשלב אותם כדי ליצור תהליך פיתוח ML מקצה לקצה.

‫Vertex AI Model Garden מציע אוסף עצום של מודלים שאומנו מראש למשימות כמו סיווג תמונות, זיהוי אובייקטים ועיבוד שפה טבעית. המודלים מחולקים לקטגוריות הבאות:

‫Google Cloud מספק ממשקי API של AI ולמידת מכונה שמאפשרים למפתחים לשלב יכולות AI מתקדמות באפליקציות בלי לבנות מודלים מאפס.

  • ‫Cloud Vision API מאפשר לכם להסיק תובנות מתמונות. ה-API הזה שימושי לאפליקציות כמו ניתוח תמונות, ניהול תוכן והזנת נתונים אוטומטית.
  • ‫Cloud Natural Language API מאפשר לכם לנתח טקסט כדי להבין את המבנה והמשמעות שלו. ממשק ה-API הזה שימושי למשימות כמו ניתוח משוב מלקוחות, סיווג תוכן והבנת מגמות ברשתות החברתיות.
  • ‫Speech-to-Text API ממיר אודיו לטקסט. ה-API הזה תומך במגוון רחב של שפות וניבים.
  • ‫Video Intelligence API מנתח תוכן של סרטונים כדי לזהות אובייקטים, סצנות ופעולות. אפשר להשתמש ב-API הזה לניתוח תוכן וידאו, לסינון תוכן ולחיפוש סרטונים.
  • ‫Document AI API מעבד מסמכים כדי לחלץ, לסווג ולהבין נתונים. ה-API הזה עוזר להפוך לאוטומטיים תהליכי עבודה של עיבוד מסמכים.
  • ‫Dialogflow API מאפשר ליצור ממשקים לשיחות, כמו צ'אט בוטים ועוזרים קוליים. אפשר להשתמש ב-API הזה כדי ליצור בוטים לשירות לקוחות ועוזרים וירטואליים.
  • ‫Gemini API ב-Vertex AI מספק גישה למודל ה-AI הכי מתקדם ורב-תכליתי של Google.

צמצום עלויות ההתאמה

כדי לצמצם את הצורך בנתונים נרחבים ובזמן חישוב, כדאי לבצע כוונון עדין של מודלים שאומנו מראש על מערכי נתונים ספציפיים. מומלץ להשתמש בגישות הבאות:

  • העברת למידה: שימוש בידע ממודל שאומן מראש למשימה חדשה, במקום להתחיל מאפס. הגישה הזו דורשת פחות נתונים וזמן חישוב, וכך עוזרת לצמצם את העלויות.
  • כוונון מתאמים (כוונון יעיל בפרמטרים): התאמת מודלים למשימות או לדומיינים חדשים בלי לבצע כוונון מלא. הגישה הזו דורשת משאבי מחשוב נמוכים משמעותית ומערך נתונים קטן יותר.
  • כוונון עדין מפוקח: התאמת התנהגות המודל באמצעות מערך נתונים עם תוויות. הגישה הזו מפשטת את הניהול של התשתית הבסיסית ואת מאמצי הפיתוח שנדרשים לעבודת אימון בהתאמה אישית.

התנסות ב-Vertex AI Studio

‫Vertex AI Studio מאפשר לכם לבדוק, ליצור אבות טיפוס ולפרוס במהירות אפליקציות של AI גנרטיבי.

  • אינטגרציה עם Model Garden: מאפשרת גישה מהירה למודלים העדכניים ביותר, ומאפשרת לפרוס את המודלים ביעילות כדי לחסוך זמן ועלויות.
  • גישה מאוחדת למודלים ייעודיים: גישה מאוחדת למגוון רחב של מודלים מאומנים מראש וממשקי API, כולל אלה של צ'אט, טקסט, מדיה, תרגום ודיבור. הגישה המאוחדת הזו יכולה לעזור לכם לצמצם את הזמן שאתם משקיעים בחיפוש שירותים נפרדים ובשילוב שלהם.

שימוש בשירותים מנוהלים לאימון מודלים או להצגת מודלים

שירותים מנוהלים יכולים לעזור להפחית את העלות של אימון מודלים ולפשט את ניהול התשתית, וכך לאפשר לכם להתמקד בפיתוח ובאופטימיזציה של מודלים. הגישה הזו יכולה להוביל לחיסכון משמעותי בעלויות ולשיפור היעילות.

צמצום התקורה התפעולית

כדי לצמצם את המורכבות והעלות של ניהול התשתית, כדאי להשתמש בשירותים מנוהלים כמו:

  • ‫Vertex AI training מספקת סביבה מנוהלת מלאה לאימון המודלים בהתאם לצורך ולגודל. אתם יכולים לבחור מתוך מגוון מאגרי תמונות מוכנים מראש עם מסגרות פופולריות של ML, או להשתמש במאגרי תמונות מותאמים אישית משלכם. Google Cloud מטפל בהקצאת משאבים, בהרחבה ובתחזוקה של התשתית, כך שהתקורה התפעולית שלכם נמוכה יותר.
  • ‫Vertex AI predictions מטפל בהתאמת התשתית לגודל, באיזון עומסים ובניתוב בקשות. אתם נהנים מזמינות גבוהה ומביצועים טובים בלי התערבות ידנית.
  • ‫Ray ב-Vertex AI מספק אשכול Ray מנוהל באופן מלא. אתם יכולים להשתמש באשכול כדי להריץ עומסי עבודה מורכבים של AI בהתאמה אישית שמבצעים הרבה חישובים (התאמה של היפר-פרמטרים, כוונון עדין של מודלים, אימון מודלים מבוזרים ולמידה ממשוב אנושי (RLHF)) בלי שתצטרכו לנהל את התשתית שלכם.

שימוש בשירותים מנוהלים כדי לייעל את ניצול המשאבים

פרטים על שימוש יעיל במשאבים זמינים במאמר אופטימיזציה של השימוש במשאבים.

שותפים ביצירת התוכן

מחברים:

תורמי תוכן אחרים:

הקודם
אמינות
הבא
אופטימיזציה של הביצועים