העיקרון הזה, שמופיע בעמוד התווך של קיימוּת ב-Google Cloud Well-Architected Framework, מספק המלצות לאופטימיזציה של עומסי עבודה של AI ו-ML כדי לצמצם את צריכת האנרגיה ואת טביעת הרגל הפחמנית שלהם.
סקירה כללית של העקרונות
כדי לבצע אופטימיזציה של עומסי עבודה של AI ו-ML למטרות קיימוּת, צריך לאמץ גישה הוליסטית לתכנון, לפריסה ולהפעלה של עומסי העבודה. לבחור מודלים מתאימים וחומרה ייעודית כמו יחידות Tensor Processing Unit (TPU), להריץ את עומסי העבודה באזורים דלי-פחמן, לבצע אופטימיזציה כדי לצמצם את השימוש במשאבים וליישם שיטות עבודה מומלצות.
שיטות ארכיטקטוניות ותפעוליות שמייעלות את העלות והביצועים של עומסי עבודה של AI ו-ML, מובילות באופן טבעי לצריכת אנרגיה מופחתת ולטביעת רגל פחמנית נמוכה יותר. נקודת המבט של AI ו-ML ב-Well-Architected Framework מתארת עקרונות והמלצות לתכנון, ליצירה ולניהול של עומסי עבודה של AI ו-ML שעומדים ביעדים שלכם מבחינת תפעול, אבטחה, אמינות, עלות וביצועים. בנוסף, מרכז הארכיטקטורה של Cloud מספק ארכיטקטורות מפורטות ומדריכי תכנון לעומסי עבודה של AI ו-ML ב- Google Cloud.
המלצות
כדי לבצע אופטימיזציה של עומסי עבודה של AI ו-ML ליעילות אנרגטית, כדאי להביא בחשבון את ההמלצות שבקטעים הבאים.
תכנון ארכיטקטורה יעיל אנרגטית באמצעות יחידות TPU
עומסי עבודה של AI ו-ML יכולים לדרוש הרבה משאבי מחשוב. צריכת האנרגיה של עומסי עבודה של AI ו-ML היא נקודה מרכזית בקיימוּת. יחידות TPU מאפשרות לשפר משמעותית את יעילות האנרגיה והקיימוּת של עומסי העבודה של AI ו-ML.
יחידות TPU הן מאיצים שתוכננו בהתאמה אישית ונועדו במיוחד לעומסי עבודה של AI ו-ML. הארכיטקטורה המיוחדת של יחידות ה-TPU הופכת אותן ליעילות מאוד לכפל מטריצות בקנה מידה גדול, שהוא הבסיס ללמידה עמוקה. יחידות TPU יכולות לבצע משימות מורכבות בקנה מידה גדול, ביעילות רבה יותר מאשר מעבדים לשימוש כללי כמו מעבדי CPU או GPU.
יחידות TPU מספקות את היתרונות הישירים הבאים לקיימוּת:
- צריכת אנרגיה נמוכה יותר: יחידות ה-TPU מתוכננות ליעילות אנרגטית אופטימלית. הם מספקים יותר חישובים לכל ואט של אנרגיה שנצרכת. הארכיטקטורה המיוחדת שלהם מפחיתה משמעותית את דרישות ההספק של משימות אימון והסקה בקנה מידה גדול, מה שמוביל להפחתת עלויות התפעול ולצריכת אנרגיה נמוכה יותר.
- אימון והסקה מהירים יותר: הביצועים יוצאי הדופן של יחידות ה-TPU מאפשרים לאמן מודלים מורכבים של AI תוך שעות במקום ימים. ההפחתה המשמעותית הזו בזמן החישוב הכולל תורמת ישירות לטביעת רגל סביבתית קטנה יותר.
- פחות צורך בקירור: יחידות ה-TPU כוללות קירור נוזלי מתקדם, שמספק ניהול תרמי יעיל ומפחית באופן משמעותי את האנרגיה שמשמשת לקירור מרכז הנתונים.
- אופטימיזציה של מחזור החיים של ה-AI: יחידות TPU משלבות חומרה ותוכנה כדי לספק פתרון אופטימלי לכל אורך מחזור החיים של ה-AI, מעיבוד הנתונים ועד להצגת המודל.
שיטות מומלצות לבחירת משאבים לפי 4Ms
Google ממליצה על כמה שיטות מומלצות לצמצום משמעותי של צריכת האנרגיה ופליטת הפחמן בעומסי עבודה של AI ו-ML. השיטות המומלצות האלה:
- מודל: לתרחישי שימוש מיוחדים, בחרו מודלים ייעודיים שמשתמשים בפחות משאבי מחשוב מאשר מודלים גדולים לשימוש כללי.
- מכונה: בוחרים מעבדים ומערכות שמותאמים לאימון ML. המעבדים האלה משפרים את הביצועים ואת היעילות האנרגטית פי 2 עד 5 בהשוואה למעבדים לשימוש כללי.
- מיכון: פריסת עומסי עבודה אינטנסיביים בענן. עומסי העבודה שלכם צורכים פחות אנרגיה וגורמים לפליטות נמוכות יותר, פי 1.4 עד 2 בהשוואה לפריסות מקומיות. במרכזי נתונים בענן משתמשים במחסנים חדשים יותר, שתוכננו בהתאמה אישית כדי לשפר את יעילות צריכת האנרגיה, ויש להם יחס גבוה של יעילות צריכת האנרגיה (PUE). מרכזי נתונים מקומיים הם בדרך כלל ישנים וקטנים יותר, ולכן השקעה במערכות קירור וחלוקת חשמל חסכוניות באנרגיה לא תמיד משתלמת.
- מפה: בחירת Google Cloud מיקומים שמשתמשים באנרגיה הנקייה ביותר. הגישה הזו עוזרת לצמצם את טביעת הרגל הפחמנית ברוטו של עומסי העבודה פי 5 עד 10. מידע נוסף זמין במאמר אנרגיה נטולת פחמן באזורי Google Cloud .
למידע נוסף על השיטות המומלצות של 4Ms ומדדי היעילות, אפשר לעיין במאמרי המחקר הבאים:
- טביעת הרגל הפחמנית של אימון למידת מכונה תתייצב ואז תצטמצם
- The data center as a computer: An introduction to the design of warehouse-scale machines, second edition
אופטימיזציה של מודלי AI ואלגוריתמים לאימון ולהיקש
לארכיטקטורה של מודל ה-AI ולאלגוריתמים שמשמשים לאימון ולהסקת מסקנות יש השפעה משמעותית על צריכת האנרגיה. כדאי לשקול את ההמלצות הבאות.
בחירת מודלים יעילים של AI
בחרו מודלים קטנים ויעילים יותר של AI שעומדים בדרישות הביצועים שלכם. אל תבחרו במודל הכי גדול שזמין כברירת מחדל. לדוגמה, גרסת מודל קטנה ומזוקקת כמו DistilBERT יכולה לספק ביצועים דומים עם תקורה חישובית נמוכה משמעותית והסקה מהירה יותר מאשר מודל גדול יותר כמו BERT.
שימוש בפתרונות יעילים במיוחד שמותאמים לדומיין
בחרו פתרונות ML ייעודיים שמספקים ביצועים טובים יותר ודורשים הרבה פחות משאבי מחשוב מאשר מודל בסיס גדול. הפתרונות הייעודיים האלה בדרך כלל מאומנים מראש ועוברים אופטימיזציה ברמה גבוהה. הם יכולים להפחית באופן משמעותי את צריכת האנרגיה ואת מאמצי המחקר בעומסי עבודה של אימון והסקה. הנה כמה דוגמאות לפתרונות ייעודיים לתחומים ספציפיים:
- Earth AI הוא פתרון יעיל אנרגטית שמשלב כמויות גדולות של נתונים גיאו-מרחביים גלובליים כדי לספק תובנות פרקטיות, מדויקות ובזמן אמת.
- WeatherNext יוצר תחזיות מזג אוויר גלובליות מהירות, יעילות ומדויקות יותר בהשוואה לשיטות רגילות שמבוססות על פיזיקה.
להשתמש בטכניקות מתאימות לדחיסת מודלים
הנה כמה דוגמאות לשיטות שבהן אפשר להשתמש כדי לדחוס מודלים:
- גיזום: הסרת פרמטרים מיותרים מרשת נוירונים. אלה פרמטרים שלא תורמים באופן משמעותי לביצועים של המודל. השיטה הזו מקטינה את המודל ואת משאבי המחשוב שנדרשים להסקת מסקנות.
- כימות: הפחתת הדיוק של הפרמטרים של המודל. לדוגמה, להפחית את הדיוק מנקודה צפה (floating-point) של 32 ביט למספרים שלמים של 8 ביט. הטכניקה הזו יכולה לעזור להפחית באופן משמעותי את הזיכרון שבשימוש ואת צריכת החשמל, בלי לפגוע באופן ניכר ברמת הדיוק.
- זיקוק ידע: אימון מודל תלמיד קטן יותר כדי לחקות את ההתנהגות של מודל מורה גדול ומורכב יותר. מודל התלמיד יכול להגיע לרמת ביצועים גבוהה עם פחות פרמטרים ופחות אנרגיה.
שימוש בחומרה ייעודית
כמו שמוסבר במאמר שיטות מומלצות לבחירת משאבים לפי 4Ms, כדאי לבחור מעבדים ומערכות שמותאמים לאימון למידת מכונה. המעבדים האלה משפרים את הביצועים ואת היעילות האנרגטית פי 2 עד 5 בהשוואה למעבדים לשימוש כללי.
שימוש בכוונון יעיל בפרמטרים
במקום לשנות את כל מיליארדי הפרמטרים של המודל (כוונון מלא), השתמשו בשיטות של כוונון יעיל בפרמטרים (PEFT) כמו Low-Rank Adaptation (LoRA). בשיטה הזו, מקפיאים את המשקלים של המודל המקורי ומאמנים רק מספר קטן של שכבות חדשות וקלות. הגישה הזו עוזרת להפחית את העלויות ואת צריכת האנרגיה.
שיטות מומלצות לתפעול של AI ו-ML
שיטות העבודה התפעוליות משפיעות באופן משמעותי על הקיימוּת של עומסי העבודה ב-AI וב-ML. כדאי להביא בחשבון את ההמלצות הבאות.
אופטימיזציה של תהליכי אימון מודלים
כדי לבצע אופטימיזציה של תהליכי אימון המודלים, אפשר להשתמש בשיטות הבאות:
- עצירה מוקדמת: עוקבים אחרי תהליך האימון ועוצרים אותו כשלא רואים שיפור נוסף בביצועי המודל בהשוואה לקבוצת הנתונים לתיקוף. השיטה הזו עוזרת למנוע חישובים מיותרים וצריכת אנרגיה מיותרת.
- טעינת נתונים יעילה: משתמשים בפייפליינים יעילים כדי לוודא שה-GPU וה-TPU תמיד מנוצלים ולא ממתינים לנתונים. השיטה הזו עוזרת למקסם את ניצול המשאבים ולצמצם את בזבוז האנרגיה.
- כוונון היפר-פרמטרים אופטימלי: כדי למצוא היפר-פרמטרים אופטימליים בצורה יעילה יותר, השתמשו בשיטות כמו אופטימיזציה בייסיאנית או למידת חיזוק. הימנעו מחיפושי Grid מקיפים, שיכולים להיות פעולות שדורשות משאבים רבים.
שיפור יעילות ההסקה
כדי לשפר את היעילות של משימות הסקת מסקנות של AI, אפשר להשתמש בשיטות הבאות:
- אצווה: מקבצים כמה בקשות להסקת מסקנות באצוות ומנצלים את היתרונות של עיבוד מקביל ב-GPU וב-TPU. השיטה הזו עוזרת להפחית את עלות האנרגיה לכל חיזוי.
- שמירה מתקדמת במטמון: מטמיעים אסטרטגיית שמירה במטמון בכמה שכבות, שכוללת שמירה במטמון של מפתח/ערך (KV) ליצירה אוטורגרסיבית ושמירה במטמון של הנחיות סמנטיות לתשובות של האפליקציה. השיטה הזו עוזרת לעקוף חישובי מודלים מיותרים, ויכולה להפחית באופן משמעותי את צריכת האנרגיה ואת פליטות הפחמן.
מדידה ומעקב
עוקבים אחרי הפרמטרים הבאים ומודדים אותם:
- שימוש ועלות: השתמשו בכלים המתאימים כדי לעקוב אחרי השימוש בטוקנים, צריכת האנרגיה וטביעת הרגל הפחמנית של עומסי העבודה שלכם ב-AI. הנתונים האלה עוזרים לכם לזהות הזדמנויות לאופטימיזציה ולדווח על ההתקדמות לקראת יעדי הקיימוּת.
- ביצועים: עוקבים באופן רציף אחרי ביצועי המודל בסביבת הייצור.
לזהות בעיות כמו סטיית נתונים, שיכולה להצביע על כך שצריך לכוונן את המודל שוב. אם צריך לאמן מחדש את המודל, אפשר להשתמש במודל המקורי שעבר כוונון מדויק כנקודת התחלה, וכך לחסוך הרבה זמן, כסף ואנרגיה בעדכונים.
- כדי לעקוב אחרי מדדי הביצועים, משתמשים ב-Cloud Monitoring.
- כדי לקשר בין שינויים במודל לבין שיפורים במדדי הביצועים, אפשר להשתמש בהערות לאירועים.
למידע נוסף על תפעול של שיפור מתמשך, קראו את המאמר מדידה ושיפור מתמשכים של קיימוּת.
הטמעת תזמון עם מודעות לפליטת פחמן
תכננו את המשימות בצינור עיבוד הנתונים של למידת המכונה כך שיפעלו באזורים עם תמהיל האנרגיה הנקי ביותר. אתם יכולים להשתמש בדוח טביעת הרגל הפחמנית כדי לזהות את האזורים עם פליטת הפחמן הנמוכה ביותר. תזמנו משימות שדורשות משאבים רבים כמשימות באצווה בתקופות שבהן רשת החשמל המקומית כוללת אחוז גבוה יותר של אנרגיה נטולת פחמן (CFE).
אופטימיזציה של צינורות עיבוד נתונים
פעולות ML וכוונון עדין דורשים קבוצת נתונים נקייה ואיכותית. לפני שמתחילים משימות של למידת מכונה, כדאי להשתמש בשירותים מנוהלים לעיבוד נתונים כדי להכין את הנתונים בצורה יעילה. לדוגמה, אפשר להשתמש ב-Dataflow לעיבוד בסטרימינג וברצף, וב-Managed Service for Apache Spark לצינורות עיבוד נתונים מנוהלים של Spark ו-Hadoop. פייפליין נתונים שעבר אופטימיזציה עוזר לוודא שעומס העבודה של הכוונון לא ממתין לנתונים, וכך אתם יכולים למקסם את ניצול המשאבים ולצמצם את בזבוז האנרגיה.
שימוש ב-MLOps
כדי להפוך את כל מחזור החיים של למידת המכונה לאוטומטי ולנהל אותו, אתם יכולים להטמיע שיטות של תפעול למידת מכונה (MLOps). השיטות האלה עוזרות לוודא שהמודלים מנוטרים, מאומתים ונפרסים מחדש באופן יעיל, וכך למנוע אימון או הקצאת משאבים מיותרים.
שימוש בשירותים מנוהלים
במקום לנהל תשתית משלכם, אתם יכולים להשתמש בשירותי ענן מנוהלים כמו Gemini Enterprise Agent Platform. פלטפורמת הענן מטפלת בניהול המשאבים הבסיסיים, כך שאתם יכולים להתמקד בתהליך הכוונון. להשתמש בשירותים שכוללים כלים מובנים לכוונון היפר-פרמטרים, למעקב אחרי מודלים ולניהול משאבים.
המאמרים הבאים
- כמה אנרגיה צורכת ה-AI של Google? עשינו את החישוב
- Ironwood: ה-TPU הראשון של Google לעידן הסקת המסקנות
- דוח הסביבה של Google בנושא קיימוּת לשנת 2025
- More Efficient In-Context Learning with GLaM
- סקירה כללית בנושא שמירת הקשר במטמון