פלטפורמת הערכה של AlphaEvolve צריכה לעבד עדכונים של קוד מועמד באופן שיטתי דרך פייפליין של ביצוע דטרמיניסטי. במקום להריץ ולדרג פתרון בבת אחת, ה-harness מחלק את צינור הנתונים לשלושה שלבי בדיקה מתקדמים:
שערי הערכה
בתרשים הבא מוצג תהליך ההתקדמות של תוכנות מועמדות בשלוש רמות בדיקה שונות לפני שהן מחזירות מטא-נתונים מובְנים ל-AlphaEvolve.
אימות הפתרון
לולאת ההערכה מתחילה באכיפה של אילוצים מבניים קשיחים בלי להריץ את לוגיקת הליבה של הקוד. הכלי בודק את הפתרון המועמד כדי לוודא שהתחביר נכון בזמן הקימפול, שאין באגים בניתוח ושאין הפרות של אבטחה מבנית.
מסלול הצלחה: אם התוכנית עוברת את כל בדיקות האימות, הקוד ממשיך בבטחה ללולאת זמן הריצה של אימות הפתרון.
נתיב כשל (קצר): אם אחת מבדיקות האימות נכשלת, רתמת הבדיקה מפסיקה מיד את ההפעלה. הוא עוקף לחלוטין את שלבי האימות ובדיקת הביצועים שצורכים הרבה משאבים, כדי להגן על תשתית המערכת. הלולאה עוברת ישירות להפקת משוב, ומפעילה קנס קבוע משמעותי על החיפוש (למשל
-1e12) לצד ציוני ביצועים עם ערך אפס.
אימות הפתרון
אחרי שתוכנית מועמדת מאומתת כתקינה מבחינה תחבירית ובטוחה להפעלה, הרתמה מפעילה אותה בסביבה מבודדת כדי לאכוף אילוצים פונקציונליים קלים. בשלב הזה מופעלות בדיקות סטנדרטיות של יחידות ושל תקינות פונקציונלית.
במקום להפיק אות בינארי של הצלחה או כישלון, הרתמה מעריכה את התוכנית על סמך המספר המדויק או האחוז של בדיקות הפונקציונליות שעברו בהצלחה. הניקוד הזה נכלל בציון העונש הכולל, ומספק ל-AlphaEvolve שיפוע חיפוש מספרי צפוף כדי לתקן בהדרגה מבנים לוגיים פגומים בדורות הבאים.
הערכת הפתרון
כשהתוכנית המועמדת מוכיחה שהיא בטוחה מבחינה תחבירית ונכונה מבחינה אלגוריתמית, היא מגיעה לשכבת השוואת הביצועים.
הכלי מריץ בדיקות אמפיריות, חישובים ישירים של לוגיקת המוצר או סימולציות אנליטיות כדי לכמת את מדדי האופטימיזציה של היעדים העסקיים (כמו מהירות הביצוע של האלגוריתם, הזיכרון שבשימוש בתשתית הענן או גבולות הכיול של הפלט).
משוב על הערכה מקיפה
בסוף צינור עיבוד הנתונים, ה-harness צובר נתונים מכל השלבים שהושלמו למטען ייעודי (payload) מובנה של משוב. המידע הזה מוחזר ישירות ל-AlphaEvolve כדי להנחות את בחירת ההורה למוטציות הבאות.
הפלט הסטנדרטי של המשוב מורכב משלושת הרכיבים העיקריים הבאים:
הציון הכולל של שיטת טיפוס הגבעות: ערך סקלרי יחיד ומאוחד שמחושב באופן דטרמיניסטי על ידי מערכת הבדיקה, ומוגדל באופן ישיר על ידי AlphaEvolve במהלך האופטימיזציה.
ציוני אופטימיזציה וקנסות מפורטים: פירוט של מדדי המשנה, זמני הביצוע והקנסות על אילוצים גמישים. חלוקת הנתונים המפורשת הזו מאפשרת למנוע להסיק מסקנות ברורות לגבי פשרות הנדסיות בסיסיות.
תובנות טקסטואליות: יומני מבנה גולמיים ופרטים על מצבי כשל מועברים בחזרה להקשרים של הנחיות עתידיות, וכך מאפשרים למודל ה-LLM ללמוד באופן מפורש מהשגיאות שנוצרו.