פלטפורמת הערכה של AlphaEvolve צריכה לעבד עדכונים של קוד מועמד באופן שיטתי באמצעות פייפליין של ביצוע דטרמיניסטי. במקום להריץ ולדרג פתרון בבת אחת, ה-harness מחלק את הצינור לשלושה שלבי בדיקה מתקדמים:
שערי הערכה
בתרשים הבא מוצג תהליך ההעברה של תוכניות מועמדות דרך שלוש רמות בדיקה שונות, לפני החזרת מטא-נתונים מובְנים ל-AlphaEvolve.
אימות הפתרון
לולאת ההערכה מתחילה באכיפה של אילוצים מבניים קשיחים בלי להריץ את הלוגיקה המרכזית של הקוד. הכלי בודק את הפתרון המוצע כדי לוודא שהתחביר נכון בזמן ההידור, שאין באגים בניתוח ושאין הפרות של אבטחה מבנית.
נתיב הצלחה: אם התוכנית עוברת את כל בדיקות האימות, הקוד מתקדם בבטחה אל לולאת זמן הריצה של אימות הפתרון.
נתיב כשל (מעקף): אם אחד ממבחני האימות נכשל, המערכת מפסיקה את הביצוע באופן מיידי. היא עוקפת לחלוטין את רמות האימות ובדיקות הביצועים שדורשות הרבה משאבים, כדי להגן על תשתית המערכת. הלולאה עוברת ישירות ליצירת משוב, ומציגה עונש חיפוש גדול וקבוע (למשל
-1e12) לצד ציוני ביצועים עם ערך אפס.
אימות הפתרון
אחרי שתוכנית מועמדת מאומתת כתוכנית תקינה מבחינת תחביר ובטוחה להרצה, המערכת מפעילה אותה בסביבה מבודדת כדי לאכוף אילוצים פונקציונליים רכים. בשלב הזה מופעלות בדיקות סטנדרטיות של יחידות ושל נכונות פונקציונלית.
במקום להפיק אות בינארי של מעבר או כישלון, מערכת הבדיקה מעריכה את התוכנית על סמך המספר המדויק או האחוז המדויק של בדיקות הפונקציונליות שעברו בהצלחה. הציון הזה נכלל בציון העונשין הכולל, ומספק ל-AlphaEvolve שיפוע חיפוש מספרי צפוף כדי לתקן בהדרגה מבני לוגיקה שבורים לאורך דורות עוקבים.
הערכת הפתרון
כשתוכנית מועמדת מוכיחה שהיא בטוחה מבחינת תחביר ונכונה מבחינה אלגוריתמית, היא מגיעה לשכבת השוואת הביצועים.
ה-harness מריץ בדיקות אמפיריות, חישובים ישירים של לוגיקת המוצר או סימולציות אנליטיות כדי לכמת את מדדי האופטימיזציה העסקית של היעד (כמו מהירות הביצוע האלגוריתמית, טביעת הזיכרון של תשתית הענן או גבולות הכיול של הפלט).
משוב מפורט על ההערכה
בסוף צינור הביצוע, ה-harness צובר נתונים מכל השלבים שהושלמו למטען ייעודי (payload) של משוב מובנה. המטען הייעודי הזה מוחזר ישירות ל-AlphaEvolve כדי להנחות את בחירת ההורה למוטציות הבאות.
פלט המשוב המתוקנן כולל את שלושת הרכיבים העיקריים הבאים:
הציון הכולל של שיטת טיפוס הגבעות: ערך סקלרי יחיד ומאוחד שמחושב באופן דטרמיניסטי על ידי מערכת הבקרה, ש-AlphaEvolve ממקסמת ישירות במהלך האופטימיזציה.
ציוני אופטימיזציה וקנסות ברמת פירוט גבוהה: מדדי המשנה, זמני הביצוע ופירוט הקנסות על הפרת אילוצים. החלוקה הברורה הזו של הנתונים מאפשרת למנוע להסיק מסקנות ברורות לגבי פשרות הנדסיות בסיסיות.
תובנות טקסטואליות: יומני רישום מבניים גולמיים ופרטים על מצבי כשל מועברים בחזרה להקשרים של הנחיות עתידיות, וכך מאפשרים למודל ה-LLM ללמוד באופן מפורש משגיאות היצירה שלו.