דפוסי הטמעה של כלי ההערכה

כשמעצבים מדדי הערכה לערכת הערכה של AlphaEvolve, צריך להגדיר את שלוש רמות הבדיקה הנפרדות הבאות.

רמה 1: בדיקות אימות של פתרונות

הבדיקות האלה מאמתות את הבטיחות של הרצת קוד בסיסי ואת התאימות למדיניות לפני הרצה מלאה.

• בטיחות ההרצה: בודקים אם הקוד מורץ. הבדיקות כוללות בדיקת תחביר, בדיקת משך הזמן לקימפול, ביצוע ניתוח סטטי ובדיקת תאימות של התשתית.

• מדיניות ההרצה: קובעת אם הקוד יורץ גם אם הוא פונקציונלי. זה כולל בדיקות לינט, בדיקות כלליות של איכות הקוד, בדיקות של אבטחת מידע, אימות של סיכונים ותאימות ובדיקות של שרשרת אספקת ה-API.

שיקולים:

• אם האימות נכשל, מחזירים ציון שלילי גבוה, כמו -10000 או -100000. ‫AlphaEvolve מתעלם מהתוכנות האלה.

• כדאי לכלול את סוג הכשל ואת היומנים לצורך ניפוי באגים. למרות ש-AlphaEvolve לא משתמש במטא-נתונים האלה כאות חיפוש, הם שימושיים לניתוח בדיעבד של מצבי כשל.

רמה 2: בדיקות לאימות הפתרון

הבדיקות האלה מאמתות את התקינות האלגוריתמית ואת ההקפדה על אילוצים באמצעות בדיקות יחידה ובדיקות פונקציונליות.

• דיוק פונקציונלי: בודקים אם הקוד מתנהג בצורה נכונה באמצעות בדיקות יחידה ובדיקות פונקציונליות.

• עמידה באילוצים: אימות של היתכנות הפתרון או של עמידה באילוצים.

• צמצום הסיכון לפריצה של תגמולים: כדי למנוע פריצה של תגמולים, אפשר להחיל ציוני אימות כעונשים שליליים על פונקציית הכושר. הצגת ניקוד של -10000 או -100000 היא עונש יעיל.

שיקולים:

• הפונקציה מחזירה את מספר הבדיקות שעברו או את אחוז הבדיקות שעברו. הגישה הזו מספקת אות הדרגתי. תוכנית שעוברת 4 מתוך 5 בדיקות נחשבת קרובה יותר לתוכנית נכונה מאשר תוכנית שעוברת 0 מתוך 5 בדיקות.

• האימות מתבצע כהשלמת אילוצים רכים. גם אם יש אילוצים קשים במערכת, אם מביעים אותם כעונשים מתונים על סמך הקרבה למרחב האפשרי, AlphaEvolve מקבל אות חיפוש שניתן לפעול לפיו, ולא אות בינארי של הצלחה או כישלון.

רמה 3: בדיקות להערכת הפתרון (בדיקות ביצועים)

במסגרת הבדיקות האלה נמדדים מדדי ביצועים אובייקטיביים בהתאם לסוג יעד האופטימיזציה.

• מדידה ישירה: מעקב אחרי יעדים ישירות במקומות שבהם ההטמעה מאפשרת זאת.

• הערכות דטרמיניסטיות: חישוב יעדים באופן אנליטי לסגנונות קלאסיים של מחקר תפעולי.

• אימות מחוץ למדגם: בדיקה מול קבוצות נתונים של אימות לתרחישי שימוש שכוללים אופטימיזציה של פייפליין למידת מכונה או כוונון של מעטפת אג'נטית.

• אומדנים מבוססי-סימולציה: שימוש בסימולציות של Markov Chain Monte Carlo‏ (MCMC), בפונקציות פרוקסי מסוג אופטימיזציה בייסיאנית או בגישות אחרות שמבוססות על מודלים.

שיקולים:

• החזרת ציונים מפורטים וציונים מצטברים.

• אל תעבירו את חישוב הניקוד למודל שפה גדול (LLM). חשבו אותו באופן דטרמיניסטי בתוך כלי ההערכה. ‫AlphaEvolve מבצעת חיפוש מקומי כדי למצוא את שיטת הבידינג הטובה ביותר בהשוואה לציון הביצועים המצטבר שחושב מראש.

• קרדיט חלקי מספק אות הדרגתי שמאיץ את ההתכנסות של החיפוש. לדוגמה, אם תוכנית עוברת 4 מתוך 5 בדיקות, הציון שלה צריך להיות 0.8 ולא None. החזרת None גורמת ל-AlphaEvolve להתעלם מהתוכנית לחלוטין, וכך לא מתקבל משוב מועיל. ציון של 0.8 מעיד שהמועמד קרוב להיות נכון ויש לו פוטנציאל טוב לאופטימיזציה.