Saat mendesain metrik evaluasi untuk harness evaluasi AlphaEvolve, tetapkan tiga tingkat pengujian yang berbeda berikut.
Tingkat 1: Pengujian validasi solusi
Pengujian ini memverifikasi keamanan eksekusi kode dasar dan kepatuhan kebijakan sebelum eksekusi penuh.
Keamanan eksekusi: Verifikasi apakah kode dieksekusi. Hal ini mencakup peninjauan sintaksis, pemeriksaan waktu kompilasi, melakukan analisis statis, dan memeriksa kompatibilitas infrastruktur.
Kebijakan eksekusi: Tentukan apakah kode harus dieksekusi meskipun berfungsi. Hal ini mencakup linting, pemeriksaan kualitas kode umum, peninjauan InfoSec, validasi risiko dan kepatuhan, serta pemeriksaan rantai pasokan API.
Pertimbangan:
Jika validasi gagal, tampilkan skor negatif tinggi, seperti
-10000atau-100000. AlphaEvolve mengabaikan program ini.Sertakan jenis kegagalan dan log untuk proses debug. Meskipun AlphaEvolve tidak menggunakan metadata ini sebagai sinyal penelusuran, metadata ini berguna untuk analisis mode kegagalan pasca-fakta.
Tingkat 2: Pengujian verifikasi solusi
Pengujian ini memverifikasi kebenaran algoritma dan kepatuhan terhadap batasan menggunakan pengujian unit dan fungsional.
Akurasi fungsional: Verifikasi apakah kode berperilaku dengan benar menggunakan pengujian unit dan fungsional.
Kepatuhan batasan: Verifikasi kelayakan solusi atau kepuasan batasan.
Mitigasi peretasan reward: Terapkan skor verifikasi sebagai penalti negatif ke fungsi kebugaran untuk mencegah peretasan reward. Menetapkan a skor
-10000atau-100000berfungsi sebagai penalti yang efektif.
Pertimbangan:
Tampilkan jumlah atau persentase pengujian yang lulus. Pendekatan ini memberikan sinyal gradien; program yang lulus 4 dari 5 pengujian diakui lebih dekat dengan yang benar daripada program yang lulus 0 dari 5.
Perlakukan verifikasi sebagai kepuasan batasan lunak. Bahkan untuk batasan sistem yang sulit, mengekspresikannya sebagai penalti lunak berdasarkan kedekatan dengan ruang yang layak memberi AlphaEvolve sinyal penelusuran yang lebih dapat ditindaklanjuti daripada lulus atau gagal biner.
Tingkat 3: Pengujian evaluasi solusi (pengujian performa)
Pengujian ini mengukur metrik performa objektif bergantung pada jenis target pengoptimalan.
Pengukuran langsung: Lacak sasaran secara langsung jika instrumentasi diizinkan.
Estimasi deterministik: Hitung sasaran secara analitis untuk gaya riset operasi klasik.
Validasi di luar sampel: Uji terhadap set data validasi untuk kasus penggunaan yang melibatkan pengoptimalan pipeline machine learning atau penyesuaian harness agen.
Estimasi berbasis simulasi: Gunakan simulasi Markov Chain Monte Carlo (MCMC), fungsi proxy jenis Pengoptimalan Bayesian, atau pendekatan berbasis model lainnya.
Pertimbangan:
Tampilkan skor terperinci dan agregat.
Jangan memindahkan perhitungan skor ke LLM; hitung secara deterministik dalam harness evaluator Anda. AlphaEvolve melakukan pendakian bukit terhadap skor performa agregat yang telah dihitung sebelumnya.
Kredit parsial memberikan sinyal gradien yang mempercepat konvergensi penelusuran. Misalnya, program yang lulus 4 dari 5 pengujian harus menerima skor
0.8, bukanNone. MenampilkanNonemenyebabkan AlphaEvolve mengabaikan program sepenuhnya, sehingga menghilangkan masukan yang berguna. Skor0.8menandakan bahwa kandidat hampir benar dan memiliki potensi yang layak untuk dioptimalkan.