Pola penerapan evaluator

Saat mendesain metrik evaluasi untuk platform evaluasi AlphaEvolve, tetapkan tiga tingkat pengujian yang berbeda berikut.

Tingkat 1: Pengujian validasi solusi

Pengujian ini memverifikasi keamanan eksekusi kode dasar dan kepatuhan terhadap kebijakan sebelum eksekusi penuh.

  • Keamanan eksekusi: Verifikasi apakah kode dieksekusi. Hal ini mencakup peninjauan sintaksis, pemeriksaan waktu kompilasi, melakukan analisis statis, dan memeriksa kompatibilitas infrastruktur.

  • Kebijakan eksekusi: Tentukan apakah kode harus dieksekusi meskipun berfungsi. Hal ini mencakup linting, pemeriksaan kualitas kode umum, peninjauan InfoSec, validasi risiko dan kepatuhan, serta pemeriksaan rantai pasokan API.

Pertimbangan:

  • Jika validasi gagal, tampilkan skor negatif tinggi, seperti -10000 atau -100000. AlphaEvolve mengabaikan program ini.

  • Sertakan jenis kegagalan dan log untuk proses debug. Meskipun AlphaEvolve tidak menggunakan metadata ini sebagai sinyal penelusuran, metadata ini berguna untuk analisis post-facto tentang mode kegagalan.

Tingkat 2: Pengujian verifikasi solusi

Pengujian ini memverifikasi kebenaran algoritma dan kepatuhan terhadap batasan menggunakan pengujian unit dan fungsional.

  • Akurasi fungsional: Verifikasi apakah kode berperilaku dengan benar menggunakan pengujian unit dan fungsional.

  • Kepatuhan terhadap batasan: Verifikasi kelayakan solusi atau pemenuhan batasan.

  • Mitigasi peretasan reward: Terapkan skor verifikasi sebagai penalti negatif pada fungsi kebugaran untuk mencegah peretasan reward. Menyatakan skor -10000 atau -100000 berfungsi sebagai penalti yang efektif.

Pertimbangan:

  • Menampilkan jumlah atau persentase tes yang lulus. Pendekatan ini memberikan sinyal gradien; program yang lulus 4 dari 5 pengujian dianggap lebih mendekati kebenaran daripada program yang lulus 0 dari 5 pengujian.

  • Perlakukan verifikasi sebagai pemenuhan batasan ringan. Bahkan untuk batasan sistem yang berat, mengekspresikannya sebagai penalti ringan berdasarkan kedekatan dengan ruang yang layak memberi AlphaEvolve sinyal penelusuran yang lebih dapat ditindaklanjuti daripada lulus atau gagal biner.

Tingkat 3: Pengujian evaluasi solusi (pengujian performa)

Pengujian ini mengukur metrik performa objektif, bergantung pada jenis target pengoptimalan.

  • Pengukuran langsung: Lacak tujuan secara langsung jika memungkinkan instrumentasi.

  • Estimasi deterministik: Hitung tujuan secara analitis untuk gaya riset operasi klasik.

  • Validasi di luar sampel: Pengujian terhadap set data validasi untuk kasus penggunaan yang melibatkan pengoptimalan pipeline machine learning atau penyesuaian harness agen.

  • Estimasi berbasis simulasi: Gunakan simulasi Markov Chain Monte Carlo (MCMC), fungsi proxy jenis Pengoptimalan Bayesian, atau pendekatan berbasis model lainnya.

Pertimbangan:

  • Menampilkan skor perincian dan gabungan.

  • Jangan memindahkan penghitungan skor ke LLM; hitung secara deterministik dalam harness evaluator Anda. AlphaEvolve mendaki bukit berdasarkan skor performa gabungan yang telah dihitung sebelumnya ini.

  • Kredit parsial memberikan sinyal gradien yang mempercepat konvergensi penelusuran. Misalnya, program yang lulus 4 dari 5 pengujian harus menerima skor 0.8, bukan None. Mengembalikan None menyebabkan AlphaEvolve mengabaikan program sepenuhnya, sehingga menghilangkan masukan yang berguna. Skor 0.8 menunjukkan bahwa kandidat hampir benar dan memiliki potensi yang layak untuk pengoptimalan.