Harness evaluasi AlphaEvolve harus memproses update kode kandidat secara sistematis melalui pipeline eksekusi deterministik. Alih-alih mengeksekusi dan menilai solusi sekaligus, harness membagi pipeline menjadi tiga gerbang pengujian progresif:
Gerbang evaluasi
Diagram berikut memetakan cara program kandidat mengalir melalui tiga tingkat pengujian yang berbeda sebelum menampilkan metadata terstruktur ke AlphaEvolve.
Validasi solusi
Loop evaluasi dimulai dengan menerapkan batasan struktural yang ketat tanpa menjalankan logika inti kode. Harness memeriksa solusi kandidat untuk mengetahui kebenaran sintaksis waktu kompilasi dasar, bug penguraian, dan pelanggaran keamanan struktural.
Jalur keberhasilan: Jika program lulus semua pemeriksaan validasi, kode akan melanjutkan dengan aman ke loop runtime verifikasi solusi.
Jalur kegagalan (Short-circuit): Jika ada pengujian validasi yang gagal, harness akan segera menghentikan eksekusi. Sistem ini sepenuhnya mengabaikan tingkat verifikasi dan pengujian performa yang menggunakan banyak resource untuk melindungi infrastruktur sistem. Loop langsung menuju produksi masukan, yang menegaskan penalti penelusuran datar besar (seperti
-1e12) bersama dengan skor performa bernilai nol.
Verifikasi solusi
Setelah program kandidat divalidasi sebagai aman dan secara sintaksis baik untuk dieksekusi, harness akan meluncurkannya dalam lingkungan yang terisolasi untuk menerapkan batasan fungsional yang fleksibel. Fase ini menjalankan pemeriksaan kebenaran fungsional dan unit standar Anda.
Alih-alih menghasilkan sinyal biner lulus atau gagal, harness mengevaluasi program berdasarkan jumlah atau persentase pengujian fungsional yang lulus. Hal ini dihitung dalam skor penalti keseluruhan, yang memberikan gradien penelusuran numerik yang padat kepada AlphaEvolve untuk memperbaiki struktur logika yang rusak secara bertahap selama generasi berturut-turut.
Evaluasi solusi
Jika terbukti aman secara sintaksis dan benar secara algoritma, program kandidat akan mencapai lapisan tolok ukur performa.
Harness menjalankan pengujian empiris, penghitungan logika produk langsung, atau simulasi analitis untuk mengukur metrik pengoptimalan bisnis target Anda (seperti kecepatan eksekusi algoritmik, jejak memori infrastruktur cloud, atau batas kalibrasi output).
Masukan evaluasi yang komprehensif
Di akhir pipeline eksekusi, harness menggabungkan data dari semua fase yang telah selesai ke dalam payload masukan terstruktur. Payload ini ditampilkan langsung ke AlphaEvolve untuk memandu pemilihan induk untuk mutasi berikutnya.
Output masukan standar terdiri dari tiga komponen utama berikut:
Skor hill-climbing keseluruhan: Nilai skalar gabungan tunggal yang dihitung secara deterministik oleh harness yang dimaksimalkan AlphaEvolve secara langsung selama pengoptimalan.
Skor dan penalti pengoptimalan terperinci: Sub-metrik individual, waktu eksekusi, dan perincian penalti batasan ringan. Distribusi data eksplisit ini memungkinkan mesin untuk mempertimbangkan dengan jelas konsekuensi rekayasa yang mendasarinya.
Insight tekstual: Log struktural mentah dan detail mode kegagalan dikirim kembali ke dalam konteks perintah mendatang, sehingga LLM dapat belajar secara eksplisit dari kesalahan generasinya.