Pencegahan peretasan reward

Ada sejumlah risiko yang terkait dengan peretasan reward. Lihat risiko dan strategi mitigasi yang sesuai di bawah ini.

Risiko 1:

Peretasan reward serakah. Jika Obj = w1*S1 + w2*S2 + w3*S3, AlphaEvolve dapat menemukan S2 untuk ditingkatkan dan berfokus sepenuhnya padanya, dengan mengabaikan S1 dan S3.

Mitigasi:

Kurangi bobot sub-skor. Mungkin memerlukan 2-3 uji coba untuk mengalibrasi bobot. Simulasi dasar awal dari beberapa hasil pemberian skor akan membantu.

Risiko 2:

Mengabaikan penalti batasan. Jika batasan ringan adalah penalti (Obj = Score - w*Penalty), AlphaEvolve mungkin menemukan bahwa mengabaikan batasan menghasilkan Obj yang lebih tinggi.

Mitigasi:

Meningkatkan bobot penalti secara signifikan. Jika perilaku berlanjut, tambahkan petunjuk eksplisit dalam deskripsi masalah seperti "Solusi yang melanggar batasan X tidak valid terlepas dari skornya".

Risiko 3:

Eksploitasi fungsi evaluasi. AlphaEvolve dapat menemukan input yang menyebabkan evaluator menampilkan skor tinggi secara artifisial (kasus ekstrem floating-point, kebocoran data pengujian).

Mitigasi:

Evaluasi deterministik dengan nilai awal acak tetap. Validasi pemenang pada data yang dikecualikan setelah eksperimen.

Untuk mencegah peretasan reward, terapkan teknik umum berikut:

  • Gunakan pemeriksaan AST untuk mengetahui apakah ada primitif yang dilarang (sys, os, inspect, eval, exec, getattr, setattr) dan menampilkan None jika ditemukan.

  • Verifikasi bahwa kode di luar EVOLVE-BLOCK tidak berubah (perbedaan teks atau AST).

  • Jalankan fungsi yang telah diubah dua kali dengan input yang sama dan verifikasi output yang identik (mencegah peretasan keacakan).

  • Periksa waktu evaluasi. Jika selesai dalam mikrodetik, kemungkinan jawabannya dikodekan secara permanen.

  • Letakkan logika pemberian skor dalam file terpisah yang tidak terlihat oleh LLM.