Le piratage de récompenses comporte un certain nombre de risques. Consultez les risques et les stratégies d'atténuation correspondantes ci-dessous.
Risque 1 :
Piratage de récompenses gourmand. Si Obj = w1*S1 + w2*S2 + w3*S3, AlphaEvolve peut découvrir S2 pour l'augmenter et se concentrer entièrement dessus, en ignorant S1 et S3.
Atténuation :
Diminuez le poids du sous-score. Vous devrez peut-être effectuer deux ou trois essais pour calibrer les poids. Les simulations de référence préliminaires de quelques résultats de scoring peuvent être utiles.
Risque 2 :
Ignorer la pénalité de contrainte. Si les contraintes souples sont des pénalités
(Obj = Score - w*Penalty), AlphaEvolve peut découvrir qu'ignorer les contraintes
génère un Obj plus élevé.
Atténuation :
Augmentez considérablement le poids de la pénalité. Si le comportement persiste, ajoutez des instructions explicites dans la description du problème, par exemple "Les solutions qui ne respectent pas la contrainte X ne sont pas valides, quel que soit le score".
Risque 3 :
Exploitation de la fonction d'évaluation. AlphaEvolve peut trouver des entrées qui amènent l'évaluateur à renvoyer des scores artificiellement élevés (cas extrêmes à virgule flottante, fuite de données de test).
Atténuation :
Évaluation déterministe avec des valeurs aléatoires fixes. Validez les gagnants sur les données mises de côté après l'expérience.
Pour éviter le piratage de récompenses, mettez en œuvre les techniques générales suivantes :
Utilisez des vérifications AST pour les primitives interdites (sys, os, inspect, eval, exec, getattr, setattr) et renvoyez
Nonesi vous en trouvez.Vérifiez que le code en dehors de
EVOLVE-BLOCKn'a pas changé (différence de texte ou AST).Exécutez la fonction évoluée deux fois avec la même entrée et vérifiez que la sortie est identique (détecte le piratage aléatoire).
Vérifiez le temps d'évaluation. S'il se termine en microsecondes, il a probablement codé en dur la réponse.
Placez la logique de scoring dans un fichier distinct invisible pour le LLM.