Cuando diseñes métricas de evaluación para un arnés de evaluación de AlphaEvolve, establece los siguientes tres niveles de pruebas distintos.
Nivel 1: Pruebas de validación de soluciones
Estas pruebas verifican la seguridad básica de la ejecución del código y el cumplimiento de las políticas antes de la ejecución completa.
Seguridad de la ejecución: Verifica si se ejecuta el código. Esto incluye revisar la sintaxis, verificar el tiempo de compilación, realizar análisis estáticos y verificar la compatibilidad de la infraestructura.
Política de ejecución: Determina si se debe ejecutar el código, incluso si es funcional. Esto incluye la revisión de código, las verificaciones generales de calidad del código, las revisiones de InfoSec, la validación de riesgos y cumplimiento, y las verificaciones de la cadena de suministro de la API.
Consideraciones:
Si falla la validación, muestra una puntuación negativa alta, como
-10000o-100000. AlphaEvolve ignora estos programas.Incluye el tipo de falla y los registros para la depuración. Si bien AlphaEvolve no usa estos metadatos como un indicador de búsqueda, son útiles para el análisis a posteriori de los modos de falla.
Nivel 2: Pruebas de verificación de soluciones
Estas pruebas verifican la exactitud algorítmica y el cumplimiento de las restricciones con pruebas unitarias y funcionales.
Exactitud funcional: Verifica si el código se comporta correctamente con pruebas unitarias y funcionales.
Cumplimiento de las restricciones: Verifica la viabilidad de la solución o el cumplimiento de las restricciones.
Mitigación de la manipulación de recompensas: Aplica puntuaciones de verificación como penalizaciones negativas a la función de aptitud para evitar la manipulación de recompensas. Afirmar una puntuación de
-10000o-100000sirve como una penalización eficaz.
Consideraciones:
Muestra la cantidad o el porcentaje de pruebas aprobadas. Este enfoque proporciona un indicador de gradiente; un programa que aprueba 4 de 5 pruebas se reconoce como más cercano a lo correcto que uno que aprueba 0 de 5.
Considera la verificación como un cumplimiento de restricciones no definitivas. Incluso para las restricciones duras del sistema, expresarlas como penalizaciones no definitivas basadas en la proximidad al espacio factible le da a AlphaEvolve un indicador de búsqueda más útil que una aprobación o un rechazo binarios.
Nivel 3: Pruebas de evaluación de soluciones (pruebas de rendimiento)
Estas pruebas miden las métricas objetivas de rendimiento según el tipo de objetivo de optimización.
Medición directa: Realiza un seguimiento de los objetivos directamente cuando la instrumentación lo permita.
Estimaciones deterministas: Calcula los objetivos de forma analítica para los estilos clásicos de investigación de operaciones.
Validación fuera de la muestra: Realiza pruebas con conjuntos de datos de validación para casos de uso que impliquen la optimización de la canalización de aprendizaje automático o el ajuste del arnés del agente.
Estimaciones basadas en simulación: Usa simulaciones de Monte Carlo basadas en cadenas de Markov (MCMC), funciones proxy de tipo optimización bayesiana o cualquier otro enfoque basado en modelos.
Consideraciones:
Muestra puntuaciones detalladas y agregadas.
No descargues el cálculo de la puntuación al LLM; calcúlalo de forma determinista dentro del arnés del evaluador. AlphaEvolve realiza ascensos de colinas en función de estas puntuaciones de rendimiento agregadas precalculadas.
El crédito parcial proporciona un indicador de gradiente que acelera la convergencia de la búsqueda. Por ejemplo, un programa que aprueba 4 de 5 pruebas debe recibir una puntuación de
0.8en lugar deNone. Si se muestraNone, AlphaEvolve ignora el programa por completo, lo que elimina los comentarios útiles. Una puntuación de0.8indica que el candidato está cerca de lo correcto y tiene un potencial viable para la optimización.