Un arnés de evaluación de AlphaEvolve debe procesar las actualizaciones de código candidatas de forma sistemática a través de una canalización de ejecución determinística. En lugar de ejecutar y calificar una solución de una sola vez, el arnés divide la canalización en tres puertas de prueba progresivas:
Puntos de control de evaluación
En el siguiente diagrama, se muestra cómo los programas candidatos fluyen a través de los tres niveles de pruebas distintos antes de devolver metadatos estructurados a AlphaEvolve.
Validación de la solución
El bucle de evaluación comienza aplicando restricciones estructurales estrictas sin ejecutar la lógica principal del código. El arnés verifica la solución candidata para detectar errores básicos de sintaxis en tiempo de compilación, errores de análisis y violaciones de seguridad estructurales.
Ruta de éxito: Si el programa pasa todas las verificaciones de validación, el código avanza de forma segura hasta el bucle de tiempo de ejecución de la verificación de la solución.
Ruta de falla (cortocircuito): Si falla alguna prueba de validación, el arnés interrumpe la ejecución de inmediato. Omite por completo los niveles de verificación y pruebas de rendimiento que consumen muchos recursos para proteger la infraestructura del sistema. El bucle pasa directamente a la producción de comentarios, lo que genera una penalización masiva por búsqueda plana (como
-1e12) junto con puntuaciones de rendimiento con valor cero.
Verificación de la solución
Una vez que se valida que un programa candidato es sintácticamente correcto y seguro para ejecutarlo, el arnés lo inicia en un entorno aislado para aplicar restricciones funcionales flexibles. En esta fase, se ejecutan las verificaciones de corrección funcional y de unidades estándar.
En lugar de generar una señal binaria de aprobado o reprobado, el arnés evalúa el programa en función de la cantidad o el porcentaje exactos de pruebas funcionales aprobadas. Esto se suma a una puntuación de penalización general, lo que proporciona a AlphaEvolve un gradiente de búsqueda numérico denso para corregir de forma incremental las estructuras lógicas rotas en generaciones sucesivas.
Evaluación de la solución
Cuando un programa candidato demuestra ser seguro desde el punto de vista sintáctico y correcto desde el punto de vista algorítmico, llega a la capa de comparativas de rendimiento.
El arnés ejecuta pruebas empíricas, cálculos directos de la lógica del producto o simulaciones analíticas para cuantificar las métricas de optimización empresarial objetivo (como la velocidad de ejecución algorítmica, la huella de memoria de la infraestructura de la nube o los límites de calibración de la salida).
Comentarios sobre la evaluación integral
Al final de la canalización de ejecución, el arnés agrega datos de todas las fases completadas en una carga útil de comentarios estructurada. Esta carga útil se devuelve directamente a AlphaEvolve para guiar la selección de elementos principales para mutaciones posteriores.
El resultado de comentarios estandarizado consta de los siguientes tres componentes principales:
Puntuación general de ascenso de colina: Es un valor escalar único y combinado que calcula de forma determinística el arnés y que AlphaEvolve maximiza directamente durante la optimización.
Niveles de optimización y penalizaciones detallados: Las submétricas individuales, los tiempos de ejecución y los desgloses de las penalizaciones por incumplimiento de restricciones flexibles. Esta distribución de datos explícita permite que el motor razone con claridad sobre las compensaciones de ingeniería subyacentes.
Estadísticas textuales: Registros estructurales sin procesar y detalles del modo de falla que se pasan a contextos de instrucciones futuros, lo que permite que el LLM aprenda de forma explícita de sus errores de generación.