Um harness de avaliação do AlphaEvolve precisa processar atualizações de código candidatas de forma sistemática por um pipeline de execução determinístico. Em vez de executar e classificar uma solução de uma só vez, o harness divide o pipeline em três portões de teste progressivos:
Portões de avaliação
O diagrama a seguir mostra como os programas candidatos fluem pelas três camadas de teste distintas antes de retornar metadados estruturados para o AlphaEvolve.
Validação da solução
O loop de avaliação começa aplicando restrições estruturais rígidas sem executar a lógica principal do código. O harness verifica se a solução candidata tem correção de sintaxe básica no momento da compilação, bugs de análise e violações de segurança estrutural.
Caminho de sucesso: se o programa passar em todas as verificações de validação, o código vai avançar com segurança para o loop de tempo de execução da verificação da solução.
Caminho de falha (curto-circuito): se algum teste de validação falhar, o harness interrompe a execução imediatamente. Ele ignora completamente as camadas de verificação e teste de performance que consomem muitos recursos para proteger a infraestrutura do sistema. O loop vai direto para a produção de feedback, afirmando uma penalidade de pesquisa simples e massiva (como
-1e12) com pontuações de performance de valor zero.
Verificação da solução
Depois que um programa candidato é validado como sintaticamente correto e seguro para execução, o harness o inicia em um ambiente isolado para aplicar restrições funcionais flexíveis. Essa fase executa as verificações de unidade padrão e de correção funcional.
Em vez de gerar um sinal binário de aprovação ou reprovação, o harness avalia o programa com base no número ou porcentagem exata de testes funcionais aprovados. Isso conta para uma pontuação de penalidade geral, fornecendo ao AlphaEvolve um gradiente de pesquisa numérica densa para corrigir incrementalmente estruturas lógicas quebradas em gerações sucessivas.
Avaliação da solução
Quando um programa candidato se mostra sintaticamente seguro e algoritmicamente correto, ele atinge a camada de benchmarking de performance.
O harness executa testes empíricos, cálculos diretos de lógica de produto ou simulações analíticas para quantificar as métricas de otimização de negócios de destino (como velocidade de execução algorítmica, espaço de memória da infraestrutura em nuvem ou limites de calibração de saída).
Feedback abrangente da avaliação
No final do pipeline de execução, o harness agrega dados de todas as fases concluídas em um payload de feedback estruturado. Esse payload é retornado diretamente ao AlphaEvolve para orientar a seleção de pais para mutações subsequentes.
A saída de feedback padronizada consiste nos três componentes principais a seguir:
Pontuação geral de escalada: um único valor escalar combinado calculado deterministicamente pelo harness que o AlphaEvolve maximiza diretamente durante a otimização.
Pontuações e penalidades de otimização granular: as submétricas individuais, os tempos de execução e as discriminações de penalidade de restrição flexível. Essa distribuição de dados explícita permite que o mecanismo raciocine claramente sobre as compensações de engenharia subjacentes.
Insights textuais: registros estruturais brutos e detalhes do modo de falha transmitidos de volta a contextos de comandos futuros, permitindo que o LLM aprenda explicitamente com os erros de geração.