Un harness di valutazione AlphaEvolve deve elaborare gli aggiornamenti del codice candidato in modo sistematico tramite una pipeline di esecuzione deterministica. Anziché eseguire e valutare una soluzione contemporaneamente, lo strumento divide la pipeline in tre porte di test progressivi:
Cancelli di valutazione
Il seguente diagramma mostra il flusso dei programmi candidati attraverso i tre livelli di test distinti prima di restituire i metadati strutturati ad AlphaEvolve.
Convalida della soluzione
Il ciclo di valutazione inizia applicando vincoli strutturali rigidi senza eseguire la logica principale del codice. L'harness controlla la soluzione candidata per la correttezza della sintassi di compilazione di base, gli errori di analisi e le violazioni della sicurezza strutturale.
Percorso di successo: se il programma supera tutti i controlli di convalida, il codice passa in modo sicuro al ciclo di runtime di verifica della soluzione.
Percorso di errore (cortocircuito): se un test di convalida non va a buon fine, l'imbracatura interrompe immediatamente l'esecuzione. Ignora completamente i livelli di verifica e test delle prestazioni che richiedono molte risorse per proteggere l'infrastruttura di sistema. Il ciclo passa direttamente alla produzione di feedback, con un'enorme penalità di ricerca piatta (ad esempio
-1e12) insieme a punteggi di rendimento pari a zero.
Verifica della soluzione
Una volta convalidato un programma candidato come sintatticamente valido e sicuro da eseguire, l'imbracatura lo avvia in un ambiente isolato per applicare vincoli funzionali soft. Questa fase esegue i controlli standard di correttezza funzionale e delle unità.
Anziché restituire un segnale binario di superamento o mancato superamento, l'imbracatura valuta il programma in base al numero o alla percentuale esatti di test funzionali superati. Questo valore viene conteggiato ai fini di un punteggio di penalità complessivo, fornendo ad AlphaEvolve un gradiente di ricerca numerico denso per correggere in modo incrementale le strutture logiche danneggiate nel corso di generazioni successive.
Valutazione della soluzione
Quando un programma candidato si dimostra sintatticamente sicuro e algoritmicamente corretto, raggiunge il livello di benchmarking delle prestazioni.
L'harness esegue test empirici, calcoli diretti della logica del prodotto o simulazioni analitiche per quantificare le metriche di ottimizzazione aziendale target (ad esempio velocità di esecuzione algoritmica, footprint di memoria dell'infrastruttura cloud o limiti di calibrazione dell'output).
Feedback sulla valutazione completa
Al termine della pipeline di esecuzione, l'harness aggrega i dati di tutte le fasi completate in un payload di feedback strutturato. Questo payload viene restituito direttamente ad AlphaEvolve per guidare la selezione dei genitori per le mutazioni successive.
L'output di feedback standardizzato è costituito dai seguenti tre componenti principali:
Punteggio complessivo di hill climbing: un singolo valore scalare combinato calcolato in modo deterministico dall'imbracatura che AlphaEvolve massimizza direttamente durante l'ottimizzazione.
Punteggi di ottimizzazione e penalità granulari: le singole submetriche, i tempi di esecuzione e le suddivisioni delle penalità per i vincoli flessibili. Questa distribuzione esplicita dei dati consente al motore di ragionare chiaramente sui compromessi ingegneristici sottostanti.
Approfondimenti testuali: log strutturali non elaborati e dettagli della modalità di errore restituiti nei contesti dei prompt futuri, consentendo all'LLM di apprendere esplicitamente dai suoi errori di generazione.