Ein AlphaEvolve-Evaluierungstool muss Codeupdates systematisch über eine deterministische Ausführungspipeline verarbeiten. Anstatt eine Lösung auf einmal auszuführen und zu bewerten, unterteilt das Tool die Pipeline in drei progressive Testphasen:
Evaluierungsphasen
Das folgende Diagramm zeigt, wie Kandidatenprogramme die drei verschiedenen Testebenen durchlaufen, bevor strukturierte Metadaten an AlphaEvolve zurückgegeben werden.
Lösungsvalidierung
Die Evaluierungsschleife beginnt mit der Erzwingung harter struktureller Einschränkungen, ohne die Kernlogik des Codes auszuführen. Das Tool prüft die Kandidatenlösung auf grundlegende Syntaxkorrektheit zur Kompilierzeit, Parsing-Fehler und strukturelle Sicherheitsverstöße.
Erfolgspfad: Wenn das Programm alle Validierungsprüfungen besteht, wird der Code sicher zur Laufzeitschleife der Lösungsprüfung weitergeleitet.
Fehlerpfad (Kurzschluss): Wenn ein Validierungstest fehlschlägt, bricht das Tool die Ausführung sofort ab. Die ressourcenintensive Überprüfung und die Leistungstests werden vollständig umgangen, um die Systeminfrastruktur zu schützen. Die Schleife springt direkt zur Feedbackerstellung und setzt neben Leistungswerten von null eine massive pauschale Suchstrafe (z. B.
-1e12) fest.
Lösungsprüfung
Sobald ein Kandidatenprogramm als syntaktisch korrekt und sicher für die Ausführung validiert wurde, startet das Tool es in einer isolierten Umgebung, um weiche funktionale Einschränkungen zu erzwingen. In dieser Phase werden die Standardprüfungen auf Unit- und funktionale Korrektheit ausgeführt.
Anstatt ein binäres Signal für „Bestanden“ oder „Nicht bestanden“ auszugeben, bewertet das Tool das Programm anhand der genauen Anzahl oder des Prozentsatzes der bestandenen Funktionstests. Dies wird auf eine Gesamtstrafe angerechnet und liefert AlphaEvolve einen dichten numerischen Suchgradienten, um fehlerhafte Logikstrukturen in nachfolgenden Generationen schrittweise zu korrigieren.
Lösungsevaluierung
Wenn sich ein Kandidatenprogramm als syntaktisch sicher und algorithmisch korrekt erweist, erreicht es die Ebene für Leistungsbenchmarking.
Das Tool führt empirische Tests, direkte Berechnungen der Produktlogik oder analytische Simulationen aus, um die Zielmesswerte für die Geschäftsoptimierung zu quantifizieren (z. B. algorithmische Ausführungsgeschwindigkeit, Arbeitsspeicherbedarf der Cloudinfrastruktur oder Grenzwerte für die Ausgabekalibrierung).
Umfassendes Evaluierungsfeedback
Am Ende der Ausführungspipeline aggregiert das Tool Daten aus allen abgeschlossenen Phasen zu einer strukturierten Feedbacknutzlast. Diese Nutzlast wird direkt an AlphaEvolve zurückgegeben, um die Auswahl des übergeordneten Elements für nachfolgende Mutationen zu steuern.
Die standardisierte Feedbackausgabe besteht aus den folgenden drei Hauptkomponenten:
Gesamtpunktzahl für die Hill-Climbing-Methode: Ein einzelner kombinierter Skalarwert, der deterministisch vom Tool berechnet wird und den AlphaEvolve während der Optimierung direkt maximiert.
Granulare Optimierungspunktzahlen und Strafen: Die einzelnen Unterkennzahlen, Ausführungszeiten und Aufschlüsselungen der Strafen für weiche Einschränkungen. Diese explizite Datenverteilung ermöglicht es der Engine, klar über die zugrunde liegenden technischen Kompromisse zu argumentieren.
Textbasierte Analysen: Rohprotokolle zur Struktur und Details zu Fehlermodi werden an zukünftige Promptkontexte zurückgegeben, sodass das LLM explizit aus seinen Generierungsfehlern lernen kann.