Best Practices für Tests

So können Sie schnell mit der Plattform loslegen:

  1. Umgebung initialisieren: Verwenden Sie die Seite Erste Schritte, um alle Voraussetzungen zu erfüllen und Ihre Umgebung zu initialisieren.

  2. Führen Sie eine grundlegende Überprüfung durch: Rufen Sie den Bereich „Codelabs“ auf und führen Sie mindestens das Codelab „Circle Packing“ aus. In diesem Schritt wird sichergestellt, dass Ihre Transportebenen, die Blocksyntax und die lokale Laufzeitüberprüfung reibungslos und ohne Fehler ausgeführt werden, bevor Sie mit domainspezifischen Zielen fortfahren.

  3. Testdesign umsetzen: Wählen Sie zwischen einem agentischen oder manuellen Integrationspfad aus:

    • Agent-basierte Integration: Wenn Sie agent-basierte Codierungstools verwenden, führen Sie die integrierte Skills-Pipeline aus, um die Einrichtung und das Testdesign programmatisch zu durchlaufen.

    • Manuelle Integration: Wenn Sie keine Agent-Tools verwenden, sehen Sie sich die Codelabs an und erstellen Sie Ihr Experiment manuell, indem Sie die folgenden Aktionen ausführen:

      • Bereiten Sie den Baseline-Seed-Code vor: Schreiben Sie den ursprünglichen Baseline-Code gemäß den Programmrichtlinien und platzieren Sie explizite EVOLVE-BLOCK-Kommentarmarkierungen ausschließlich um die spezifischen Logiksegmente oder Unterroutinen, die mit der Platzierungsstrategie refaktoriert werden sollen.

      • Evaluator-Harness-Funktion erstellen: Schreiben Sie eine clientseitige oder serverseitige Ausführungsschleife, um die geänderten Codeblöcke von AlphaEvolve zu empfangen, sie sicher auszuführen und Geschäftsstatistiken zu berechnen. Der Evaluator muss ein strukturiertes Dictionary mit einem oder mehreren Messwerten zurückgeben, um AlphaEvolve eine explizite Richtung für den Suchgradienten zu geben. Halten Sie sich an die auf der Seite Evaluator design (Design der Evaluatoren) aufgeführten grundlegenden Richtlinien.

      • Problemdefinition dokumentieren: Definieren Sie eine präzise Problembeschreibung in Ihrer Konfiguration und geben Sie Hintergrundinformationen, relevante Regeln für den Domänenkontext und strenge Einschränkungen des Betriebssystems an. Halten Sie sich an die Richtlinien auf der Seite Richtlinien für Kontext und Prompt-Konfiguration.

      • Konfiguration des Tests auswählen: Geben Sie die Hyperparameterkonfiguration für die Laufzeit an, einschließlich der Ziel-LLM-Mischungen, der maximalen Grenzwerte für die Programmausgabe und der optimalen Grenzwerte für die Ausführungskonkurrenz. Halten Sie sich an die Richtlinien auf der Seite Daten und Parallelität.

  4. Ausführung überwachen und an die Produktion übergeben

    Starten Sie den Optimierungstest und verfolgen Sie die Fitnesswerte in Echtzeit über aufeinanderfolgende Generationen hinweg. Empfohlene Evaluationsbudgets beginnen bei etwa 100 Programmen und können bei schwierigen Problemen auf Tausende ansteigen. Wenn Ihre Auswertungsstatistiken nach etwa 1.550 Bewertungen von Kandidatenprogrammen keinen klaren Trend zeigen,halten Sie die Ausführungsschleife an, um den Kontext Ihrer Problemdefinition zu optimieren oder die Einschränkungen für weiche Strafen anzupassen.

  5. Produktionsintegration

    Nach erfolgreicher Suchkonvergenz rufen Sie den optimalen Programmkandidaten (oder die n-beste Variante in Abhängigkeit von betrieblichen Kompromissen bei mehreren Messwerten) aus den Verlaufstabellen ab und implementieren Sie ihn direkt in Ihre Systemarchitektur.

Wenn die Optimierungskomplexität, die Abhängigkeitsstacks und die Skalierungsanforderungen zunehmen, sollten Sie von Ihrem lokalen Prozessbereich zur auf dem Cluster-Toolkit basierenden Infrastruktur wechseln, um anspruchsvolle Rechenanforderungen auf Unternehmensniveau zu bewältigen.