Agent-Prompts optimieren

Vorabversion – Agent-Bewertung auf der Gemini Enterprise Agent Platform

Diese Funktion unterliegt den „Pre-GA-Angebotsbedingungen“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen sowie den dienstspezifischen Nutzungsbedingungen für generative KI. Mit dieser Funktion können Kunden KI-Agents testen. Daher gelten die dienstspezifischen Nutzungsbedingungen für „Agentic AI Services“. Pre-GA-Produkte und -Features sind "im Ist-Zustand" verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter Beschreibungen der Startphase.

Die Optimierung ist die letzte Phase des Qualitäts-Flywheels. Nachdem Sie durch die Bewertung und das Clustering von Fehlern systemische Probleme erkannt haben, können Sie den Optimizer-Dienst verwenden, um die Systemanweisungen oder Toolbeschreibungen Ihres Agents programmatisch zu optimieren. Bei diesem automatisierten Prozess werden die genauen Fehlerstellen ermittelt und iterativ gezielte Aktualisierungen vorgeschlagen, bis der optimale Prompt für Ihr Bewertungs-Dataset gefunden ist.

Das Optimierungs-Flywheel

Die Optimierung eines Agents erfolgt in der Regel in einem dreistufigen Zyklus:

1. Fehler analysieren:Ermitteln Sie bestimmte Verhaltenslücken, z. B. einen „Verlustcluster“, in dem der Kundenservicemitarbeiter die Identität des Nutzers nicht bestätigen kann.
2. Verbesserungen vorschlagen:Der Optimizer generiert einen „Patch“ für die Systemanweisung, z.B. „Frage immer nach einer Vielfliegernummer, bevor du eine Buchung bestätigst“.
3. Steigerungen überprüfen:Das System führt automatisch einen direkten Vergleich durch, um sicherzustellen, dass die neue Anleitung die Ergebnisse verbessert, ohne Regressionen zu verursachen.

Programmatisch mit dem SDK optimieren

Sie können einen Optimierungsjob direkt mit dem Agent Platform SDK auslösen. Der Optimizer verwendet erweiterte Methoden wie GEPA oder MIPRO, um neue Regeln aus Ihren Testläufen abzuleiten.

# Automatically refine the system prompt to fix identified issues
optimize_result = client.optimizer.optimize(
    targets=["system_prompt"],    # Specify which resource to optimize
    benchmark=eval_result,       # Use results from a previous evaluation run
    tests=eval_dataset,          # The test cases the agent should pass
    optimization_params={
        "method": "gepa",        # Use the GEPA optimization method
        "num_steps": 5           # Number of iterations to perform
    }
)

# Preview the optimized instruction
print("Optimized Instruction:", optimize_result.instruction)

Mit der Befehlszeile optimieren

Für die lokale Entwicklung können Sie den Befehl adk optimize verwenden, um den Agent-Code direkt über das Terminal zu aktualisieren.

1. Führen Sie den Optimierungsbefehl aus und geben Sie dabei Ihr lokales Agent-Modul an: sh adk optimize . --target instruction --eval_set my_test_suite
2. Sehen Sie sich die vorgeschlagenen Änderungen im Terminal an.
3. Geben Sie y ein, um die optimierten Anweisungen auf Ihre Datei agent.py anzuwenden.

Visuelle Optimierung in der Console

In der Google Cloud Console können Sie visuelle Statistiken verwenden, um Optimierungen auszulösen:

1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > Agents > Evaluation auf.

   Zur Seite „Bewertung“

2. Wählen Sie eine fehlgeschlagene Bewertungsausführung aus.

3. Wählen Sie einen bestimmten Loss Cluster (Verlustcluster) aus, z.B. „Invalid Tool Parameter Format“ (Ungültiges Tool-Parameterformat).

4. Klicken Sie auf die Schaltfläche Mit Optimizer beheben.

5. Sehen Sie sich den Vorher-/Nachher-Vergleich der Systemanweisung an und klicken Sie auf Akzeptieren, um Ihren Agent zu aktualisieren.