KI-Agentenbewertung

In diesem Dokument wird beschrieben, wie Sie die Agentenbewertung verwenden, um die Leistung, Sicherheit und Qualität Ihrer Agenten zu messen und zu verbessern.

Weitere Informationen zur Modellbewertung finden Sie unter Übersicht über den Gen AI Evaluation Service.

Zusammenfassung des Verfahrens

Phase Aktivität Ziel
Gestaltung Bewertungsfälle definieren Agentenaufgaben und erwartete Ergebnisse angeben.
Ausführung Inferenzen ausführen Generieren Sie reale oder simulierte Unterhaltungs-Traces.
Bewertungen Compute-Messwerte Traces mithilfe automatisierter Bewerter (Aufgabenerfolg, Sicherheit) bewerten.
Optimierung Agent optimieren Verbesserungen an Anweisungen oder Tools vorschlagen und prüfen.

Bewertungsprozess

Die Bewertung folgt einem strukturierten, iterativen Workflow:

  1. Bewertungsfälle definieren: Ein Bewertungsfall ist eine Spezifikation, die die Aufgabe eines KI-Agenten definiert. Ein Bewertungsfall kann einen oder mehrere Unterhaltungsschritte, den Unterhaltungskontext (den Status des Agenten) und eine Spezifikation zum Simulieren von Nutzerantworten während der Inferenz enthalten.
  2. Inferenzen ausführen: Inferenz ist die Ausführung eines Bewertungsfalls. Wenn ein Bewertungsfall einen Unterhaltungsplan enthält, werden Nutzerantworten während der Inferenz simuliert.
  3. Traces generieren: Bei jeder Inferenz wird das Verhalten des KI-Agenten in einem Trace erfasst. Ein Trace ist ein faktischer, unveränderlicher Datensatz des Verhaltens des KI-Agenten, einschließlich Modelleingaben, Antworten und Toolaufrufen.
  4. Messwerte berechnen: Messwerte sind Bewertungen, die für jeden Trace mit vordefinierten oder benutzerdefinierten Bewertern berechnet werden. Einige Messwerte, z. B. Genaue Übereinstimmung, sind referenzbasiert und erfordern einen Bewertungsfall mit einer Referenzantwort. Andere, wie Hilfreich, sind referenzfrei und bewerten den Trace für sich. Mit dieser automatisierten Bewertung können Sie Traces bewerten, die aus dem Produktionstraffic oder externen Logs erfasst wurden, unabhängig von einer verwalteten Testumgebung.
  5. Analyse durchführen: Analysieren Sie Messwerte, Rubriken und Urteile, um wichtige Probleme des KI-Agenten zu identifizieren, diese Probleme mit Testläufen zu verknüpfen und Erkenntnisse für Verbesserungen zu gewinnen.
  6. Agent optimieren: Verwenden Sie die Optimierung, um den gesamten Bewertungszyklus zu verwalten. In diesem automatisierten Prozess werden die Ergebnisse analysiert, dem Agenten Verbesserungen vorgeschlagen und der Prozess iterativ wiederholt, um Leistungssteigerungen zu überprüfen.

Bewertungs-Workflow

Sie können die Bewertung in zwei Hauptphasen Ihres Workflows einbinden:

  • Lokale Entwicklungsiteration: Bewerten Sie einen auf dem Agent Development Kit (ADK) basierenden Agenten lokal, um Prompt Engineering und Toolkonfigurationen schnell zu iterieren.
  • Bewertung bereitgestellter Agents: Messen Sie die Qualität bereitgestellter Agents, indem Sie historische Traces analysieren oder synthetische Benchmarks für Agent-Endpunkte ausführen.

Hauptfunktionen

Mit der Agentenbewertung können Sie eine erste Bewertungssuite erstellen, auch ohne vorhandene Testdaten. Die folgenden Funktionen helfen, den Prozess der Erstellung von Testfällen und der Optimierung Ihrer agentischen Systeme zu automatisieren:

  • Szenariogenerierung und Nutzersimulation: Generieren Sie automatisch vielfältige, synthetische Testszenarien mit mehreren Interaktionen basierend auf den Anweisungen und Tooldefinitionen Ihres KI-Agenten. Durch diese Automatisierung können Sie sofort mit dem Testen beginnen, da Sie keine ersten Testfälle manuell erstellen müssen.

  • Umgebungssimulation: Bestimmte Toolaufrufe abfangen, um benutzerdefiniertes Verhalten, simulierte Daten oder simulierte Fehler (z. B. HTTP 503-Fehler oder Latenzspitzen) einzufügen. Mit dieser Simulation können Sie die Ausfallsicherheit des KI-Agenten prüfen, ohne die Produktions-Backends zu beeinträchtigen.

  • Multi-Turn-Bewertung: Automatische Bewertung ganzer Unterhaltungsverläufe mithilfe von Multi-Turn-Autoratern. Diese Bewerter analysieren die Intent-Extraktion, generieren dynamisch Bewertungsschemas und liefern objektive Validierungsurteile, um die Einhaltung von Anweisungen zu gewährleisten.

  • Prompt-Optimierung: Generieren und validieren Sie optimierte Systemanweisungen programmatisch mithilfe der Prompt-Optimierung. Das Optimierungs-Framework identifiziert Fehlerquellen und schlägt iterativ gezielte Aktualisierungen vor.

Mit KI-basierten Programmierassistenten bewerten

Wenn Sie die Gemini CLI oder einen anderen KI-Programmierassistenten verwenden, können Sie Agenten-Skills installieren, die Ihrem Assistenten die auf dieser Seite beschriebene Methodik zur Agentenbewertung beibringen. Jede Fähigkeit stellt den Bewertungs-Workflow, das Dataset-Schema, die Anleitung zur Messwertauswahl und die Schritte zur Fehleranalyse direkt in Ihrer Codierungssitzung bereit. So kann Ihr Assistent Bewertungen erstellen, bewerten und verbessern, ohne dass Sie den Editor verlassen müssen.

Nach jedem Skill finden Sie eine Installationsanleitung.

Agents CLI-Bewertungs-Skill

Ein CLI-basierter Workflow zum Bewerten und Optimieren von ADK-Agenten (Agent Development Kit) mit den agents-cli eval-Befehlen. Diese Fähigkeit umfasst:

  • Bewertungs-Datasets vorbereiten und Multi-Turn-Szenarien mit Nutzersimulation synthetisieren
  • Inferenz ausführen, Traces bewerten und Fehlercluster analysieren
  • Prompts und Tools mit der Eval-Fix-Schleife iterieren

Führen Sie zur Installation den folgenden Befehl aus:

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

Flywheel-Skill für den GenAI Evaluation Service auf der Agent Platform

Ein SDK-basiertes Playbook zur Bewertung und Verbesserung von Modellen und Agenten über den GenAI Evaluation Service der Gemini Enterprise Agent Platform mit dem GenAI Evaluation SDK der Agent Platform (client.evals.evaluate()). Dieser Skill umfasst:

  • Bewertungs-Datasets aus Sitzungstraces, DataFrames oder synthetischer Generierung erstellen
  • Benutzerdefinierte Messwerte mit LLM-as-Judge-Bewertung auswählen, konfigurieren und schreiben
  • Rubrikbewertungen und Verlustmuster analysieren, um konkrete Verbesserungen zu erzielen

Führen Sie zur Installation den folgenden Befehl aus:

npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel

Nächste Schritte