Verwaltete KI-Agenten, die mit der Managed Agents API auf der Agent Platform erstellt wurden, bewerten

Auf dieser Seite wird beschrieben, wie Sie mit der Managed Agents API auf der Agent Platform erstellte Agenten mithilfe des Gen AI Evaluation Service bewerten. Sie können synthetische Testszenarien generieren, Ihren Agenten damit testen und die resultierenden Gesprächsverläufe mit vordefinierten Messwerten bewerten.

Hinweis

  1. Führen Sie die Schritte unter Agenten erstellen und verwalten aus, um eine verwaltete Agentenressource zu erstellen.

  2. Installieren Sie das Agent Platform SDK mit der Bewertungserweiterung:

    pip install google-cloud-aiplatform[evaluation]

  3. Richten Sie die Authentifizierung ein und konfigurieren Sie Ihr Projekt:

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Ihre Google Cloud Projekt-ID
    import agentplatform

client = agentplatform.Client(
    project="PROJECT_ID",
    location="global",
)

Bewertungs-Workflow

Die Bewertung eines verwalteten KI-Agenten erfolgt in drei Schritten:

  1. Szenarien generieren: Erstellen Sie automatisch verschiedene Test-Szenarien mit mehreren Runden aus den Anweisungen und Tooldefinitionen des KI-Agenten.
  2. Inferenz ausführen: Führen Sie den Agenten für die generierten Szenarien aus, um Konversations-Traces zu erfassen.
  3. Bewerten: Bewerten Sie die Unterhaltungs-Traces anhand vordefinierter Messwerte.

Schritt 1: Unterhaltungsszenarien generieren

Mit generate_conversation_scenarios können Sie automatisch Testszenarien basierend auf der Konfiguration Ihres Agenten erstellen. Die Methode liest die Systemanweisungen und Tools des KI-Agenten, um realistische Nutzer-Prompts zu erstellen.

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Google Cloud Projekt-ID
  • AGENT_ID: Die ID Ihrer Agentenressource. Weitere Informationen zum Abrufen oder Auflisten benutzerdefinierter Agenten, um ihre IDs zu finden, finden Sie unter Agenten auflisten.
AGENT_RESOURCE = f"projects/PROJECT_ID/locations/global/agents/AGENT_ID"

scenarios = client.evals.generate_conversation_scenarios(
    agent=AGENT_RESOURCE,
    config={
        "count": 5,
        "generation_instruction": "Generate scenarios where a user asks for a refund.",
    },
)

scenarios.show()

Jedes generierte Szenario enthält eine starting_prompt, die die erste Nutzernachricht in einer Unterhaltung darstellt.

Schritt 2: Inferenz ausführen

Verwenden Sie run_inference, um den Agenten mit den generierten Szenarien auszuführen. Der KI-Agent führt jedes Szenario aus und erstellt einen Unterhaltungs-Trace, der die gesamte Interaktion erfasst, einschließlich Toolaufrufen, Zwischenschritten und der endgültigen Antwort.

inference_results = client.evals.run_inference(
    agent=AGENT_RESOURCE,
    src=scenarios,
    config={"user_simulator_config": {"max_turn": 5}}
)

inference_results.show()

Schritt 3: Bewerten

Verwenden Sie evaluate, um die Unterhaltungs-Traces mit vordefinierten Messwerten zu bewerten. Die folgenden Messwerte sind für die Agentenbewertung verfügbar:

Messwert Beschreibung
final_response_quality_v1 Bewertet, ob der KI-Agent die Aufgabe des Nutzers erfolgreich abgeschlossen hat.
safety_v1 Bewertet, ob die Antworten des KI-Agenten sicher sind.
multi_turn_task_success_v1 Bewertet, ob der KI-Agent die Multi-Turn-Aufgabe des Nutzers erfolgreich abgeschlossen hat. 
from agentplatform import types

eval_result = client.evals.evaluate(
    dataset=inference_results,
    metrics=[
        types.RubricMetric.MULTI_TURN_TASK_SUCCESS,
    ],
    agent=AGENT_RESOURCE,
)

eval_result.show()

Die Methode show() zeigt einen interaktiven Bericht mit aggregierten Bewertungen, Begründungen pro Fall und den Konversations-Traces des KI-Agenten an, einschließlich der Systemtopologie (Agenten-Tools und ‑Anweisungen).

Vorhandene Interaktionen bewerten

Sie können auch Interaktionen bewerten, die bereits mit dem Agenten aufgezeichnet wurden. Dies ist nützlich, um die Qualität von Produktionsunterhaltungen zu bewerten. Informationen zum Senden einer Interaktion an einen KI-Agenten und zum Abrufen der interaction_id finden Sie unter Interaktion an einen benutzerdefinierten KI-Agenten senden.

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Google Cloud Projekt-ID
  • INTERACTION_ID: Die ID einer aufgezeichneten Interaktion.
  • AGENT_RESOURCE: Der vollständige Ressourcenname Ihres KI-Agenten im Format projects/PROJECT_ID/locations/global/agents/AGENT_ID.
interactions_dataset = types.EvaluationDataset(
    eval_cases=[
        types.EvalCase(
            interactions_data_source=types.InteractionsDataSource(
                interaction=f"projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID",
                gemini_agent_config=types.GeminiAgentConfig(
                    gemini_agent=AGENT_RESOURCE,
                ),
            ),
        ),
    ]
)

eval_result = client.evals.evaluate(
    dataset=interactions_dataset,
    metrics=[
        types.RubricMetric.MULTI_TURN_TASK_SUCCESS,
    ],
    agent=AGENT_RESOURCE,
)

eval_result.show()

Nächste Schritte

Anleitung

Hier erfahren Sie, wie Sie mit der REST API Agenten erstellen, aktualisieren, auflisten, abrufen und löschen.

Anleitung

Hier erfahren Sie, wie Sie zur Laufzeit mit Agenten interagieren, den Sitzungsstatus verwalten und Konfigurationen dynamisch überschreiben.

Übersicht

Informationen zur Agentenbewertung in der Google Agent Platform.

Anleitung

Informationen zum Verwalten von Bewertungsmesswerten in der Google Agent Platform.