Kontinuierliche Evaluierung mit Online-Monitoren

Mit dem Online-Monitoring können Sie die Qualität Ihrer Agenten in der Produktion kontinuierlich bewerten. Dieser proaktive Ansatz hilft Ihnen, Qualitätsdrift zu erkennen – eine beobachtbare Abnahme der Agentenleistung im Laufe der Zeit, die durch Änderungen im Nutzerverhalten oder in externen Daten verursacht wird. Durch die Konfiguration von Online-Monitoren können Sie Live-Traces asynchron mit vordefinierten und benutzerdefinierten Messwerten bewerten, damit Ihr Agent zuverlässig bleibt und Ihren Leistungsstandards entspricht.

Hinweis

Damit Sie die Onlineüberwachung für Ihre Agenten aktivieren können, müssen die folgenden Anforderungen erfüllt sein:

  • Stellen Sie Ihren Agenten wie unter Agent bereitstellen beschrieben bereit.
  • Cloud Trace muss für Ihr Projekt aktiviert sein.
  • (Optional) Wenn Sie Monitore programmatisch erstellen möchten, finden Sie auf der Seite Agenten bewerten Anleitungen zur Initialisierung des Agent Platform SDK.

Telemetrieanforderungen

Für das Online-Monitoring muss Ihr Agent bestimmte OpenTelemetry-Signale exportieren, um den erforderlichen Kontext für die Bewertung bereitzustellen:

  1. Invoke agent span: Muss die folgenden Attribute enthalten:

    • gen_ai.agent.name: Die ID des Agenten.
    • gen_ai.agent.description: Eine kurze Beschreibung des Zwecks des Agenten.
    • gen_ai.conversation.id: Eine eindeutige ID für die jeweilige Unterhaltungssitzung.

  2. Inferenzereignisse: Das Ereignis gen_ai.client.inference.operation.details muss Folgendes erfassen:

    • gen_ai.input.messages: Die an den Agenten gesendeten Prompts.
    • gen_ai.output.messages: Die vom Agenten generierten Antworten.
    • gen_ai.system_instructions: Die zugrunde liegenden Systemprompts.
    • gen_ai.tool.definitions: Metadaten zu allen Tools, die dem Agenten zur Verfügung stehen.

Wenn Sie das Agent Development Kit verwenden, müssen Sie diese Telemetrie funktionen aktivieren, indem Sie die folgenden Umgebungsvariablen festlegen:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Medien in Cloud Storage aufzeichnen

Wenn Ihr Agent multimodale Daten wie Bilder oder große Dokumente verwendet, empfehlen wir, die Eingaben und Ausgaben in einem Cloud Storage -Bucket aufzuzeichnen, anstatt sie direkt in Traces einzubetten. Konfigurieren Sie die folgenden Umgebungsvariablen, um diese Funktion zu aktivieren:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

Weitere Informationen finden Sie unter Multimodale Prompts und Antworten erfassen.

Funktionsweise von Online-Monitoren

Online-Monitore werden in einer geplanten Bewertungsschleife ausgeführt, in der Regel alle 10 Minuten. Die Schleife folgt diesen Schritten:

  1. Abfrage:Beispieldaten aus Cloud Trace und Cloud Logging werden basierend auf Ihren Filtern abgefragt.
  2. Bewertung:Konfigurierte Messwerte werden mit dem Gemini Enterprise Agent Platform Evaluation Service ausgeführt.
  3. Bericht:Die Ergebnisse werden in Cloud Logging zurückgeschrieben und numerische Werte werden nach Cloud Monitoring exportiert.

Online-Monitor erstellen

  1. Rufen Sie in der Google Cloud -Console die Seite Agent Platform > Agents > Evaluation auf.

    Zu „Evaluation“

  2. Wählen Sie den Tab Online-Monitore aus und klicken Sie auf Neuer Monitor.

  3. Filter-Traces angeben :

    • Agent-Engine:Wählen Sie den Agenten aus, den Sie überwachen möchten.
    • Filterkriterien:Wählen Sie aus, ob Alle Traces für den Agenten bewertet oder bestimmte Filterkriterien angewendet werden sollen.

  4. Filterkriterien definieren (wenn gefilterte Traces verwendet werden):

    • Erste Prüfung:Wählen Sie einen Zeitraum aus (z. B. Letzter Tag ), um eine Vorschau der Produktions-Traces zu sehen, die mit Ihrem Filter übereinstimmen.
    • Filter:Geben Sie Kriterien ein, um bestimmte Traffic-Muster zu erfassen. Sie können nach Properties wie Duration (z. B. Duration > 2) oder Token usage filtern.

  5. Messwerte konfigurieren:Fügen Sie die Messwerte hinzu, die Sie kontinuierlich verfolgen möchten, z. B. Sicherheit.

  6. Sampling festlegen :

    • Sampling-Prozentsatz:Definieren Sie, wie viel Prozent Ihres Live-Traffics bewertet werden sollen.
    • Maximale Anzahl von Stichproben pro Ausführung:Legen Sie eine Obergrenze fest, um die Kosten für die Bewertung zu verwalten.

  7. Klicken Sie auf Erstellen.

Monitore verwalten

Nachdem Sie einen Monitor erstellt haben, können Sie ihn in der Liste Online-Monitore verwalten:

  • Status umschalten: Klicken Sie auf das Dreipunkt-Menü Weitere Optionen und wählen Sie Aktivieren oder Deaktivieren aus, um die Bewertung zu pausieren, ohne die Konfiguration zu löschen.
  • Pausieren und fortsetzen:Verwenden Sie Weitere Optionen um die Bewertung vorübergehend zu beenden.
  • Duplizieren:Erstellen Sie einen neuen Monitor mit den vordefinierten Einstellungen eines vorhandenen Monitors.
  • Traces ansehen:Klicken Sie in der Spalte Beispiel-Traces für einen Monitor auf den Link Traces ansehen , um direkt zum Tab Traces des Agenten mit den gefilterten Traces zu gelangen.

Ergebnisse im Observability-Dashboard ansehen

So sehen Sie Ihre Bewertungsmesswerte zusammen mit anderen Leistungssignalen:

  1. Rufen Sie in der Google Cloud -Console die Seite Agent Platform > Agents auf.
  2. Wählen Sie im linken Navigationsmenü Deployments aus.

  3. Wählen Sie den Agent aus.

    Zu Deployments

  4. Wählen Sie in der Ansicht Dashboard den Unterbereich Evaluation aus, um Zeitreihendiagramme für Ihre konfigurierten Messwerte wie Antwortqualität, Sicherheit und Halluzinationsraten zu sehen.

Ergebnisse für einzelne Traces ansehen

Sie können die Bewertungsergebnisse für bestimmte Unterhaltungen auch direkt in der Trace-Ansicht prüfen:

  1. Rufen Sie in der Google Cloud -Console den Tab Traces des Agenten auf.
  2. Wählen Sie in der Tabelle eine Sitzung oder einen Trace aus, um den Detailbereich zu öffnen.
  3. Wählen Sie den Tab Evaluation aus, um die Werte und Begründungen für diese bestimmte Interaktion zu sehen.

Fehlerbehebung bei Online-Monitoren

Wenn Ihr Online-Monitor aktiv ist, aber keine Ergebnisse in Ihrem Dashboard angezeigt werden, gehen Sie so vor:

  1. Telemetrie prüfen:Prüfen Sie, ob Ihr Agent die erforderlichen OpenTelemetry-Spans und -Ereignisse korrekt exportiert. Prüfen Sie in Cloud Trace , ob Live-Traces die Attribute gen_ai. enthalten.
  2. Filter prüfen:Prüfen Sie die Filterkriterien Ihres Monitors. Mit der Funktion Erste Prüfung können Sie bestätigen, dass Ihre Filter mit Ihrem Produktions-Traffic übereinstimmen.

  3. Interne Logs prüfen:Online-Monitore schreiben Diagnoseinformationen in Cloud Logging. Wenn eine Bewertung fehlschlägt, wird ein Fehlerlog erstellt. Sie finden diese Logs im Log-Explorer, indem Sie nach der Monitor-ID oder nach bestimmten Traces und Agenten suchen:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"