Kontinuierliche Evaluierung mit Online-Monitoren

Mit dem Online-Monitoring können Sie die Qualität Ihrer Agenten in der Produktion kontinuierlich bewerten. Dieser proaktive Ansatz hilft Ihnen, Qualitätsabweichungen zu erkennen. Das ist eine beobachtbare Abnahme der Agentenleistung im Laufe der Zeit, die durch Änderungen im Nutzerverhalten oder in externen Daten verursacht wird. Durch die Konfiguration von Online-Monitoren können Sie Live-Traces asynchron mit vordefinierten und benutzerdefinierten Messwerten bewerten. So stellen Sie sicher, dass Ihr Agent zuverlässig bleibt und Ihren Leistungsstandards entspricht.

Hinweis

Damit Sie die Onlineüberwachung für Ihre Agenten aktivieren können, müssen die folgenden Voraussetzungen erfüllt sein:

  • Stellen Sie Ihren Agenten wie unter Agenten bereitstellen beschrieben bereit.
  • Prüfen Sie, ob Cloud Trace für Ihr Projekt aktiviert ist.
  • (Optional) Wenn Sie Monitore programmatisch erstellen möchten, finden Sie auf der Seite Agenten bewerten Initialisierungsanleitungen für das Agent Platform SDK.

Telemetrieanforderungen

Für das Online-Monitoring muss Ihr Agent bestimmte OpenTelemetry-Signale exportieren, um den erforderlichen Kontext für die Bewertung bereitzustellen:

  1. Agenten-Span aufrufen: Muss die folgenden Attribute enthalten:

    • gen_ai.agent.name: Die ID für den Agenten.
    • gen_ai.agent.description: Eine kurze Beschreibung des Zwecks des Agenten.
    • gen_ai.conversation.id: Eine eindeutige ID für die jeweilige Unterhaltungssitzung.

  2. Inferenzereignisse: Das Ereignis gen_ai.client.inference.operation.details muss Folgendes erfassen:

    • gen_ai.input.messages: Die an den Agenten gesendeten Prompts.
    • gen_ai.output.messages: Die vom Agenten generierten Antworten.
    • gen_ai.system_instructions: Die zugrunde liegenden System-Prompts.
    • gen_ai.tool.definitions: Metadaten zu allen Tools, die dem Agenten zur Verfügung stehen.

Wenn Sie das Agent Development Kit verwenden, müssen Sie diese Telemetrie funktionen aktivieren, indem Sie die folgenden Umgebungsvariablen festlegen:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Medien in Cloud Storage aufzeichnen

Wenn Ihr Agent multimodale Daten wie Bilder oder große Dokumente verwendet, empfehlen wir, die Eingaben und Ausgaben in einem Cloud Storage -Bucket aufzuzeichnen, anstatt sie direkt in Trace-Spans einzubetten. Konfigurieren Sie die folgenden Umgebungsvariablen, um diese Funktion zu aktivieren:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

Weitere Informationen finden Sie unter Multimodale Prompts und Antworten erfassen.

Funktionsweise von Online-Monitoren

Online-Monitore werden in einer geplanten Bewertungsschleife ausgeführt, in der Regel alle 10 Minuten. Die Schleife folgt diesen Schritten:

  1. Abfrage:Beispieldaten aus Cloud Trace und Cloud Logging basierend auf Ihren Filtern.
  2. Bewerten:Konfigurierte Messwerte mit dem Gemini Enterprise Agent Platform Evaluation Service ausführen.
  3. Bericht:Ergebnisse zurück in Cloud Logging schreiben und numerische Ergebnisse nach Cloud Monitoring exportieren.

Online-Monitor erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > KI-Agenten > Bewertung auf.

    Zu „Bewertung“

  2. Wählen Sie den Tab Online-Monitore aus und klicken Sie auf Neuer Monitor.

  3. Traces filtern angeben :

    • Agenten-Engine:Wählen Sie im Drop-down-Menü den Agenten aus, den Sie überwachen möchten.
    • Filterkriterien:Wählen Sie aus, ob alle Traces für den Agenten bewertet oder bestimmte Filterkriterien angewendet werden sollen.

  4. Filterkriterien definieren (wenn gefilterte Traces verwendet werden):

    • Erste Prüfung:Wählen Sie einen Zeitraum aus (z. B. Letzter Tag ), um eine Vorschau der Produktionstraces zu sehen, die mit Ihrem Filter übereinstimmen.
    • Filter:Geben Sie Kriterien ein, um bestimmte Zugriffe zu erfassen. Sie können nach Eigenschaften wie Duration (z. B. Duration > 2) oder Token usage filtern.

  5. Messwerte konfigurieren:Fügen Sie die Messwerte hinzu, die Sie kontinuierlich erfassen möchten, z. B. Sicherheit.

  6. Sampling festlegen :

    • Sampling-Prozentsatz:Definieren Sie, wie viel Prozent Ihres Live-Traffics bewertet werden sollen.
    • Maximale Anzahl von Stichproben pro Ausführung:Legen Sie eine Obergrenze fest, um die Kosten für die Bewertung zu verwalten.

  7. Klicken Sie auf Erstellen.

Monitore verwalten

Nachdem Sie einen Monitor erstellt haben, können Sie ihn in der Liste Online-Monitore verwalten:

  • Status umschalten: Klicken Sie auf das Dreipunkt-Menü Weitere Optionen und wählen Sie Aktivieren oder Deaktivieren aus, um die Bewertung zu pausieren, ohne die Konfiguration zu löschen.
  • Pausieren und fortsetzen:Verwenden Sie das Dreipunkt-Menü Weitere Optionen um die Bewertung vorübergehend zu beenden.
  • Duplizieren:Erstellen Sie einen neuen Monitor mit den voreingestellten Einstellungen eines vorhandenen Monitors.
  • Traces ansehen:Klicken Sie in der Spalte Beispiel-Traces für einen Monitor auf den Link Traces ansehen , um direkt zu den gefilterten Traces auf dem Tab Traces des Agenten zu gelangen.

Ergebnisse im Observability-Dashboard ansehen

So sehen Sie Ihre Bewertungsmesswerte zusammen mit anderen Leistungssignalen:

  1. Rufen Sie in der Google Cloud -Console die Seite Agent Platform > KI-Agenten auf.
  2. Wählen Sie im linken Navigationsmenü Deployments aus.

  3. Wählen Sie den Agent aus.

    Zu Deployments

  4. Wählen Sie in der Ansicht Dashboard den Unterbereich Bewertung aus, um Zeitreihendiagramme für Ihre konfigurierten Messwerte wie Antwortqualität, Sicherheit und Halluzinationsraten zu sehen.

Ergebnisse für einzelne Traces ansehen

Sie können die Bewertungsergebnisse für bestimmte Unterhaltungen auch direkt in der Trace-Ansicht prüfen:

  1. Rufen Sie in der Google Cloud -Console den Tab Traces des Agenten auf.
  2. Wählen Sie in der Tabelle eine Sitzung oder einen Trace aus, um den Detailbereich zu öffnen.
  3. Wählen Sie den Tab Bewertung aus, um die Ergebnisse und Begründungen für diese bestimmte Interaktion zu sehen.

Fehlerbehebung bei Online-Monitoren

Wenn Ihr Online-Monitor aktiv ist, aber keine Ergebnisse in Ihrem Dashboard angezeigt werden:

  1. Telemetrie prüfen:Prüfen Sie, ob Ihr Agent die erforderlichen OpenTelemetry-Spans und -Ereignisse korrekt exportiert. Prüfen Sie in Cloud Trace , ob Live-Traces die Attribute gen_ai. enthalten.
  2. Filter prüfen:Prüfen Sie die Filterkriterien Ihres Monitors. Mit der Funktion Erste Prüfung können Sie bestätigen, dass Ihre Filter mit Ihrem Produktionstraffic übereinstimmen.

  3. Interne Logs prüfen:Online-Monitore schreiben Diagnoseinformationen in Cloud Logging. Wenn eine Bewertung fehlschlägt, wird ein Fehlerlog erstellt. Sie finden diese Logs im Log-Explorer, indem Sie nach Ihrer Monitor-ID oder nach bestimmten Traces und Agenten suchen:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"