Beobachtbarkeit – Übersicht

Die Agentenbeobachtbarkeit in der Gemini Enterprise Agent Platform bietet umfassenden Einblick in die Leistung, das Verhalten und den Zustand Ihrer bereitgestellten Agenten und MCP-Server (Model Context Protocol). Durch das Monitoring wichtiger Messwerte, die Nachverfolgung von Ausführungspfaden und die Beobachtung Ihres Multi-Agenten-Systems als Ganzes können Sie Probleme diagnostizieren, den Ressourcenverbrauch optimieren und die Zuverlässigkeit Ihrer Agenten verbessern.

In diesem Dokument finden Sie eine Übersicht über die in der Gemini Enterprise Agent Platform verfügbaren Tools zur Beobachtbarkeit, einschließlich der systemweiten Topologie, des Monitorings einzelner Agenten und der MCP-Servermesswerte.

Telemetrie einrichten

Damit diese Dashboards, Topologien und Traces zur Beobachtbarkeit gefüllt werden können, müssen Ihre Agenten so konfiguriert sein, dass sie Telemetriedaten im OpenTelemetry-Format an Speichersysteme in Google Cloud Observability senden.

Achten Sie darauf, dass Ihre Agenten- und MCP-Serverumgebungen ordnungsgemäß konfiguriert sind, um diese Daten zu senden. Integrierte Google Cloud Komponenten senden Telemetriedaten automatisch im OpenTelemetry-Format. Model Armor sendet beispielsweise standardmäßig standardisierte Telemetriedaten, sodass Sie Richtlinienabfangungen in Echtzeit nahtlos in Ihren Tracedaten verfügbar machen und überwachen können, ohne dass eine benutzerdefinierte Instrumentierung erforderlich ist.

Eine Anleitung und die Anforderungen für die Einrichtung der Agententelemetrie finden Sie in den folgenden Ressourcen:

Signale zur Beobachtbarkeit

Die Gemini Enterprise Agent Platform bietet Beobachtbarkeit durch Messwerte, Traces und Logs.

Wenn Sie einen bestimmten Agenten in der Registrierung auswählen, bietet der Tab Beobachtbarkeit eine Reihe gezielter Dashboards, mit denen Sie den Betriebsstatus, die Leistung und die Infrastrukturnutzung überwachen können. Verwenden Sie die linke Navigationsleiste auf dem Tab Beobachtbarkeit , um zwischen den folgenden Ansichten zu wechseln:

  • Übersicht:Hier wird die allgemeine Nutzung im ausgewählten Zeitraum erfasst, einschließlich der Gesamtzahl der Sitzungen, der durchschnittlichen Anzahl der Turns pro Sitzung und der Gesamtzahl der Agentenaufrufe. Zeitreihendiagramme zeigen die Tokennutzung (Eingabe im Vergleich zur Ausgabe), das gesamte Agententrafficvolumen, Latenzperzentile (p50, p95, p99) und Fehlerraten.
  • Bewertung:Hier werden Online-Monitore für die kontinuierliche Qualitätsbewertung angezeigt. Dazu gehören Zeitreihen-Widgets, die die durchschnittliche Antwortqualität, Sicherheitsmesswerte, Halluzinationsraten und die Qualität der Toolnutzung erfassen.
  • Modelle:Hier wird die Leistung nach dem zugrunde liegenden Foundation Model aufgeschlüsselt. Sie können die p95-Latenz, die Gesamtzahl der Aufrufe, die Fehlerraten, die Kontingentfehler und die Tokennutzung nach bestimmten Modellen getrennt überwachen.
  • Tools:Hier werden die externen Tools und Dienste überwacht, die mit dem Agenten verbunden sind. In dieser Ansicht werden die p95-Latenz, die Anzahl der Aufrufe und die Fehlerraten pro Tool sowie die Häufigkeit von Interaktionen angezeigt, bei denen kein Tool aufgerufen wurde.
  • Nutzung:Hier werden Messwerte auf Infrastrukturebene für die Laufzeitumgebung des Agenten angezeigt, einschließlich der CPU-Zuweisung für Container, der Speicherzuweisung für Container und der Tokennutzung.
  • Logs:Hier wird ein filterbarer Stream mit Roh-Agentenlogs angezeigt, einschließlich Schweregrad, Zeitstempeln und Ausführungszusammenfassungen für eine detaillierte Fehlerbehebung. Weitere Informationen finden Sie unter Agentenlogs ansehen.

Zusätzlich zu den Dashboards auf dem Tab Beobachtbarkeit können Sie auf dem Tab Traces des Agenten die schrittweise Ausführung bestimmter Sitzungen untersuchen, einschließlich gerichteter azyklischer Graphen von Spans und Ein-/Ausgaben. Weitere Informationen finden Sie unter Agenten-Traces ansehen. Auf dem Tab Topologie können Sie auch die spezifischen eingehenden und ausgehenden Abhängigkeiten für diesen einzelnen Agenten ansehen.

Für MCP-Server können Sie die Anzahl der Anfragen und die p95-Anfragedauer überwachen, um die Nutzung und Reaktionsfähigkeit zu verfolgen.

OpenTelemetry-Konventionen für generative KI

Agenten-Traces und Logs für Prompts und Antworten basieren stark auf den OpenTelemetry Semantic Conventions for generative AI systems um zu standardisieren, wie Telemetriedaten für generative KI erfasst, strukturiert und gemeldet werden.

Die Einhaltung dieser Konventionen ist für das Agenten-Tracing von entscheidender Bedeutung, da sie ein universelles, anbieterunabhängiges Format zur Beschreibung komplexer, mehrstufiger Agenten-Workflows festlegen, z. B. Toolausführungen, Abrufvorgänge und Tokenverbrauch. Diese Standardisierung ermöglicht eine nahtlose Interoperabilität zwischen verschiedenen Back-Ends und Analysetools zur Beobachtbarkeit, sowohl innerhalb als auch außerhalb von Google Cloud.

Nächste Schritte