Beobachtbarkeit – Übersicht

Die Beobachtbarkeit von KI-Agenten in der Gemini Enterprise Agent Platform bietet umfassenden Einblick in die Leistung, das Verhalten und den Zustand Ihrer bereitgestellten KI-Agenten und MCP-Server (Model Context Protocol). Durch das Monitoring wichtiger Messwerte, das Tracing von Ausführungspfaden und die Beobachtung Ihres Multi-Agenten-Systems als Ganzes können Sie Probleme diagnostizieren, den Ressourcenverbrauch optimieren und die Zuverlässigkeit Ihrer KI-Agenten verbessern.

Dieses Dokument bietet einen Überblick über die in der Gemini Enterprise Agent Platform verfügbaren Tools zur Beobachtbarkeit, einschließlich der systemweiten Topologie, der Überwachung einzelner KI-Agenten und der MCP-Servermesswerte.

Telemetrie einrichten

Damit diese Dashboards, Topologien und Traces zur Beobachtbarkeit gefüllt werden können, müssen Ihre KI-Agenten so konfiguriert sein, dass sie Telemetriedaten im OpenTelemetry-Format an Speichersysteme in Google Cloud Observability senden.

Achten Sie darauf, dass Ihre KI-Agenten- und MCP-Serverumgebungen richtig konfiguriert sind, um diese Daten zu senden. Integrierte Google Cloud Komponenten senden automatisch Telemetriedaten im OpenTelemetry-Format. Model Armor sendet beispielsweise standardmäßig standardisierte Telemetriedaten, sodass Sie Richtlinienverstöße in Echtzeit nahtlos direkt in Ihren Trace-Daten aufrufen und überwachen können, ohne dass eine benutzerdefinierte Instrumentierung erforderlich ist.

Eine Anleitung und die Anforderungen für die Einrichtung der Telemetrie für KI-Agenten finden Sie in den folgenden Ressourcen:

KI-Agenten-Topologie

Die Ansicht der Multi-Agenten-Topologie bietet eine visuelle, systemweite Karte Ihrer Multi-Agenten-Systemarchitektur. Sie zeigt die Beziehungen und Traffic-Flüsse in Echtzeit zwischen allen KI-Agenten und MCP-Servern, die in Ihrer Agent Registry bekannt sind. Diese aggregierte Ansicht hilft Ihnen, komplexe Abhängigkeiten zu verstehen und potenzielle Engpässe in Ihrem Ökosystem zu erkennen.

Neben der Ansicht der Multi-Agenten-Topologie können Sie auch die spezifischen eingehenden und ausgehenden Abhängigkeiten für einen einzelnen KI-Agenten aufrufen. Diese Topologieansicht für einzelne KI-Agenten basiert auf Trace-Daten für den ausgewählten KI-Agenten.

Eine detaillierte Anleitung zum Navigieren in und Interpretieren von Topologiediagrammen für KI-Agenten finden Sie unter Beziehungen und Topologie von KI-Agenten ansehen.

Signale zur Beobachtbarkeit

Die Gemini Enterprise Agent Platform bietet Beobachtbarkeit durch Messwerte, Traces und Logs.

Wenn Sie einen bestimmten KI-Agenten in der Registry auswählen, bietet der Tab Beobachtbarkeit eine Reihe gezielter Dashboards, mit denen Sie den Betriebsstatus, die Leistung und die Infrastrukturnutzung überwachen können. Verwenden Sie die linke Navigationsleiste auf dem Tab Beobachtbarkeit , um zwischen den folgenden Ansichten zu wechseln:

  • Übersicht:Hier wird die allgemeine Nutzung im ausgewählten Zeitraum erfasst, einschließlich der Gesamtzahl der Sitzungen, der durchschnittlichen Anzahl der Züge pro Sitzung und der Gesamtzahl der KI-Agentenaufrufe. Zeitreihendiagramme zeigen die Tokennutzung (Eingabe im Vergleich zur Ausgabe), das gesamte Traffic-Volumen des KI-Agenten, Latenzperzentile (p50, p95, p99) und Fehlerraten.
  • Bewertung:Hier werden Online-Monitore für die kontinuierliche Qualitätsbewertung angezeigt. Dazu gehören Zeitreihen-Widgets, die die durchschnittliche Antwortqualität, Sicherheitsmesswerte, Halluzinationsraten und die Qualität der Toolnutzung erfassen.
  • Modelle:Hier wird die Leistung nach dem zugrunde liegenden Foundation Model aufgeschlüsselt. Sie können die p95-Latenz, die Gesamtzahl der Aufrufe, die Fehlerraten, die Kontingentfehler und die Tokennutzung nach bestimmten Modellen aufgeschlüsselt überwachen.
  • Tools:Hier werden die externen Tools und Dienste überwacht, die mit dem KI-Agenten verbunden sind. In dieser Ansicht werden die p95-Latenz, die Anzahl der Aufrufe und die Fehlerraten pro Tool sowie die Häufigkeit von Interaktionen angezeigt, bei denen kein Tool aufgerufen wurde.
  • Nutzung:Hier werden Messwerte auf Infrastrukturebene für die Laufzeitumgebung des KI-Agenten angezeigt, einschließlich der CPU-Zuweisung für Container, der Speicherzuweisung für Container und der Tokennutzung.
  • Logs:Hier wird ein filterbarer Stream mit Roh-Logs des KI-Agenten angezeigt, einschließlich Schweregrad, Zeitstempeln und Ausführungszusammenfassungen für die detaillierte Fehlerbehebung. Weitere Informationen finden Sie unter KI-Agenten-Logs ansehen.

Neben den Dashboards auf dem Tab Beobachtbarkeit können Sie auf dem Tab Traces des KI-Agenten die schrittweise Ausführung bestimmter Sitzungen untersuchen, einschließlich gerichteter azyklischer Graphen von Spans und Ein-/Ausgaben. Weitere Informationen finden Sie unter KI-Agenten-Traces ansehen. Auf dem Tab Topologie können Sie auch die spezifischen eingehenden und ausgehenden Abhängigkeiten für diesen einzelnen KI-Agenten aufrufen.

Für MCP-Server können Sie die Anzahl der Anfragen und die p95-Anfragedauer überwachen, um die Nutzung und Reaktionsfähigkeit zu verfolgen.

OpenTelemetry-Konventionen für generative KI

KI-Agenten-Traces und Prompt- und Antwort-Logs basieren stark auf den OpenTelemetry Semantic Conventions for generative AI systems um zu standardisieren, wie Telemetriedaten für generative KI erfasst, strukturiert und gemeldet werden.

Die Einhaltung dieser Konventionen ist für das Tracing von KI-Agenten von entscheidender Bedeutung, da sie ein universelles, anbieterunabhängiges Format für die Beschreibung komplexer, mehrstufiger KI-Agenten-Workflows festlegen, z. B. Toolausführungen, Abrufvorgänge und Tokenverbrauch. Diese Standardisierung ermöglicht eine nahtlose Interoperabilität zwischen verschiedenen Back-Ends zur Beobachtbarkeit und Analysetools, sowohl innerhalb als auch außerhalb von Google Cloud.

Nächste Schritte