Beobachtbarkeit von KI-Agenten

In der sich schnell entwickelnden KI-Landschaft birgt die Entwicklung und Bereitstellung von Agents einzigartige Herausforderungen. KI‑Agenten können sich unbemerkt verschieben, halluzinieren und zurückfallen. Sie können Entscheidungen treffen und Maßnahmen ergreifen, die Sie nicht erwarten. Sie können auch auf andere Weise fehlschlagen als nicht auf Agenten basierende Software. Agent-Beobachtbarkeit bezieht sich auf die Methoden, mit denen Einblicke in den internen Zustand und das Verhalten von Software-Agents gewonnen werden können, insbesondere von KI-basierten Agents wie denen, die mit Large Language Models (LLMs) erstellt wurden.

Vorteile der Beobachtbarkeit von KI-Agenten

Da KI-Agents nicht deterministisch und komplex sind, ist die Beobachtbarkeit entscheidend, um ihre Leistung, Sicherheit und Zuverlässigkeit zu verstehen, zu debuggen, zu bewerten und zu verbessern.

Zu den wichtigsten Aspekten der Agent-Beobachtbarkeit gehören das Monitoring und die Analyse der folgenden Elemente:

  • LLM-Interaktionen: Sie können Prompts, Antworten, die Tokennutzung, die Latenz und die Fehlerraten im Blick behalten.
  • Toolnutzung: Überwachen Sie externe Tools und APIs, mit denen der Agent interagiert, einschließlich der Anzahl der Aufrufe, Erfolge oder Fehler, Latenz und der ausgetauschten Daten.
  • Agentenverhalten und ‑schlüsse: Sie können den Entscheidungsprozess des Agenten, die Abfolge der ausgeführten Schritte und interne Statusänderungen nachvollziehen.
  • Leistung: Messen Sie die End-to-End-Latenz von Agent-Aufrufen, die Latenz einzelner Schritte und den Ressourcenverbrauch. Dies erfordert häufig detaillierte Ablaufverfolgungen.
  • Sicherheit: Richtliniendurchsetzung nachverfolgen, riskante Vorgänge identifizieren, Inhaltsicherheit analysieren und Zugriffsmuster überwachen.
  • Qualität und Bewertung: Bewerten Sie die Richtigkeit, Faktualität, Nützlichkeit und Gesamtqualität der Ausgaben des KI-Agenten. Dabei werden häufig Bewertungsframeworks verwendet.

Was ist die Beobachtbarkeit von KI-Agenten in Google Cloud?

Application Monitoring in Google Cloud bietet sowohl Agent- als auch Anwendungsbeobachtbarkeit. Dieser Dienst bietet Dashboards und Topologiekarten, mit denen Sie den Zustand und die Leistung Ihrer App Hub-Anwendungen, -Dienste und -Arbeitslasten nachvollziehen können. Außerdem werden Messwerte wie Fehlerraten und Tokennutzung für KI-Ressourcen generiert und angezeigt. Zum Generieren dieser Messwerte werden Ihre Trace-Daten von Application Monitoring mit anwendungsspezifischen Labels und Ereignissen gefiltert und zusammengefasst, die den semantischen OpenTelemetry-Konventionen für generative KI entsprechen.

Für die Beobachtbarkeit von Agenten empfehlen wir, Ihre Agenten mit dem Agent Development Kit (ADK) Framework zu erstellen. Da das ADK auf OpenTelemetry basiert, entspricht die vom ADK generierte Telemetrie den semantischen OpenTelemetry-Konventionen für generative KI.

Wenn Sie Fehler beheben, Kosten im Blick behalten oder das Verhalten von Agents analysieren möchten, einschließlich Agents der Gemini Enterprise Agent Platform, des Agent Gateway und von Model Armor, benötigen Sie Log-, Messwert- und Tracedaten:

  • Protokolle enthalten Informationen zu Ereignissen und Fehlern.
  • Mit Messwerten können Sie Ihre Latenz und die Tokennutzung im Blick behalten.
  • Traces enthalten Informationen zu Ausführungspfaden und werden analysiert, um Messwerte wie die Anzahl der Modellaufrufe oder die Gesamtzahl der verwendeten Tokens abzuleiten. Diese abgeleiteten Messwerte geben Aufschluss über die Leistung und das Verhalten von Agents. Weitere Informationen finden Sie unter KI-Ressourcen ansehen.
  • Mit Prompt- und Antwortdaten können Sie die Qualität und Entscheidungsfindung von Agents mit dem Gen AI Evaluation Service bewerten.

Im Dashboard „Application Monitoring“ für eine Anwendung wird eine Liste der Dienste und Arbeitslasten der Anwendung angezeigt, z. B. Gemini Enterprise-Apps, Gemini Enterprise Agent Platform-Agents und MCP-Server:

Eine Übersicht, in der die Dienste und Arbeitslasten in einer Anwendung aufgeführt sind.

Sie können Agent-basierte Dienste und Arbeitslasten anhand des Infrastrukturtyps oder des App Hub-Funktionstyps identifizieren. Die Spalte „Funktionstyp“ ist standardmäßig ausgeblendet.

Erste Schritte mit der Agent-Beobachtbarkeit

Informationen zum Erstellen, Bereitstellen und Verwalten von KI-Agents, die Reasoning und Tools verwenden, um komplexe Unternehmensaufgaben auszuführen, finden Sie in der Übersicht über Agents.

Informationen zum Durchführen von Bewertungen, die Aufschluss über die Qualität von Agents geben, finden Sie unter Agent-Bewertung.

Codebeispiele finden Sie hier:

Nächste Schritte

  • Informationen zum Sichern und Verwalten Ihrer Agents finden Sie unter Agents verwalten.