Beobachtbarkeit von KI-Agenten

In der sich rasant verändernden KI-Landschaft stellt die Entwicklung und Bereitstellung von KI-Agenten Unternehmen vor besondere Herausforderungen. KI-Agenten können sich unbemerkt vom Thema abwenden, halluzinieren und schlechtere Ergebnisse liefern. Sie können Entscheidungen treffen und Aktionen ausführen, die Sie nicht erwarten. Sie können auch auf andere Weise versagen als nicht-agentische Software. Beobachtbarkeit von KI-Agenten bezieht sich auf die Methoden, mit denen Einblicke in den internen Zustand und das Verhalten von Software-Agenten gewonnen werden, insbesondere von KI-basierten Agenten, die mit Large Language Models (LLMs) erstellt wurden.

Vorteile der Beobachtbarkeit von KI-Agenten

Da KI-Agenten nicht deterministisch und komplex sind, ist die Beobachtbarkeit entscheidend, um ihre Leistung, Sicherheit und Zuverlässigkeit zu verstehen, zu debuggen, zu bewerten und zu verbessern.

Zu den wichtigsten Aspekten der Beobachtbarkeit von KI-Agenten gehören das Monitoring und die Analyse der folgenden Punkte:

  • LLM-Interaktionen: Prompts, Antworten, Tokennutzung, Latenz und Fehlerraten verfolgen.
  • Toolnutzung: Überwachen Sie externe Tools und APIs, mit denen der Agent interagiert, einschließlich der Anzahl der Aufrufe, Erfolge oder Fehler, Latenz und der ausgetauschten Daten.
  • Verhalten und Schlussfolgerungen des KI-Agenten: Sie können den Entscheidungsprozess des KI-Agenten, die Abfolge der Schritte und die internen Statusänderungen nachvollziehen.
  • Leistung: Messen Sie die End-to-End-Latenz von Agentenaufrufen, die Latenz einzelner Schritte und den Ressourcenverbrauch, was häufig ein detailliertes Tracing erfordert.
  • Sicherheit: Richtlinienerzwingung verfolgen, riskante Vorgänge identifizieren, Inhaltssicherheit analysieren und Zugriffsmuster überwachen.
  • Qualität und Bewertung: Bewerten Sie die Richtigkeit, Faktizität, Hilfreichkeit und Gesamtqualität der Ausgaben des KI-Agenten, oft in Verbindung mit Bewertungsframeworks.

Was ist die Beobachtbarkeit von KI-Agenten in Google Cloud?

Anwendungsmonitoring in Google Cloud bietet sowohl Beobachtbarkeit von KI-Agenten als auch Beobachtbarkeit von Anwendungen. Dieser Dienst bietet Dashboards und Topologiekarten, mit denen Sie den Zustand und die Leistung Ihrer App Hub-Anwendungen, -Dienste und -Arbeitslasten nachvollziehen können. Außerdem werden Messwerte wie Fehlerraten und Tokennutzung für KI-Ressourcen generiert und angezeigt. Zum Generieren dieser Messwerte filtert und aggregiert Application Monitoring Ihre Trace-Daten mithilfe von anwendungsspezifischen Labels und Ereignissen, die den semantischen OpenTelemetry-Konventionen für generative KI entsprechen.

Für die Beobachtbarkeit von KI-Agenten empfehlen wir, Ihre KI-Agenten mit dem Agent Development Kit (ADK) zu erstellen. Da das ADK auf OpenTelemetry basiert, entsprechen die vom ADK generierten Telemetriedaten den semantischen Konventionen von OpenTelemetry für generative KI.

Wenn Sie Fehler beheben, Kosten überwachen oder das Verhalten von KI-Agenten analysieren möchten, einschließlich KI-Agenten von Gemini Enterprise Agent Platform, Agent Gateway und Model Armor, benötigen Sie Log-, Messwert- und Trace-Daten:

  • Protokolle enthalten Informationen zu Ereignissen und Fehlern.
  • Mit Messwerten können Sie die Latenz und die Tokennutzung im Blick behalten.
  • Traces liefern Informationen zu Ausführungspfaden und werden analysiert, um Messwerte wie die Anzahl der Modellaufrufe oder die Gesamtzahl der verwendeten Tokens abzuleiten. Diese abgeleiteten Messwerte bieten Einblick in die Leistung und das Verhalten von KI-Agenten. Weitere Informationen finden Sie unter KI-Ressourcen ansehen.
  • Anhand von Prompt- und Antwortdaten können Sie die Qualität und Entscheidungsfindung des KI-Agenten mit dem Gen AI Evaluation Service bewerten.

Das Dashboard „Anwendungsmonitoring“ für eine Anwendung enthält eine Liste der Dienste und Arbeitslasten der Anwendung, z. B. Gemini Enterprise-Apps, Gemini Enterprise Agent Platform-Agenten und MCP-Server:

Eine Übersicht, in der die Dienste und Arbeitslasten in einer Anwendung aufgeführt sind.

Sie können agentische Dienste und Arbeitslasten anhand des Infrastrukturtyps oder des funktionalen App Hub-Typs identifizieren. Die Spalte „Funktionstyp“ ist standardmäßig ausgeblendet.

Erste Schritte mit der Beobachtbarkeit von KI-Agenten

Nächste Schritte

  • Informationen zum Schützen und Verwalten Ihrer Agenten finden Sie unter Agenten verwalten.