Auf Messwerte zugreifen

In diesem Dokument wird beschrieben, wie Sie auf die von Ihrer Gemini Enterprise-App generierten Messwerte zugreifen. Diese Messwerte liefern Einblicke in die Leistung und den Zustand Ihrer Anwendung.

Sie können die Messwerttelemetrie entweder über den Metrics Explorer oder direkt in einzelnen Agents über den Tab Beobachtbarkeit des Agents aufrufen.

Wichtige Konzepte

In diesem Abschnitt werden die wichtigsten Konzepte im Zusammenhang mit der Beobachtbarkeit in Gemini Enterprise vorgestellt.

Konzept	Beschreibung
Messwerte	Messwerte sind numerische Messungen, die von Systemen im Zeitverlauf erfasst werden. Diese Messungen geben die Leistung, die Ressourcennutzung oder das Verhalten eines Systems wieder. Entwickler verwenden Messwerte, um den Systemzustand zu überwachen, Trends zu erkennen und Benachrichtigungen auszulösen.
Messwerte auf Agentenebene	Messwerte, die die Aktivität eines einzelnen Agents messen, z. B. seine Sitzungen, Unterhaltungsrunden und Tool-Aufrufe. Sie werden unter dem Ressourcentyp Gemini Enterprise Agent aufgeführt und nur erfasst, wenn die Beobachtbarkeitseinstellung Instrumentierung von OpenTelemetry-Traces und ‑Logs aktivieren für diesen Agent aktiviert ist.
Messwerte auf Anwendungsebene	Messwerte, die den gesamten Traffic zu einer Anwendung und nicht zu einem einzelnen Agenten messen, z. B. die Anzahl der Anfragen und die End-to-End-Latenz. Sie werden unter dem Ressourcentyp Gemini Enterprise Engine aufgeführt, wobei Engine der API-Name für eine Gemini Enterprise App ist. Sie werden unabhängig von den Beobachtbarkeitseinstellungen erfasst.

Hinweis

Sie benötigen Folgendes:

• Die Rolle „Gemini Enterprise Admin “ oder die Rolle „Gemini Enterprise User“ in der Google Cloud Console.

• Eine vorhandene Gemini Enterprise-Webanwendung. Informationen zum Erstellen einer neuen Anwendung finden Sie unter Anwendung erstellen.

• Sie benötigen die Rolle „Monitoring-Betrachter“ (roles/monitoring.viewer), um auf den Metrics Explorer zuzugreifen.

• Aktivieren Sie die Beobachtbarkeitseinstellung Instrumentierung von OpenTelemetry-Traces und ‑Logs aktivieren. Je nach Agententyp aktivieren Sie diese Einstellung in den Konfigurationen auf Anwendungsebene (für den Core Assistant-Agent) oder auf dem Tab Konfiguration des Agents (für von Mitarbeitern erstellte Workflow Builder-Agents und Deep Research-Agents). Weitere Informationen finden Sie unter Beobachtbarkeitseinstellungen verwalten. Diese Einstellung ist für die Messwerte auf Agentenebene erforderlich. Die Messwerte auf Anwendungsebene, die unter dem Ressourcentyp Gemini Enterprise Engine aufgeführt sind, werden ohne diese Einstellung erfasst.

Datenaufbewahrung

Von Ihrer Gemini Enterprise-App generierte Messwerte werden in Cloud Monitoring in Ihrem Google Cloud Projekt gespeichert. Die Aufbewahrung wird von Cloud Monitoring verwaltet. Gemini Enterprise-Messwerte werden mit dem discoveryengine.googleapis.com/ Präfix veröffentlicht. Sie fallen unter die Ebene „Alle anderen Google Cloud Messwerte“ und werden standardmäßig 6 Wochen lang aufbewahrt. Daten, die älter als der Aufbewahrungszeitraum sind, werden automatisch gelöscht. Die maßgeblichen und aktuellsten Aufbewahrungswerte finden Sie unter Datenaufbewahrung in der Dokumentation zu Kontingenten und Limits von Cloud Monitoring.

Auf Messwerte im Metrics Explorer zugreifen

So greifen Sie auf die Messwerte zu:

1. Rufen Sie in der Google Cloud Console die Metrics Explorer Seite auf.

   Zum Metrics Explorer

2. Wählen Sie das Google Cloud Projekt aus, in dem Ihre Gemini Enterprise-App erstellt wurde.

3. Klicken Sie auf Messwert auswählen , um eine Suchleiste zu öffnen.

4. Suchen Sie in der Suchleiste nach den folgenden Messwerten:

   Hinweis: Messwertdaten werden jede Minute aktualisiert. Messwertnamen haben das Präfix der Ressource, auf die sie beschränkt sind. Ihre Anwendung wird durch den Ressourcentyp Gemini Enterprise Engine dargestellt. Dies ist der API-Name für eine Gemini Enterprise App.

   Name des Messwerts	Beschreibung
   Gemini Enterprise Agent – Anzahl der Gemini Enterprise Agent-Sitzungen	Die Anzahl der Sitzungen, die vom Gemini Enterprise Agent verarbeitet wurden.
   Gemini Enterprise Agent – Anzahl der Gemini Enterprise Agent-Tools	Die Anzahl der Tool-Aufrufe durch den Gemini Enterprise Agent.
   Gemini Enterprise Agent – Anzahl der Gemini Enterprise Agent-Unterhaltungsrunden	Die Anzahl der Unterhaltungsrunden in Gemini Enterprise Agent-Sitzungen.
   Gemini Enterprise Agent – Gesamtlatenz des Gemini Enterprise Agent	Die Gesamtlatenz der Antworten des Gemini Enterprise Agent.
   Gemini Enterprise Agent – Gesamtlatenz des Gemini Enterprise Agent-Tools	Die Gesamtlatenz, die durch Tool-Ausführungen im Gemini Enterprise Agent entsteht.
   Gemini Enterprise DataConnector – Anzahl der Gemini Enterprise DataConnector-Anfragen	Die Gesamtzahl der Anfragen an die Gemini Enterprise-Daten connectors (in der Google Cloud Console auch als Datenspeicher bezeichnet).
   Gemini Enterprise DataConnector – Latenzen von Gemini Enterprise DataConnector -Anfragen	(Beta) Die Latenz von Anfragen an die Gemini Enterprise-Daten connectors (in der Google Cloud Console auch als Datenspeicher bezeichnet) in Millisekunden.
   Gemini Enterprise Engine – Anzahl der Gemini Enterprise Engine-Anfragen	Die Gesamtzahl der Anfragen, die von Ihrer Gemini Enterprise-App empfangen wurden, für den gesamten Traffic zur App und nicht nur für einen einzelnen Agent. Aufgeschlüsselt nach API-Methode, kanonischem gRPC Antwortcode, Antwortcodeklasse, Abfragetyp und Modell.
   Gemini Enterprise Engine – Gesamtlatenz von Gemini Enterprise Engine-Anfragen	Die Verteilung der End-to-End-Anfragelatenz für Ihre Gemini Enterprise-App. Für jede Anfrage aufgezeichnet, einschließlich Anfragen, die einen Fehler zurückgeben.
   Gemini Enterprise Engine – Latenz bis zur ersten Antwort der Gemini Enterprise Engine	Die Verteilung der Latenz zwischen dem Empfang einer Anfrage und Streaming des ersten Antworttokens. Wird nur für Anfragen aufgezeichnet, die mindestens ein Antworttoken erzeugen.
   Gemini Enterprise Engine – Latenz bis zum ersten Token der Gemini Enterprise Engine	Die Verteilung der Latenz zwischen dem Empfang einer Anfrage und dem Streaming des ersten Tokens, unabhängig davon, ob dieses Token Teil des Denkprozesses des Modells oder eine endgültige Antwort ist. Wird nur für Anfragen aufgezeichnet, die mindestens ein gestreamtes Token erzeugen.

5. Wählen Sie den Messwert aus, den Sie untersuchen möchten, und klicken Sie auf Übernehmen.

6. Optional können Sie zusätzliche Labelfilter und Aggregationselemente festlegen und den Zeitraum anpassen.

   Hinweis: Weitere Informationen zur Verwendung des Metrics Explorer finden Sie unter Diagramme mit dem Metrics Explorer erstellen.

   

Auf Messwerte für Agents zugreifen

Sie können auch Dashboards mit Betriebs-, Tool- und Sitzungsmesswerten direkt für einzelne Agents auf dem Tab Beobachtbarkeit des Agents in der Google Cloud Console aufrufen.

Hinweis: Der Tab Beobachtbarkeit ist für den Core Assistant-Agent, Workflow Builder-Agents und Deep Research-Agents verfügbar.

So greifen Sie auf Messwerte für einen Agent zu:

1. Rufen Sie in der Google Cloud Console Ihre Anwendung auf und klicken Sie dann auf Agents.
2. Wählen Sie den Agent aus, den Sie untersuchen möchten, und klicken Sie dann auf den Tab Beobachtbarkeit.

Der Tab Beobachtbarkeit enthält wichtige Betriebsdaten, die in vier Ansichten unterteilt sind: Übersicht, Tools, Latenz und Fehlerrate.

Übersichtsmesswerte

Diese Ansicht enthält ein Dashboard mit einer Zusammenfassung der Standarddaten zu Sitzungen und zum Zustand des Agents, darunter:

• Sitzungen: Gesamtzahl der Nutzersitzungen.
• Durchschnittliche Zeit pro Sitzung: Durchschnittliche Zeit, die während einer Sitzung verstrichen ist.
• Agent-Aufrufe: Gesamtzahl der Aufrufe des Agents.
• Agent-Latenz: Latenz im Zeitverlauf und für bestimmte Messwerte.
• Agent-Traffic: Volumen eingehender Anfragen.
• Fehlerrate des Agents: Prozentsatz der fehlgeschlagenen Agent-Aufrufe.

Tool-Messwerte

Diese Ansicht konzentriert sich speziell auf die Nutzung und Latenz von Tools, die mit Ihrem Agent verbunden sind, darunter:

• Gesamtzahl der Aufrufe: Anzahl der Anfragen zur Tool-Ausführung.
• P95-Dauer nach Tool: Die Latenz des 95. Perzentils der Ausführungen, kategorisiert nach Tool.
• Anzahl der Aufrufe nach Tool: Gesamtzahl der Aufrufe, aufgeteilt auf verschiedene Tools.
• Fehlerrate nach Tool: Die Fehlerrate der Ausführungen nach Tool.
• Rate „Kein Tool aufgerufen“: Die Rate, mit der Interaktionen keine Tool-Ausführung ausgelöst haben.

Latenzmesswerte

In dieser Ansicht wird die Antwortlatenz Ihres Agents angezeigt. Jeder Messwert wird als Zusammenfassungskarte für das 50. und 95. Perzentil für den ausgewählten Zeitraum und als Zeitreihendiagramm mit Trends im Zeitverlauf angezeigt. Sie können die Latenzmesswerte auch nach Funktion filtern. In der Ansicht werden die folgenden Messwerte angezeigt:

• Zeit bis zum ersten Token (Time to First Token, TTFT): Die Latenz zwischen dem Empfang einer Anfrage und dem Streaming des ersten Tokens, unabhängig davon, ob dieses Token Teil des Denkprozesses des Modells oder der Antwort ist.
• Zeit bis zur ersten Antwort (Time to First Answer, TTFA): Die Latenz zwischen dem Empfang einer Anfrage und dem Streaming des ersten Antworttokens. Das ist das erste Token, das nicht Teil des Denkprozesses des Modells ist. Wenn der Agent ein Tool aufruft, nachdem er mit der Antwort begonnen hat, wird die Messung neu gestartet. TTFA gibt also an, wann die Antwort, die der Nutzer liest, mit dem Streaming begonnen hat, und nicht eine vorläufige Antwort.
• Zeit bis zum letzten Token (Time to Last Token, TTLT): Die Latenz zwischen dem Empfang einer Anfrage und dem Streaming des letzten Tokens. Das ist der Zeitpunkt, an dem die Antwort vollständig ist.

Latenzmesswerte nach Funktion filtern

Eine Funktion ist die Art der Interaktion, die eine Unterhaltungsrunde darstellt, z. B. eine Websuche oder eine Bildgenerierung. Filtern Sie die Latenzmesswerte nach Funktion, um zu sehen, welche Arten von Interaktionen am langsamsten sind, und um zu verhindern, dass eine langsame Funktion die Gesamtlatenz verzerrt.

So filtern Sie die Latenzmesswerte nach Funktion:

1. Klicken Sie auf dem Tab Beobachtbarkeit des Agents auf die Ansicht Latenz.
2. Klicken Sie auf Nach Funktion filtern.
3. Wählen Sie die Funktion aus, die Sie untersuchen möchten.

Auf den Zusammenfassungskarten und in den Zeitreihendiagrammen werden dann nur die Unterhaltungsrunden für diese Funktion angezeigt.

Wenn Sie alle Funktionen gleichzeitig vergleichen möchten, verwenden Sie die Tabelle Telemetrie der Funktionen. Dort sind für jede Funktion die folgenden Informationen aufgeführt:

• Anteil am Traffic: Der Prozentsatz der Unterhaltungsrunden, die der Funktion zugeschrieben werden.
• TTFT, TTFA und TTLT: Die Latenz des 50. und 95. Perzentils für die Funktion.

Sie können nach den folgenden Funktionen filtern:

• Parametrisch: Interaktionen, bei denen Anfragen nur zur Textausgabe ohne Tools an das Modell gesendet werden, z. B. Übersetzungsaufgaben.
• Mediengenerierung: Aufgaben zur Bild- und Videogenerierung.
• Nur Websuche: Interaktionen, bei denen Anfragen über das Tool für die Websuche an das Modell gesendet werden.
• Analyse hochgeladener Dateien: Interaktionen, bei denen Anfragen zusammen mit nutzerseitig hochgeladenen Dateien an das Modell gesendet werden.
• Connector: Anfragen, bei denen Anfragen an interne oder Drittanbieter- Connectors gesendet werden.
• Canvas: Generierungsaufgaben, die Canvas verwenden.
• Skill: Interaktionen, bei denen ein Skill aufgerufen wird.
• Sonstiges: Sammel-Bucket für Unterhaltungsrunden, die mehrere Funktionen umfassen oder noch nicht klassifiziert sind.

Messwerte für die Fehlerrate

In dieser Ansicht wird angezeigt, wie die Anfragen Ihres Agents aufgelöst werden, gruppiert nach Antwortklasse: OK (2xx), Clientfehler (4xx), Serverfehler (5xx) und Abgebrochen. Sie umfasst Folgendes:

• Anfragevolumen nach Antwortklasse: Anzahl der eingehenden Anfragen im Zeitverlauf, gestapelt nach Antwortklasse.
• Fehlerrate nach Antwortklasse: Der Prozentsatz der fehlgeschlagenen Anfragen im Zeitverlauf, aufgeteilt nach Antwortklasse.
• Clientfehlercodes (4xx) und Serverfehlercodes (5xx): Die einzelnen kanonischen gRPC-Antwortcodes im Zeitverlauf, z. B. INVALID_ARGUMENT oder INTERNAL. So können Sie erkennen, welche spezifischen Fehler einen Anstieg verursachen.
• Gesamtzahlen: Die Anzahl der Anfragen und der Prozentsatz der Gesamtanfragen für jedes Ergebnis im ausgewählten Zeitraum, mit separaten Tabellen, in denen die einzelnen Client- und Serverfehlercodes eingestuft werden.

Nächste Schritte

• Dashboards mit den Gemini Enterprise-Messwerten erstellen. Weitere Informationen finden Sie unter Benutzerdefinierte Dashboards erstellen und verwalten.
• Benachrichtigungen erstellen, wenn Messwerte einen Grenzwert überschreiten. Weitere Informationen finden Sie unter Benachrichtigungsrichtlinien mit Messwertschwellen erstellen
• Informationen zum Deaktivieren der Metrics Explorer-Erfassung finden Sie unter Beobachtbarkeitseinstellungen deaktivieren.