In diesem Dokument wird beschrieben, wie Sie Telemetriedaten für die KI-Ressourcen aufrufen, die von Ihren in App Hub registrierten Anwendungen, Diensten und Arbeitslasten verwendet werden.
Zum Generieren von Messwerten wie Fehlerrate, Latenz und Tokennutzung fragt Application Monitoring Ihre Tracedaten nach anwendungsspezifischen Labels und Ereignissen ab, die den semantischen OpenTelemetry-Konventionen für generative KIentsprechen. Diese Messwerte quantifizieren den Zustand, die Leistung und die Kosten Ihrer KI-Ressourcen und sind als aggregierte Daten für Anwendungen oder als detaillierte Daten für einzelne Dienste und Arbeitslasten verfügbar.
Das folgende Dashboard zeigt Informationen zu KI-Ressourcen für eine registrierte Anwendung:
Hinweis
Für die Verfahren in diesem Dokument ist ein Google Cloud Projekt mit aktiven KI Ressourcen erforderlich, die analysiert werden sollen. Außerdem müssen Ihre KI-Ressourcen mit Anwendungen, Diensten und Arbeitslasten verknüpft sein, die in App Hub registriert sind. Application Monitoring benötigt Telemetrie- und Tracedaten, um aussagekräftige Ergebnisse zu liefern.
Rollen und APIs konfigurieren und Application Monitoring einrichten
- Führen Sie die Schritte unter Anwendungen, Dienste und Arbeitslasten untersuchen: Vorbereitung aus.
-
Aktivieren Sie die APIs Observability, Cloud Trace und Telemetry.
Rollen, die zum Aktivieren von APIs erforderlich sind
Zum Aktivieren von APIs benötigen Sie die Berechtigung
serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen. -
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Informationen zur Nutzung von KI-Ressourcen benötigen:
- Observability Viewer (
roles/observability.viewer) für Ihr Projekt - Observability View Accessor (
roles/observability.viewaccessor) für die Observability-Ansichten, die Sie abfragen möchten. Sie können diese Zuweisung auf eine bestimmte Ansicht beschränken.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
- Observability Viewer (
Anwendungen, Dienste und Arbeitslasten entwickeln und registrieren
Wenn Sie Daten für KI-Ressourcen anzeigen möchten, die von Ihren Anwendungen, Diensten und Arbeitslasten verwendet werden, müssen Ihre Tracedaten anwendungsspezifische Labels und Ereignisse enthalten, die den semantischen OpenTelemetry-Konventionen für generative KIentsprechen. Sie können diese Labels mit den folgenden Schritten abrufen:
- Registrieren Sie Ihre Anwendung und ihre Dienste und Arbeitslasten in App Hub.
- Verwenden Sie das Agent Development Kit (ADK) Framework oder instrumentieren Sie Ihre Anwendung mit OpenTelemetry und senden Sie Ihre Trace-Daten an die Telemetry API. Beispiele für die Instrumentierung finden Sie unter ADK-Anwendungen mit OpenTelemetry instrumentieren und Übersicht über beispielhafte Instrumentierungen auf Collector-Basis.
KI-Ressourcen für eine Anwendung ansehen
So rufen Sie KI-Ressourcen auf, die mit einer Anwendung verknüpft sind:
-
Rufen Sie in der Google Cloud Console die Seite Anwendungsmonitoring auf:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
Wählen Sie in der Symbolleiste der Google Cloud Console Ihr App Hub Hostprojekt oder Verwaltungsprojekt aus.
Wählen Sie den Tab Anwendungen und dann die Anwendung aus der Liste aus.
Wählen Sie den Tab Dashboards aus.
Wählen Sie im Inhaltsverzeichnis des Dashboards KI-Ressourcen aus.
Der Eintrag KI-Ressourcen wird erstellt, wenn mindestens ein aktiver KI-Agent mit Ihrer Anwendung verknüpft ist. Wenn Sie keine Agents haben oder alle Agents inaktiv sind, wird die Option nicht aufgeführt.
Das Dashboard wechselt zum Abschnitt KI-Ressourcen, in dem Informationen wie die folgenden angezeigt werden:
- Gesamtzahl der Abfragen pro Sekunde und Anzahl der Tokens.
- Durchschnittliche Fehlerrate, Latenz und Fehlerrate bei Tool-Aufrufen.
- Tokennutzung.
- Fehlerraten und Latenz für Agents.
KI-Ressourcen für einen Dienst oder eine Arbeitslast ansehen
So rufen Sie KI-Ressourcen auf, die mit einem Dienst oder einer Arbeitslast verknüpft sind:
Öffnen Sie das Dashboard für den Dienst oder die Arbeitslast:
-
Rufen Sie in der Google Cloud Console die Seite Anwendungsmonitoring auf:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
Wählen Sie den Tab Dienste und Arbeitslasten und dann den Dienst oder die Arbeitslast aus.
Das Dashboard für den Dienst oder die Arbeitslast wird geöffnet. Im Inhaltsverzeichnis sind die Abschnitte im Dashboard aufgeführt, die vom Typ der KI-Ressource abhängen können.
-
Verwenden Sie das Inhaltsverzeichnis des Dashboards, um zum Abschnitt des Dashboards mit Informationen zu Ihren KI-Ressourcen zu wechseln:
Agent: Für Agents verfügbar. In diesem Abschnitt werden Informationen zu Sitzungen, Agent-Aufrufen und zur Tokennutzung angezeigt.
Tools: Für Agents verfügbar. In diesem Abschnitt werden Informationen zu Tool-Aufrufen angezeigt, einschließlich Fehlerrate, Anzahl der Aufrufe und P95-Latenz.
Modelle: Für einige Agents verfügbar. In diesem Abschnitt werden Informationen zur Anzahl der Modellaufrufe durch den Agent, zur Fehlerrate und zur Tokennutzung angezeigt.
Telemetriedaten untersuchen
SQL-Abfragen für Ihre Tracedaten bestimmen die Daten, die in Diagrammen zu KI-Ressourcen angezeigt werden. Diese Abfragen filtern Tracedaten nach anwendungsspezifischen Labels und Ereignissen der generativen KI, die den semantischen OpenTelemetry-Konventionen für generative KIentsprechen.
Wenn Sie die Abfrage für ein Diagramm aufrufen möchten, wählen Sie in der Symbolleiste des Diagramms more_vert Weitere Diagrammoptionen und dann In Observability Analytics ansehen aus.
Observability Analytics wird geöffnet und zeigt die SQL-Abfrage an, mit der Daten für das Diagramm generiert werden. Dafür gibt es zwei Möglichkeiten:
- Prüfen Sie die Abfrage und kehren Sie dann zu Application Monitoring zurück.
- Führen Sie die Abfrage aus.
- Ändern Sie die Abfrage und führen Sie dann die geänderte Abfrage aus.
- Erstellen Sie ein Diagramm, in dem das Abfrageergebnis angezeigt wird.
- Speichern Sie ein Diagramm, in dem das Abfrageergebnis angezeigt wird, in einem benutzerdefinierten Dashboard.
Weitere Informationen finden Sie in folgenden Dokumenten: