In diesem Dokument wird der Nutzen der Instrumentierung Ihrer Anwendungen mit generativer KI beschrieben. Außerdem wird zusammengefasst, wie Sie eine Anwendung instrumentieren können, die die Frameworks LangGraph oder Agent Development Kit (ADK) verwendet. Mit beiden Frameworks können Sie Text-Prompts erfassen. Mit dem ADK-Framework können Sie jedoch auch multimodale Prompts und Antworten erfassen und ansehen.
Generative KI-Agents
Anwendungen, die generative KI verwenden, sind auf Agenten angewiesen, um Aufgaben zu erledigen oder Ziele zu erreichen. Agenten sind Anwendungen, die Aufgaben im Namen eines Nutzers erledigen oder Ziele verfolgen. Ein auf generativer KI basierender Agent kann beispielsweise eine Website aufrufen und API-Befehle ausgeben. Mit diesen API-Befehlen können Informationen abgerufen oder Aktionen ausgeführt werden.
Agents agieren autonom und verwenden Reasoning, um ein Ziel oder eine Aufgabe in Teilaufgaben zu zerlegen und dann zu bestimmen, welche Tools zur Erledigung dieser Teilaufgaben verwendet werden sollen. Im Kontext generativer KI legen Tools fest, wie der Agent mit seiner Umgebung interagieren kann. Ein Agent kann beispielsweise ein Tool haben, mit dem er API-Befehle ausgeben kann.
Weitere Informationen zu Agents finden Sie hier:
Warum sollten Sie Ihre Anwendungen mit generativer KI instrumentieren?
Nur wenn Sie Ihre Anwendungen mit generativer KI instrumentieren, können Sie nachvollziehen, welche Begründung die autonomen Agenten verwendet haben. Dieser Prozess ist nicht deterministisch.
Wenn Sie eine generative KI-Anwendung instrumentieren, enthalten die Telemetriedaten die Entscheidungen und Aktionen der Agents. Anhand dieser Daten können Sie Ihre Anwendung validieren oder verbessern.
Generative KI-Anwendungen instrumentieren
Bei der Instrumentierung Ihrer Anwendung werden Telemetriedaten generiert und an einen Ort gesendet, an dem die Daten gespeichert, abgefragt und analysiert werden können. Wenn Ihre Instrumentierung beispielsweise Telemetrie an Ihr Google Cloud -Projekt sendet, können Sie diese Daten mit Google Cloud Observability ansehen und analysieren.
Wir empfehlen, Ihre Anwendung mit OpenTelemetry zu instrumentieren. OpenTelemetry ist ein Open-Source-Projekt, das ein einheitliches Framework für die Instrumentierung von Anwendungen bietet. Die von uns bereitgestellten Beispiele basieren auf OpenTelemetry.
Informationen zur Instrumentierung finden Sie in den folgenden Dokumenten:
Unter Multimodale Prompts und Antworten erfassen und ansehen wird beschrieben, wie Sie einen mit dem ADK erstellten Agent für generative KI konfigurieren, um multimodale Prompts und Antworten zu erfassen. Außerdem wird Folgendes beschrieben:
- Auf der Seite Trace-Explorer können Sie Prompts und Antworten ansehen.
- Prompts und Antworten mit BigQuery analysieren
- Bewerten Sie Prompts und Antworten mit dem Vertex AI SDK für Python.
Im Dokument Instrument a LangGraph ReAct Agent with OpenTelemetry (OpenTelemetry zur Instrumentierung eines LangGraph ReAct-Agents verwenden) wird beschrieben, wie Sie OpenTelemetry zur Instrumentierung einer generativen KI-Anwendung verwenden, die das LangChain- oder LangGraph-Framework verwendet. Außerdem wird auf eine Beispielanwendung verwiesen, die Sie laden und ausführen können.
Unter ADK-Anwendungen mit OpenTelemetry instrumentieren wird beschrieben, wie Sie die integrierte Instrumentierung aktivieren, die Telemetriedaten von den wichtigsten Aktionen des Agents erfasst. Die Telemetrie umfasst Text-Prompts und Agentenantworten. Außerdem wird auf eine Beispielanwendung verwiesen, die Sie laden und ausführen können.
Prompts und Antworten ansehen
Cloud Trace ist so konfiguriert, dass Ereignisse aus Spans extrahiert werden, die von Anwendungen mit generativer KI geschrieben wurden, sofern die Spans den semantischen OpenTelemetry-Konventionen für Spans mit generativer KI entsprechen und Attribute oder Ereignisse enthalten, die den semantischen Konventionen für Ereignisse mit generativer KI entsprechen.
Cloud Trace kann auch multimodale Prompts und Antworten anzeigen. In diesem Fall werden Ihre Prompts und Antworten nicht an Ihre Tracedaten angehängt. Stattdessen werden sie in einem Cloud Storage-Bucket gespeichert. Weitere Informationen zu dieser Konfiguration finden Sie unter Multimodale Prompts und Antworten erfassen und ansehen.