In diesem Dokument wird der Nutzen der Instrumentierung von Anwendungen für generative KI beschrieben. Außerdem wird zusammengefasst, wie Sie eine Anwendung instrumentieren können, die die Frameworks LangGraph oder Agent Development Kit (ADK) verwendet. Mit beiden Frameworks können Sie multimodale Prompts und Antworten erfassen und ansehen.
Informationen zu Agents für generative KI
Anwendungen, die generative KI verwenden, setzen auf Agents, um Aufgaben zu erledigen oder Ziele zu erreichen. Agents sind Anwendungen, die Aufgaben im Namen eines Nutzers erledigen oder Ziele verfolgen. Ein Agent für generative KI kann beispielsweise auf einer Website navigieren und API-Befehle ausgeben. Mit diesen API-Befehlen können Informationen abgerufen oder Aktionen ausgeführt werden.
Agents agieren autonom und verwenden logische Schlussfolgerungen, um ein Ziel oder eine Aufgabe in Teilaufgaben zu zerlegen und dann zu bestimmen, welche Tools verwendet werden sollen, um diese Teilaufgaben zu erledigen. Im Zusammenhang mit generativer KI bestimmen Tools, wie der Agent mit seiner Umgebung interagieren kann. Ein Agent kann beispielsweise ein Tool haben, mit dem er API-Befehle ausgeben kann.
Weitere Informationen zu Agents finden Sie hier:
Warum sollten Sie Ihre Anwendungen für generative KI instrumentieren?
Nur durch die Instrumentierung Ihrer Anwendungen für generative KI können Sie die logischen Schlussfolgerungen der autonomen Agents nachvollziehen. Dieser Prozess ist nicht deterministisch.
Wenn Sie eine Anwendung für generative KI instrumentieren, umfassen die Telemetriedaten die Entscheidungen und Aktionen der Agents. Sie können diese Daten verwenden, um Ihre Anwendung zu validieren oder zu verbessern.
Anwendungen für generative KI instrumentieren
Bei der Instrumentierung Ihrer Anwendung werden Telemetriedaten generiert und an einen Ort gesendet, an dem die Daten gespeichert, abgefragt und analysiert werden können. Wenn Ihre Instrumentierung beispielsweise Telemetriedaten an Ihr Google Cloud Projekt sendet, können Sie diese Daten mit Google Cloud Observability ansehen und analysieren.
Best Practices
Google empfiehlt, Ihre Anwendung mit OpenTelemetry zu instrumentieren. OpenTelemetry ist ein Open-Source-Projekt, das ein einheitliches Framework für die Instrumentierung von Anwendungen bietet. Die in diesem Dokument aufgeführten Beispiele basieren auf OpenTelemetry.
Google empfiehlt außerdem, Ihre Prompts und Antworten in einem Cloud Storage-Bucket und nicht in einem Logeintrag zu speichern:
Sie haben eine detaillierte Kontrolle über die Inhalte im Cloud Storage-Bucket. Sie können beispielsweise einzelne Unterhaltungen löschen, die in einem Bucket gespeichert sind. Einzelne Logeinträge können jedoch nicht gelöscht werden.
In Cloud Storage-Buckets können Objekte gespeichert werden, die viel größer sind als die maximale Größe eines Logeintrags, die auf 256 KiB begrenzt ist. Cloud Logging antwortet mit einem
INVALID_ARGUMENT-Fehler und verwirft Daten, wenn die empfangenen Daten die maximale Größe des Logeintrags überschreiten. Wenn der Befehl ohne Fehler abgeschlossen wird, einzelne Felder jedoch ihre Größenbeschränkungen überschreiten, werden diese Daten von Cloud Logging abgeschnitten.
Beispiele für die Instrumentierung
Informationen zur Instrumentierung finden Sie in den folgenden Dokumenten:
Multimodale Prompts und Antworten erfassen und ansehen beschreibt, wie Sie einen LangGraph ReAct-Agent oder einen generativen KI-Agent mit ADK so konfigurieren, dass multimodale Prompts und Antworten erfasst werden. Außerdem wird beschrieben, wie Sie Folgendes tun:
- Prompts und Antworten in einem Cloud Storage-Bucket speichern
- Prompts und Antworten auf der Seite Trace Explorer ansehen
- Prompts und Antworten mit BigQuery analysieren
- Prompts und Antworten mit dem Vertex AI SDK für Python auswerten.
LangGraph ReAct-Agent mit OpenTelemetry instrumentieren beschreibt, wie Sie OpenTelemetry verwenden, um eine Anwendung für generative KI zu instrumentieren, die das LangChain- oder LangGraph-Framework verwendet. Außerdem wird auf eine Beispielanwendung verlinkt, die Sie herunterladen und ausführen können. Die Beispielanwendung erfasst Text-Prompts und -Antworten.
ADK-Anwendungen mit OpenTelemetry instrumentieren beschreibt, wie Sie die integrierte Instrumentierung aktivieren, mit der Telemetriedaten von den wichtigsten Aktionen des Agents erfasst werden. Die Telemetriedaten umfassen Text-Prompts und Agent-Antworten. Außerdem wird auf eine Beispielanwendung verlinkt, die Sie herunterladen und ausführen können. Die Beispielanwendung erfasst Text-Prompts und -Antworten.
MCP-Aufrufe mit Trace untersuchen beschreibt, wie Sie Ihre Anwendung so konfigurieren, dass der Trace-Kontext an Remote- Google Cloud-MCP-Server übergeben wird. So können diese Server Spans an einen Trace anhängen.
Prompts und Antworten ansehen
Cloud Trace ist so konfiguriert, dass Ereignisse aus Spans extrahiert werden, die von Anwendungen für generative KI geschrieben wurden. Voraussetzung ist, dass die Spans den OpenTelemetry semantischen Konventionen für Spans für generative KI entsprechen und Attribute oder Ereignisse enthalten, die den semantischen Konventionen für Ereignisse für generative KI folgen.
Cloud Trace kann auch multimodale Prompts und Antworten anzeigen. In diesem Fall sind Ihre Prompts und Antworten nicht an Ihre Tracedaten angehängt. Stattdessen werden sie in einem Cloud Storage-Bucket gespeichert. Weitere Informationen zu dieser Konfiguration finden Sie unter Multimodale Prompts und Antworten erfassen und ansehen.