Cloud Trace memungkinkan Anda menganalisis performa agen dengan melacak linimasa operasi untuk setiap kueri. Anda dapat menggunakan rekaman aktivitas untuk mengidentifikasi hambatan dan memahami interaksi dengan model bahasa besar (LLM) atau alat.
Dokumen ini menjelaskan cara mengaktifkan Trace untuk agen Anda dan cara melihat serta menganalisis rekaman aktivitas di konsol Google Cloud .
Trace adalah linimasa permintaan saat agen Anda merespons setiap kueri. Misalnya, diagram berikut menunjukkan contoh rekaman aktivitas dari agen Agent Development Kit (ADK):
Trace terdiri dari span individual, yang merepresentasikan satu unit tugas, seperti panggilan fungsi atau interaksi dengan LLM, dengan span pertama merepresentasikan keseluruhan permintaan. Setiap rentang memberikan detail tentang operasi tertentu, seperti nama operasi, waktu mulai dan berakhir, serta atribut yang relevan, dalam permintaan. Misalnya, JSON berikut menunjukkan rentang tunggal yang merepresentasikan panggilan ke model bahasa besar (LLM):
{
"name": "llm",
"context": {
"trace_id": "ed7b336d-e71a-46f0-a334-5f2e87cb6cfc",
"span_id": "ad67332a-38bd-428e-9f62-538ba2fa90d4"
},
"span_kind": "LLM",
"parent_id": "f89ebb7c-10f6-4bf8-8a74-57324d2556ef",
"start_time": "2023-09-07T12:54:47.597121-06:00",
"end_time": "2023-09-07T12:54:49.321811-06:00",
"status_code": "OK",
"status_message": "",
"attributes": {
"llm.input_messages": [
{
"message.role": "system",
"message.content": "You are an expert Q&A system that is trusted around the world.\nAlways answer the query using the provided context information, and not prior knowledge.\nSome rules to follow:\n1. Never directly reference the given context in your answer.\n2. Avoid statements like 'Based on the context, ...' or 'The context information ...' or anything along those lines."
},
{
"message.role": "user",
"message.content": "Hello?"
}
],
"output.value": "assistant: Yes I am here",
"output.mime_type": "text/plain"
},
"events": [],
}
Untuk mengetahui detailnya, lihat dokumentasi Cloud Trace tentang Trace dan rentang serta Konteks trace.
Sebelum memulai
Sebelum dapat mengumpulkan dan menulis rekaman aktivitas, Anda harus mengaktifkan API tertentu dan menginstal dependensi. Untuk mengetahui informasi selengkapnya, lihat Mengumpulkan dan melihat perintah dan respons multimodal dalam dokumentasi Google Cloud Observability.
Menulis rekaman aktivitas untuk agen
Untuk menulis rekaman aktivitas agen:
ADK
Untuk mengaktifkan OpenTelemetry untuk AdkApp, tetapkan variabel lingkungan berikut saat Anda men-deploy
agen ke
Runtime Agen:
env_vars = {
"GOOGLE_CLOUD_AGENT_ENGINE_ENABLE_TELEMETRY": "true",
"OTEL_SEMCONV_STABILITY_OPT_IN": "gen_ai_latest_experimental",
"OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT": "EVENT_ONLY",
}
Perhatikan hal berikut:
GOOGLE_CLOUD_AGENT_ENGINE_ENABLE_TELEMETRYmengaktifkan rekaman aktivitas dan log agen, tetapi tidak menyertakan data perintah dan respons.OTEL_SEMCONV_STABILITY_OPT_INmemungkinkan penggunaan konvensi semantik AI generatif terbaru.OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENTmengaktifkan logging perintah input dan respons output.Untuk menggunakan penyerapan rekaman aktivitas, Anda harus mengaktifkan Telemetry API. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Telemetry (OTLP) API
Untuk menggunakan penyerapan log, Anda harus mengaktifkan Logging API. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cloud Logging API.
LangchainAgent
Untuk mengaktifkan pelacakan untuk LangchainAgent, tentukan enable_tracing=True saat Anda
mengembangkan agen LangChain.
Contoh:
from vertexai.agent_engines import LangchainAgent
agent = LangchainAgent(
model=model, # Required.
tools=[get_exchange_rate], # Optional.
enable_tracing=True, # [New] Optional.
)
LanggraphAgent
Untuk mengaktifkan pelacakan untuk LanggraphAgent, tentukan enable_tracing=True saat Anda
mengembangkan agen LangGraph.
Contoh:
from vertexai.agent_engines import LanggraphAgent
agent = LanggraphAgent(
model=model, # Required.
tools=[get_exchange_rate], # Optional.
enable_tracing=True, # [New] Optional.
)
LlamaIndex
Untuk mengaktifkan pelacakan untuk LlamaIndexQueryPipelineAgent, tentukan enable_tracing=True saat Anda
mengembangkan agen LlamaIndex.
Contoh:
from vertexai.preview import reasoning_engines
def runnable_with_tools_builder(model, runnable_kwargs=None, **kwargs):
from llama_index.core.query_pipeline import QueryPipeline
from llama_index.core.tools import FunctionTool
from llama_index.core.agent import ReActAgent
llama_index_tools = []
for tool in runnable_kwargs.get("tools"):
llama_index_tools.append(FunctionTool.from_defaults(tool))
agent = ReActAgent.from_tools(llama_index_tools, llm=model, verbose=True)
return QueryPipeline(modules = {"agent": agent})
agent = reasoning_engines.LlamaIndexQueryPipelineAgent(
model="gemini-2.0-flash",
runnable_kwargs={"tools": [get_exchange_rate]},
runnable_builder=runnable_with_tools_builder,
enable_tracing=True, # Optional
)
Kustom
Untuk mengaktifkan tracing untuk agen kustom, buka Tracing menggunakan OpenTelemetry untuk mengetahui detailnya.
Tindakan ini mengekspor rekaman aktivitas ke Cloud Trace di project dalam Siapkan project Google Cloud .
Melihat rekaman aktivitas untuk agen
Untuk agen yang di-deploy, Anda dapat menggunakan konsol Google Cloud untuk melihat rekaman aktivitas agen:
- Di konsol Google Cloud , buka halaman Deployments Agent Platform.
Instance Platform Agen yang merupakan bagian dari project yang dipilih akan muncul dalam daftar. Anda dapat menggunakan kolom Filter untuk memfilter daftar menurut kolom yang ditentukan.
Klik nama instance Platform Agen Anda.
Klik tab Trace.
Anda dapat memilih Tampilan sesi atau Tampilan rentang.
Klik sesi atau rentang untuk memeriksa detail rekaman aktivitas, termasuk directed acyclic graph (DAG) rentang, input dan output, serta atribut metadata.
Kuota dan batas
Beberapa nilai atribut mungkin dipotong saat mencapai batas kuota. Untuk informasi selengkapnya, lihat Kuota Cloud Trace.
Harga
Cloud Trace memiliki paket gratis. Untuk mengetahui informasi selengkapnya, lihat Harga Cloud Trace.