Kemampuan observasi untuk developer agen AI

Jika Anda mengembangkan agen AI, Anda dapat melengkapi aplikasi Anda dengan OpenTelemetry untuk mengamati cara agen Anda melakukan penalaran, memanggil alat, dan merespons perintah. Panduan ini menjelaskan cara mengambil telemetri agen menggunakan framework seperti LangGraph dan Agent Development Kit (ADK), serta cara menganalisis perintah dan respons multimodal di Cloud Trace.

Melengkapi agen dengan instrumentasi untuk memahami perilakunya

Saat Anda mengembangkan atau mengelola aplikasi AI generatif, data telemetri menangkap langkah-langkah penalaran, panggilan alat, dan interaksi eksternal dari agen otonom Anda. Data ini berguna karena alasan berikut:

  • Memahami perilaku non-deterministik: Karena proses penalaran agen tidak deterministik, telemetri adalah satu-satunya cara yang andal untuk memeriksa keputusan yang dibuat agen dan alat yang dipilihnya.
  • Memecahkan masalah dan mendiagnosis error: Trace membantu Anda mengidentifikasi permintaan API yang gagal, loop eksekusi tanpa batas, dan bottleneck latensi di seluruh alur kerja agen terdistribusi.
  • Mendukung tata kelola dan memvalidasi traffic: Telemetri memungkinkan Anda memvisualisasikan alur komunikasi—seperti dalam Topologi Aplikasi—untuk memverifikasi bahwa agen Anda hanya berkomunikasi dengan agen, server MCP, dan endpoint eksternal yang diizinkan.
  • Mengevaluasi kualitas dan biaya output: Mengumpulkan perintah, respons, dan penggunaan token membantu Anda menilai akurasi model, mendeteksi halusinasi, dan mengoptimalkan konsumsi resource.

Cara melengkapi aplikasi AI generatif Anda

Melakukan instrumentasi pada aplikasi Anda melibatkan pembuatan telemetri dan pengirimannya ke tujuan tempat data dapat disimpan, dikueri, dan dianalisis. Misalnya, saat instrumentasi Anda mengirimkan telemetri ke project Google Cloud , Anda dapat menggunakan Google Cloud Observability untuk melihat dan menganalisis data tersebut.

Cloud Trace otomatis mengekstrak peristiwa dari span yang ditulis oleh aplikasi AI generatif jika span tersebut sesuai dengan konvensi semantik untuk span dan peristiwa. Untuk mengetahui informasi tentang konvensi tersebut, lihat dokumen berikut:

Cloud Trace juga dapat menampilkan perintah dan respons multimodal. Dalam skenario ini, perintah dan respons Anda tidak dilampirkan ke data trace. Sebagai gantinya, file tersebut disimpan di bucket Cloud Storage. Untuk mempelajari konfigurasi ini lebih lanjut, lihat Mengumpulkan dan melihat perintah dan respons multimodal.

Praktik terbaik

Sebaiknya instrumentasikan aplikasi Anda dengan OpenTelemetry, yang merupakan project open source yang menyediakan framework terpadu untuk instrumentasi aplikasi. Contoh instrumentasi yang tercantum dalam dokumen ini menggunakan OpenTelemetry.

Sebaiknya simpan juga perintah dan respons Anda di bucket Cloud Storage, bukan di entri log:

  • Anda memiliki kontrol terperinci atas konten di bucket Cloud Storage. Misalnya, Anda dapat menghapus percakapan tertentu yang disimpan dalam bucket. Namun, Anda tidak dapat menghapus entri log satu per satu.

  • Bucket Cloud Storage dapat menyimpan objek yang jauh lebih besar daripada ukuran maksimum entri log, yang dibatasi hingga 256 KiB. Cloud Logging merespons dengan error INVALID_ARGUMENT dan menghapus data jika data yang diterima melebihi ukuran entri log maksimum. Jika perintah selesai tanpa error, tetapi setiap kolom melebihi batas ukurannya, Cloud Logging akan memotong data tersebut.

Untuk mengetahui informasi tentang OpenTelemetry, lihat Apa itu OpenTelemetry?.

Contoh instrumentasi

Untuk mulai menggunakan instrumentasi agen, lihat contoh aplikasi dan panduan berikut:

  • Mengumpulkan dan melihat perintah dan respons multimodal menjelaskan cara mengonfigurasi agen ReAct LangGraph atau agen AI generatif yang dibangun dengan ADK untuk mengumpulkan perintah dan respons multimodal. Artikel ini juga menjelaskan cara melakukan hal berikut:

    • Menyimpan perintah dan respons di bucket Cloud Storage.
    • Melihat perintah dan respons dengan halaman Trace Explorer.
    • Menganalisis perintah dan respons dengan BigQuery.
    • Evaluasi perintah dan respons dengan Vertex AI SDK untuk Python.

  • Menginstrumentasi agen ReAct LangGraph dengan OpenTelemetry menjelaskan cara menggunakan OpenTelemetry untuk menginstrumentasi aplikasi AI generatif yang menggunakan framework LangChain atau LangGraph. Halaman ini juga menyediakan link ke aplikasi contoh yang dapat Anda download dan jalankan. Aplikasi contoh mengumpulkan perintah dan respons teks.

  • Melakukan instrumentasi aplikasi ADK dengan OpenTelemetry menjelaskan cara mengaktifkan instrumentasi bawaan yang mengumpulkan telemetri dari tindakan utama agen. Telemetri ini mencakup perintah teks dan respons agen. Halaman ini juga menyediakan link ke aplikasi contoh yang dapat Anda download dan jalankan. Aplikasi contoh mengumpulkan perintah dan respons teks.

  • Menyelidiki panggilan MCP menggunakan Trace menjelaskan cara mengonfigurasi aplikasi Anda untuk meneruskan konteks trace ke server MCP Google Cloud jarak jauh, yang memungkinkan server tersebut melampirkan span ke trace.