Kemampuan observasi untuk developer agen AI

Jika Anda mengembangkan agen AI, Anda dapat menginstrumentasi aplikasi dengan OpenTelemetry untuk mengamati cara agen Anda melakukan penalaran, memanggil alat, dan merespons perintah. Panduan ini menjelaskan cara mengambil telemetri agen menggunakan framework seperti LangGraph dan Agent Development Kit (ADK), serta cara menganalisis perintah dan respons multimodal di Cloud Trace.

Menginstrumentasi agen untuk memahami perilakunya

Saat Anda mengembangkan atau mengelola aplikasi AI generatif, data telemetri akan menangkap langkah-langkah penalaran, panggilan alat, dan interaksi eksternal agen otonom Anda. Data ini berguna karena alasan berikut:

  • Memahami perilaku non-deterministik: Karena proses penalaran agen tidak deterministik, telemetri adalah satu-satunya cara yang andal untuk memeriksa keputusan yang dibuat agen dan alat yang dipilihnya.
  • Memecahkan masalah dan mendiagnosis error: Trace membantu Anda mengidentifikasi permintaan API yang gagal, loop eksekusi tak terbatas, dan hambatan latensi di seluruh alur kerja agen terdistribusi.
  • Mendukung tata kelola dan memvalidasi traffic: Telemetri memungkinkan Anda memvisualisasikan alur komunikasi—seperti di Topologi Aplikasi—untuk memverifikasi bahwa agen Anda hanya berkomunikasi dengan agen, server MCP, dan endpoint eksternal yang diotorisasi.
  • Mengevaluasi kualitas dan biaya output: Mengumpulkan perintah, respons, dan penggunaan token membantu Anda menilai akurasi model, mendeteksi halusinasi, dan mengoptimalkan konsumsi resource.

Cara menginstrumentasi aplikasi AI generatif

Menginstrumentasi aplikasi Anda melibatkan pembuatan telemetri dan pengirimannya ke tujuan tempat data dapat disimpan, dikueri, dan dianalisis. Misalnya, saat instrumentasi Anda mengirim telemetri ke your Google Cloud project, Anda dapat menggunakan Google Cloud Observability untuk melihat dan menganalisis data tersebut.

Cloud Trace secara otomatis mengekstrak peristiwa dari rentang yang ditulis oleh aplikasi AI generatif saat rentang tersebut sesuai dengan konvensi semantik untuk rentang dan peristiwa. Untuk mengetahui informasi tentang konvensi tersebut, lihat dokumen berikut:

Cloud Trace juga dapat menampilkan perintah dan respons multimodal. Dalam skenario ini, perintah dan respons Anda tidak dilampirkan ke data trace. Sebagai gantinya, perintah dan respons tersebut disimpan di bucket Cloud Storage. Untuk mempelajari konfigurasi ini lebih lanjut, lihat Mengumpulkan dan melihat perintah dan respons multimodal.

Praktik terbaik

Sebaiknya instrumentasikan aplikasi Anda dengan OpenTelemetry, yang merupakan project open source yang menyediakan framework terpadu untuk instrumentasi aplikasi. Contoh instrumentasi yang tercantum dalam dokumen ini menggunakan OpenTelemetry.

Sebaiknya simpan perintah dan respons Anda di bucket Cloud Storage, bukan di entri log:

  • Anda memiliki kontrol terperinci atas konten di bucket Cloud Storage. Misalnya, Anda dapat menghapus percakapan tertentu yang disimpan dalam bucket. Namun, Anda tidak dapat menghapus entri log tertentu.

  • Bucket Cloud Storage dapat menyimpan objek yang jauh lebih besar daripada ukuran maksimum entri log, yang dibatasi hingga 256 KiB. Cloud Logging merespons dengan error INVALID_ARGUMENT dan menghapus data jika data yang diterima melebihi ukuran entri log maksimum. Jika perintah selesai tanpa error, tetapi kolom individual melebihi batas ukurannya, Cloud Logging akan memangkas data tersebut.

Untuk mengetahui informasi tentang OpenTelemetry, lihat Apa itu OpenTelemetry?.

Contoh instrumentasi

Untuk memulai instrumentasi agen, lihat panduan dan aplikasi contoh berikut:

  • Mengumpulkan dan melihat perintah dan respons multimodal menjelaskan cara mengonfigurasi agen LangGraph ReAct atau agen AI generatif yang dibuat dengan ADK untuk mengumpulkan perintah dan respons multimodal. Panduan ini juga menjelaskan cara melakukan hal berikut:

    • Menyimpan perintah dan respons di bucket Cloud Storage.
    • Melihat perintah dan respons dengan halaman Trace Explorer.
    • Menganalisis perintah dan respons dengan BigQuery.
    • Mengevaluasi perintah dan respons dengan Vertex AI SDK untuk Python.

  • Menginstrumentasi agen LangGraph ReAct dengan OpenTelemetry menjelaskan cara menggunakan OpenTelemetry untuk menginstrumentasi aplikasi AI generatif yang menggunakan framework LangChain atau LangGraph. Panduan ini juga menautkan ke aplikasi contoh yang dapat Anda download dan jalankan. Aplikasi contoh mengumpulkan perintah dan respons teks.

  • Menginstrumentasi aplikasi ADK dengan OpenTelemetry menjelaskan cara mengaktifkan instrumentasi bawaan yang mengumpulkan telemetri dari tindakan utama agen. Telemetri mencakup perintah teks dan respons agen. Panduan ini juga menautkan ke aplikasi contoh yang dapat Anda download dan jalankan. Aplikasi contoh mengumpulkan perintah dan respons teks.

  • Menyelidiki panggilan MCP menggunakan Trace menjelaskan cara mengonfigurasi aplikasi untuk meneruskan konteks trace ke server MCP Google Cloud jarak jauh, yang memungkinkan server tersebut melampirkan rentang ke trace.