Dokumen ini menjelaskan manfaat menginstrumentasi aplikasi AI generatif Anda. Dokumen ini juga merangkum cara menginstrumentasi aplikasi yang menggunakan framework LangGraph atau Agent Development Kit (ADK). Kedua framework ini memungkinkan Anda mengumpulkan perintah teks. Namun, framework ADK juga memungkinkan Anda mengumpulkan dan melihat perintah dan respons multimodal.
Tentang agen AI generatif
Aplikasi yang menggunakan AI generatif mengandalkan agen untuk menyelesaikan tugas atau mencapai sasaran. Agen adalah aplikasi yang menyelesaikan tugas atau mencapai sasaran atas nama pengguna. Misalnya, agen AI generatif dapat menjelajahi situs dan mengeluarkan perintah API. Perintah API ini dapat mengambil informasi atau melakukan tindakan.
Agen bertindak secara otonom dan menggunakan penalaran untuk menentukan cara menguraikan tujuan atau tugas menjadi subtugas, lalu menentukan alat yang akan digunakan untuk menyelesaikan subtugas tersebut. Dalam konteks AI generatif, alat menentukan cara agen dapat berinteraksi dengan lingkungannya. Misalnya, agen mungkin memiliki alat yang memungkinkannya mengeluarkan perintah API.
Untuk mempelajari agen lebih lanjut, lihat artikel berikut:
- Kemampuan Observasi Agen AI - Standar dan Praktik Terbaik yang Terus Berkembang
- Apa yang dimaksud dengan agen AI?
Alasan untuk menginstrumentasi aplikasi AI generatif Anda
Menginstrumentasi aplikasi AI generatif adalah satu-satunya cara Anda dapat memahami alasan yang digunakan oleh agen otonom. Proses penalaran ini tidak deterministik.
Saat Anda menginstrumentasi aplikasi AI generatif, data telemetri mencakup keputusan dan tindakan agen. Anda dapat menggunakan data ini untuk memvalidasi atau meningkatkan kualitas aplikasi Anda.
Cara menginstrumentasi aplikasi AI generatif Anda
Menginstrumentasi aplikasi Anda melibatkan pembuatan telemetri dan pengirimannya ke tempat data dapat disimpan, dikueri, dan dianalisis. Misalnya, saat instrumentasi Anda mengirim telemetri ke Google Cloud project, Anda dapat menggunakan Google Cloud Observability untuk melihat dan menganalisis data tersebut.
Sebaiknya Anda menginstrumentasikan aplikasi dengan OpenTelemetry, yang merupakan project open source yang menyediakan framework terpadu untuk instrumentasi aplikasi. Contoh yang kami berikan mengandalkan OpenTelemetry.
Untuk informasi instrumentasi, lihat dokumen berikut:
Mengumpulkan dan melihat perintah dan respons multimodal menjelaskan cara mengonfigurasi agen AI generatif yang dibuat dengan ADK untuk mengumpulkan perintah dan respons multimodal. Dokumen ini juga menjelaskan cara melakukan hal berikut:
- Lihat perintah dan respons dengan halaman Trace Explorer.
- Menganalisis perintah dan respons dengan BigQuery.
- Mengevaluasi perintah dan respons dengan Vertex AI SDK untuk Python.
Mengukur Agen ReAct LangGraph dengan OpenTelemetry menjelaskan cara menggunakan OpenTelemetry untuk mengukur aplikasi AI generatif yang menggunakan framework LangChain atau LangGraph. Selain itu, juga terdapat link ke aplikasi contoh yang dapat Anda muat dan jalankan.
Mengukur aplikasi ADK dengan OpenTelemetry menjelaskan cara mengaktifkan pengukuran bawaan yang mengumpulkan telemetri dari tindakan utama agen. Telemetri mencakup perintah teks dan respons agen. Bagian ini juga menautkan ke aplikasi contoh yang dapat Anda muat dan jalankan.
Cara melihat perintah dan respons Anda
Cloud Trace dikonfigurasi untuk mengekstrak peristiwa dari rentang yang ditulis oleh aplikasi AI generatif, asalkan rentang tersebut sesuai dengan Konvensi semantik OpenTelemetry untuk rentang AI generatif dan menyertakan atribut atau peristiwa yang mengikuti Konvensi semantik untuk peristiwa AI generatif.
Cloud Trace juga dapat menampilkan prompt dan respons multimodal. Dalam skenario ini, perintah dan respons Anda tidak dilampirkan ke data rekaman aktivitas Anda. Sebagai gantinya, file tersebut disimpan di bucket Cloud Storage. Untuk mempelajari lebih lanjut konfigurasi ini, lihat Mengumpulkan dan melihat perintah dan respons multimodal.