Aplikasi AI generatif instrumen

Dokumen ini menjelaskan manfaat menginstrumentasi aplikasi AI generatif Anda. Dokumen ini juga merangkum cara menginstrumentasi aplikasi yang menggunakan framework LangGraph atau Agent Development Kit (ADK). Kedua framework ini memungkinkan Anda mengumpulkan dan melihat perintah dan respons multimodal.

Tentang agen AI generatif

Aplikasi yang menggunakan AI generatif mengandalkan agen untuk menyelesaikan tugas atau mencapai sasaran. Agen adalah aplikasi yang menyelesaikan tugas atau mencapai sasaran atas nama pengguna. Misalnya, agen AI generatif dapat menjelajahi situs dan mengeluarkan perintah API. Perintah API ini dapat mengambil informasi atau melakukan tindakan.

Agen bertindak secara otonom dan menggunakan penalaran untuk menentukan cara menguraikan sasaran atau tugas menjadi sub-tugas, lalu menentukan alat yang akan digunakan untuk menyelesaikan sub-tugas tersebut. Dalam konteks AI generatif, alat menentukan cara agen dapat berinteraksi dengan lingkungannya. Misalnya, agen mungkin memiliki alat yang memungkinkannya mengeluarkan perintah API.

Untuk mempelajari agen lebih lanjut, lihat artikel berikut:

Alasan Anda harus mengukur aplikasi AI generatif

Menginstrumentasi aplikasi AI generatif adalah satu-satunya cara Anda dapat memahami penalaran yang digunakan oleh agen otonom. Proses penalaran ini tidak deterministik.

Saat Anda mengukur aplikasi AI generatif, data telemetri mencakup keputusan dan tindakan agen. Anda dapat menggunakan data ini untuk memvalidasi atau meningkatkan kualitas aplikasi Anda.

Cara mengukur aplikasi AI generatif Anda

Menginstrumentasi aplikasi Anda melibatkan pembuatan telemetri dan pengirimannya ke tempat data dapat disimpan, dikueri, dan dianalisis. Misalnya, saat instrumentasi Anda mengirim telemetri ke Google Cloud project, Anda dapat menggunakan Google Cloud Observability untuk melihat dan menganalisis data tersebut.

Praktik terbaik

Google merekomendasikan agar Anda menginstrumentasikan aplikasi dengan OpenTelemetry, yang merupakan project open source yang menyediakan framework terpadu untuk instrumentasi aplikasi. Contoh yang tercantum dalam dokumen ini mengandalkan OpenTelemetry.

Google juga merekomendasikan agar Anda menyimpan perintah dan respons di bucket Cloud Storage, bukan di entri log:

  • Anda memiliki kontrol terperinci atas konten di bucket Cloud Storage. Misalnya, Anda dapat menghapus percakapan individual yang disimpan dalam bucket. Namun, Anda tidak dapat menghapus setiap entri log.

  • Bucket Cloud Storage dapat menyimpan objek yang jauh lebih besar daripada ukuran maksimum entri log, yang dibatasi hingga 256 KiB. Cloud Logging merespons dengan error INVALID_ARGUMENT dan menghapus data jika data yang diterima melebihi ukuran entri log maksimum. Jika perintah selesai tanpa error, tetapi kolom individual melebihi batas ukurannya, maka Cloud Logging akan memangkas data tersebut.

Contoh instrumentasi

Untuk informasi instrumentasi, lihat dokumen berikut:

  • Mengumpulkan dan melihat perintah dan respons multimodal menjelaskan cara mengonfigurasi agen ReAct LangGraph atau agen AI generatif yang dibuat dengan ADK untuk mengumpulkan perintah dan respons multimodal. Bagian ini juga menjelaskan cara melakukan hal berikut:

    • Simpan perintah dan respons di bucket Cloud Storage.
    • Lihat perintah dan respons dengan halaman Trace Explorer.
    • Menganalisis perintah dan respons dengan BigQuery.
    • Mengevaluasi perintah dan respons dengan Vertex AI SDK untuk Python.

  • Menginstrumentasi agen ReAct LangGraph dengan OpenTelemetry menjelaskan cara menggunakan OpenTelemetry untuk menginstrumentasi aplikasi AI generatif yang menggunakan framework LangChain atau LangGraph. Dokumen ini juga menautkan ke aplikasi contoh yang dapat Anda download dan jalankan. Aplikasi contoh mengumpulkan perintah dan respons teks.

  • Menginstrumentasikan aplikasi ADK dengan OpenTelemetry menjelaskan cara mengaktifkan instrumentasi bawaan yang mengumpulkan telemetri dari tindakan utama agen. Telemetri mencakup perintah teks dan respons agen. Telemetri juga ditautkan ke aplikasi contoh yang dapat Anda download dan jalankan. Aplikasi contoh mengumpulkan perintah dan respons teks.

  • Menyelidiki panggilan MCP menggunakan Trace menjelaskan cara mengonfigurasi aplikasi Anda untuk meneruskan konteks rekaman aktivitas ke server MCP Google Cloud jarak jauh, yang memungkinkan server tersebut melampirkan rentang ke rekaman aktivitas.

Cara melihat perintah dan respons Anda

Cloud Trace dikonfigurasi untuk mengekstrak peristiwa dari rentang yang ditulis oleh aplikasi AI generatif, asalkan rentang tersebut sesuai dengan Konvensi semantik untuk rentang AI generatif dan menyertakan atribut atau peristiwa yang mengikuti Konvensi semantik untuk peristiwa AI generatif.

Cloud Trace juga dapat menampilkan prompt dan respons multimodal. Dalam skenario ini, perintah dan respons Anda tidak dilampirkan ke data rekaman aktivitas Anda. Sebagai gantinya, file tersebut disimpan di bucket Cloud Storage. Untuk mempelajari lebih lanjut konfigurasi ini, lihat Mengumpulkan dan melihat perintah dan respons multimodal.