Dokumen ini menjelaskan cara menggunakan evaluasi agen untuk mengukur dan meningkatkan performa, keamanan, dan kualitas agen Anda.
Untuk mempelajari lebih lanjut evaluasi model, lihat Ringkasan layanan evaluasi AI generatif.
Ringkasan prosedur
| Fase | Aktivitas | Sasaran |
|---|---|---|
| Desain | Menentukan kasus evaluasi | Tentukan tugas agen dan hasil yang diharapkan. |
| Eksekusi | Menjalankan inferensi | Buat rekaman percakapan dunia nyata atau simulasi. |
| Penilaian | Metrik komputasi | Menilai rekaman aktivitas menggunakan penilai otomatis (Keberhasilan Tugas, Keamanan). |
| Penyempurnaan | Mengoptimalkan agen | Mengusulkan dan memverifikasi peningkatan kualitas petunjuk atau alat. |
Proses evaluasi
Evaluasi mengikuti alur kerja yang terstruktur dan berulang:
- Menentukan kasus evaluasi: Kasus evaluasi adalah spesifikasi yang menentukan tugas agen. Kasus evaluasi dapat mencakup satu atau beberapa langkah percakapan, konteks percakapan (status agen), dan spesifikasi untuk menyimulasikan respons pengguna selama inferensi.
- Menjalankan inferensi: Inferensi adalah eksekusi kasus evaluasi. Jika kasus evaluasi berisi rencana percakapan, respons pengguna akan disimulasikan selama inferensi.
- Membuat trace: Setiap operasi inferensi menangkap perilaku agen dalam trace. Trace adalah data faktual yang tidak dapat diubah tentang perilaku agen, termasuk input model, respons, dan panggilan alat.
- Metrik komputasi: Metrik adalah skor yang dihitung untuk setiap trace menggunakan penilai bawaan atau kustom. Beberapa metrik, seperti Exact Match, bersifat berbasis referensi dan memerlukan kasus evaluasi dengan jawaban referensi. Metrik lainnya, seperti Helpfulness, bersifat bebas referensi dan mengevaluasi trace secara mandiri. Evaluasi otomatis ini memungkinkan Anda menilai trace yang diambil dari traffic produksi atau log eksternal, terlepas dari lingkungan pengujian terkelola.
- Melakukan analisis: Analisis metrik, rubrik, dan penilaian untuk mengidentifikasi masalah utama agen, menautkan masalah agen kembali ke kasus pengujian, dan menghasilkan insight untuk peningkatan.
- Mengoptimalkan agen: Gunakan pengoptimalan untuk mengelola seluruh siklus evaluasi. Proses otomatis ini menganalisis hasil, mengusulkan peningkatan kepada agen, dan menjalankan ulang proses secara berulang untuk memverifikasi peningkatan performa.
Alur kerja evaluasi
Anda dapat mengintegrasikan evaluasi ke dalam dua tahap utama alur kerja Anda:
- Iterasi pengembangan lokal: Evaluasi agen berbasis Agent Development Kit (ADK) secara lokal untuk melakukan iterasi cepat pada rekayasa perintah dan konfigurasi alat.
- Penilaian agen yang di-deploy: Ukur kualitas agen yang di-deploy dengan menganalisis trace historis atau menjalankan benchmark sintetis terhadap endpoint agen.
Kemampuan inti
Evaluasi agen membantu Anda membangun rangkaian evaluasi awal, bahkan tanpa data pengujian yang ada. Fitur berikut membantu mengotomatiskan proses pembuatan kasus pengujian dan meningkatkan kualitas sistem agentic Anda:
Pembuatan skenario dan simulasi pengguna: Buat skenario pengujian sintetis multi-giliran yang beragam secara otomatis berdasarkan petunjuk dan definisi alat agen Anda. Otomatisasi ini memungkinkan Anda segera memulai pengujian dengan menghilangkan kebutuhan untuk menulis kasus pengujian awal secara manual.
Simulasi lingkungan: Mengintersepsi panggilan alat tertentu untuk memasukkan perilaku kustom, data tiruan, atau error simulasi (seperti error HTTP 503 atau lonjakan latensi). Simulasi ini memungkinkan Anda memvalidasi ketahanan agen tanpa memengaruhi backend produksi.
Evaluasi multi-turn: Evaluasi seluruh histori percakapan secara otomatis menggunakan autorater multi-turn. Penilai ini menganalisis ekstraksi intent, membuat rubrik secara dinamis, dan memberikan keputusan validasi objektif untuk membantu memastikan kepatuhan terhadap petunjuk.
Pengoptimalan perintah: Buat dan validasi petunjuk sistem yang disempurnakan secara terprogram menggunakan pengoptimalan perintah. Framework pengoptimalan mengidentifikasi titik kegagalan dan secara berulang mengusulkan pembaruan yang tepat sasaran.
Mengevaluasi dengan asisten coding AI
Jika menggunakan Gemini CLI atau asisten coding AI lainnya, Anda dapat menginstal kemampuan Agen yang mengajarkan metodologi evaluasi agen yang dijelaskan di halaman ini kepada asisten Anda. Setiap keterampilan menyediakan alur kerja evaluasi, skema set data, panduan pemilihan metrik, dan langkah-langkah analisis kegagalan langsung di sesi coding Anda, sehingga asisten Anda dapat membangun, menilai, dan meningkatkan evaluasi tanpa keluar dari editor Anda.
Petunjuk penginstalan mengikuti setiap skill.
Keahlian evaluasi Agents CLI
Alur kerja berbasis CLI untuk mengevaluasi dan mengoptimalkan agen Agent Development Kit (ADK) menggunakan perintah agents-cli eval. Keterampilan ini mencakup:
- Menyiapkan set data evaluasi dan menyintesis skenario multi-giliran dengan simulasi pengguna
- Menjalankan inferensi, menilai trace, dan menganalisis cluster kegagalan
- Melakukan iterasi pada perintah dan alat dengan loop evaluasi-perbaikan
Untuk menginstal, jalankan perintah berikut:
npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval
Keterampilan flywheel Layanan Evaluasi AI Generatif Agent Platform
Playbook berbasis SDK untuk mengevaluasi dan meningkatkan kualitas model dan agen melalui
Layanan Evaluasi AI Generatif Gemini Enterprise Agent Platform, menggunakan SDK Evaluasi AI Generatif Agent Platform
(client.evals.evaluate()). Keterampilan ini mencakup:
- Membuat set data evaluasi dari trace sesi, DataFrame, atau pembuatan sintetis
- Memilih, mengonfigurasi, dan menulis metrik kustom dengan penskoran LLM-as-a-judge
- Menganalisis penilaian rubrik dan pola kerugian untuk mendorong peningkatan yang konkret
Untuk menginstal, jalankan perintah berikut:
npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel