Evaluasi berkelanjutan dengan monitor online

Pemantauan online memungkinkan Anda terus menilai kualitas agen dalam produksi. Pendekatan proaktif ini membantu Anda mengidentifikasi pergeseran kualitas—penurunan performa agen yang dapat diamati seiring waktu—yang disebabkan oleh perubahan perilaku pengguna atau data eksternal. Dengan mengonfigurasi Online Monitors, Anda dapat menilai trace live secara asinkron menggunakan metrik standar dan metrik kustom, sehingga memastikan agen Anda tetap andal dan sesuai dengan standar performa Anda.

Sebelum memulai

Untuk mengaktifkan pemantauan online bagi agen Anda, pastikan persyaratan berikut terpenuhi:

  • Deploy agen Anda seperti yang dijelaskan dalam Men-deploy agen.
  • Pastikan Cloud Trace diaktifkan untuk project Anda.
  • (Opsional) Jika Anda berencana membuat monitor secara terprogram, lihat halaman Mengevaluasi agen Anda untuk mengetahui petunjuk inisialisasi Agent Platform SDK.

Persyaratan telemetri

Pemantauan online mengharuskan agen Anda mengekspor sinyal OpenTelemetry tertentu untuk memberikan konteks yang diperlukan untuk evaluasi:

  1. Invoke agent span: Harus menyertakan atribut berikut:

    • gen_ai.agent.name: ID untuk agen.
    • gen_ai.agent.description: Deskripsi singkat tentang tujuan agen.
    • gen_ai.conversation.id: ID unik untuk sesi percakapan tertentu.

  2. Peristiwa inferensi: Peristiwa gen_ai.client.inference.operation.details harus mencatat:

    • gen_ai.input.messages: Perintah yang dikirim ke agen.
    • gen_ai.output.messages: Respons yang dihasilkan oleh agen.
    • gen_ai.system_instructions: Perintah sistem yang mendasarinya.
    • gen_ai.tool.definitions: Metadata tentang alat apa pun yang tersedia untuk agen.

Jika menggunakan Agent Development Kit, Anda harus mengaktifkan kemampuan telemetri ini dengan menetapkan variabel lingkungan berikut:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Media rekaman di Cloud Storage

Jika agen Anda menggunakan data multimodal, seperti gambar atau dokumen besar, sebaiknya catat input dan output dalam bucket Cloud Storage, bukan menyematkannya langsung dalam span trace. Konfigurasikan variabel lingkungan berikut untuk mengaktifkannya:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

Untuk mengetahui informasi selengkapnya, lihat Mengumpulkan perintah dan respons multimodal.

Cara kerja monitor online

Online Monitor berjalan pada loop evaluasi terjadwal, biasanya setiap 10 menit. Loop mengikuti langkah-langkah berikut:

  1. Query: Mengambil sampel data dari Cloud Trace dan Cloud Logging berdasarkan filter Anda.
  2. Evaluate: Menjalankan metrik yang dikonfigurasi menggunakan Layanan Evaluasi Gemini Enterprise Agent Platform.
  3. Laporan: Menulis hasil kembali ke Cloud Logging dan mengekspor skor numerik ke Cloud Monitoring.

Membuat monitor online

  1. Di konsol Google Cloud , buka halaman Agent Platform > Agents > Evaluation.

    Buka Evaluasi

  2. Pilih tab Online monitors, lalu klik New monitor.

  3. Tentukan Filter Traces:

    • Agent engine: Pilih agen yang ingin Anda pantau dari dropdown.
    • Kriteria filter: Pilih apakah akan mengevaluasi Semua trace untuk agen atau menerapkan Kriteria filter tertentu.

  4. Tentukan Kriteria Filter (jika menggunakan trace yang difilter):

    • Pemeriksaan Awal: Pilih jangka waktu (misalnya, 1 hari terakhir) untuk melihat pratinjau trace produksi yang cocok dengan filter Anda.
    • Filter: Masukkan kriteria untuk menarget traffic tertentu. Anda dapat memfilter menurut properti seperti Duration (misalnya, Duration > 2) atau Token usage.

  5. Konfigurasi Metrik: Tambahkan metrik yang ingin Anda lacak secara terus-menerus, seperti Keamanan.

  6. Set Sampling:

    • Persentase pengambilan sampel: Tentukan persentase traffic aktif yang harus dievaluasi.
    • Sampel maks per operasi: Tetapkan batas untuk mengelola biaya evaluasi.

  7. Klik Create.

Mengelola monitor

Setelah membuat pemantau, Anda dapat mengelolanya dari daftar Pemantau online:

  • Tombol Status: Klik Opsi lainnya dan pilih Aktifkan atau Nonaktifkan untuk menjeda evaluasi tanpa menghapus konfigurasi.
  • Jeda dan Lanjutkan: Gunakan Opsi lainnya untuk menghentikan sementara evaluasi.
  • Duplikat: Buat monitor baru dengan setelan yang telah diisi otomatis dari monitor yang ada.
  • Lihat Trace: Klik link Lihat trace di kolom Trace sampel untuk monitor guna langsung membuka trace yang difilter di tab Trace agen.

Melihat hasil di dasbor kemampuan observasi

Untuk melihat metrik evaluasi Anda bersama sinyal performa lainnya:

  1. Di konsol Google Cloud , buka halaman Agent Platform > Agents.
  2. Di menu navigasi sebelah kiri, pilih Deployments.

  3. Pilih agen Anda.

    Buka Deployment

  4. Di tampilan Dashboard, pilih subbagian Evaluation untuk melihat diagram deret waktu untuk metrik yang dikonfigurasi, seperti kualitas respons, keamanan, dan tingkat halusinasi.

Melihat hasil untuk setiap trace

Anda juga dapat memeriksa hasil evaluasi untuk percakapan tertentu langsung dalam tampilan trace:

  1. Di konsol Google Cloud , buka tab Traces agen.
  2. Pilih sesi atau trace dari tabel untuk membuka panel detail.
  3. Pilih tab Evaluation untuk melihat skor dan alasan untuk interaksi spesifik tersebut.

Memecahkan masalah monitor online

Jika Pemantau Online Anda aktif, tetapi tidak ada hasil yang muncul di dasbor:

  1. Verifikasi Telemetri: Pastikan agen Anda mengekspor span dan peristiwa OpenTelemetry yang diperlukan dengan benar. Periksa Cloud Trace untuk melihat apakah trace aktif berisi atribut gen_ai..
  2. Periksa Filter: Tinjau kriteria filter monitor Anda. Gunakan fitur Pemeriksaan Awal untuk mengonfirmasi bahwa filter Anda cocok dengan traffic produksi.

  3. Periksa Log Internal: Online Monitor menulis informasi diagnostik ke Cloud Logging. Jika evaluasi gagal, log error akan dibuat. Anda dapat menemukan log ini di Logs Explorer dengan menelusuri ID monitor, atau trace dan agen tertentu:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"