Evaluasi berkelanjutan dengan monitor online

Pemantauan online memungkinkan Anda terus menilai kualitas agen dalam produksi. Pendekatan proaktif ini membantu Anda mengidentifikasi penurunan kualitas—penurunan performa agen yang dapat diamati dari waktu ke waktu—yang disebabkan oleh perubahan perilaku pengguna atau data eksternal. Dengan mengonfigurasi Pemantau Online, Anda dapat memberi skor pada pelacakan live secara asinkron menggunakan metrik yang telah ditentukan dan kustom, sehingga agen Anda tetap andal dan selaras dengan standar performa Anda.

Sebelum memulai

Untuk mengaktifkan pemantauan online bagi agen Anda, pastikan persyaratan berikut terpenuhi:

  • Deploy agen Anda seperti yang dijelaskan di Deploy agen.
  • Pastikan Cloud Trace diaktifkan untuk project Anda.
  • (Opsional) Jika Anda berencana membuat pemantau secara terprogram, lihat halaman Mengevaluasi agen Anda untuk mengetahui petunjuk inisialisasi Agent Platform SDK.

Persyaratan telemetri

Pemantauan online mengharuskan agen Anda mengekspor sinyal OpenTelemetry tertentu untuk memberikan konteks yang diperlukan untuk evaluasi:

  1. Rentang panggil agen: Harus menyertakan atribut berikut:

    • gen_ai.agent.name: ID untuk agen.
    • gen_ai.agent.description: Deskripsi singkat tentang tujuan agen.
    • gen_ai.conversation.id: ID unik untuk sesi percakapan tertentu.

  2. Peristiwa inferensi: Peristiwa gen_ai.client.inference.operation.details harus menangkap:

    • gen_ai.input.messages: Perintah yang dikirim ke agen.
    • gen_ai.output.messages: Respons yang dihasilkan oleh agen.
    • gen_ai.system_instructions: Perintah sistem yang mendasarinya.
    • gen_ai.tool.definitions: Metadata tentang alat apa pun yang tersedia untuk agen.

Jika Anda menggunakan Agent Development Kit, Anda harus mengaktifkan kemampuan telemetri ini dengan menetapkan variabel lingkungan berikut:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Merekam media di Cloud Storage

Jika agen Anda menggunakan data multimodal, seperti gambar atau dokumen besar, sebaiknya rekam input dan output dalam bucket Cloud Storage , bukan menyematkannya langsung dalam rentang pelacakan. Konfigurasikan variabel lingkungan berikut untuk mengaktifkan hal ini:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

Untuk mengetahui informasi selengkapnya, lihat Mengumpulkan perintah dan respons multimodal.

Cara kerja pemantau online

Pemantau Online berjalan dalam loop evaluasi terjadwal, biasanya setiap 10 menit. Loop mengikuti langkah-langkah berikut:

  1. Kueri: Mengambil sampel data dari Cloud Trace dan Cloud Logging berdasarkan filter Anda.
  2. Evaluasi: Menjalankan metrik yang dikonfigurasi menggunakan Layanan Evaluasi Platform Agen Gemini Enterprise.
  3. Laporan: Menulis hasil kembali ke Cloud Logging dan mengekspor skor numerik ke Cloud Monitoring.

Membuat pemantau online

  1. Di Google Cloud konsol, buka halaman Agent Platform > Agents > Evaluation.

    Buka Evaluasi

  2. Pilih tab Online monitors , lalu klik New monitor.

  3. Tentukan Pelacakan Filter:

    • Mesin agen: Pilih agen yang ingin Anda pantau dari dropdown.
    • Kriteria filter: Pilih apakah akan mengevaluasi Semua pelacakan untuk agen atau menerapkan Kriteria filter tertentu.

  4. Tentukan Kriteria Filter (jika menggunakan pelacakan yang difilter):

    • Pemeriksaan Awal: Pilih jangka waktu (misalnya, 1 hari terakhir) untuk melihat pratinjau pelacakan produksi yang cocok dengan filter Anda.
    • Filter: Masukkan kriteria untuk menargetkan traffic tertentu. Anda dapat memfilter berdasarkan properti seperti Duration (misalnya, Duration > 2) atau Token usage.

  5. Konfigurasi Metrik: Tambahkan metrik yang ingin Anda lacak secara terus-menerus, seperti Keamanan.

  6. Tetapkan Pengambilan Sampel:

    • Persentase pengambilan sampel: Tentukan persentase traffic live yang akan dievaluasi.
    • Jumlah sampel maks per proses: Tetapkan batas untuk mengelola biaya evaluasi.

  7. Klik Buat.

Mengelola pemantau

Setelah membuat pemantau, Anda dapat mengelolanya dari daftar Online monitors:

  • Tombol Status: Klik Opsi lainnya lalu pilih Aktifkan atau Nonaktifkan untuk menjeda evaluasi tanpa menghapus konfigurasi.
  • Jeda dan Lanjutkan: Gunakan Opsi lainnya untuk menghentikan evaluasi sementara.
  • Duplikat: Buat pemantau baru dengan setelan yang telah diisi sebelumnya dari pemantau yang ada.
  • Lihat Pelacakan: Klik link Lihat pelacakan di kolom Pelacakan yang diambil sampelnya untuk pemantau agar dapat langsung membuka pelacakan yang difilter di tab Pelacakan agen.

Melihat hasil di dasbor observabilitas

Untuk melihat metrik evaluasi Anda bersama sinyal performa lainnya:

  1. Di Google Cloud konsol, buka halaman Agent Platform > Agents.
  2. Di menu navigasi kiri, pilih Deployment.

  3. Pilih agen Anda.

    Buka Deployment

  4. Dalam tampilan Dashboard, pilih subbagian Evaluation untuk melihat diagram deret waktu untuk metrik yang dikonfigurasi, seperti kualitas respons, keamanan, dan rasio halusinasi.

Melihat hasil untuk setiap pelacakan

Anda juga dapat memeriksa hasil evaluasi untuk percakapan tertentu langsung dalam tampilan pelacakan:

  1. Di Google Cloud konsol, buka tab Pelacakan agen.
  2. Pilih sesi atau pelacakan dari tabel untuk membuka panel detail.
  3. Pilih tab Evaluasi untuk melihat skor dan alasan untuk interaksi tertentu tersebut.

Memecahkan masalah pemantau online

Jika Pemantau Online Anda aktif tetapi tidak ada hasil yang muncul di dasbor Anda:

  1. Verifikasi Telemetri: Pastikan agen Anda mengekspor rentang dan peristiwa OpenTelemetry yang diperlukan dengan benar. Periksa Cloud Trace untuk melihat apakah pelacakan live berisi atribut gen_ai..
  2. Periksa Filter: Tinjau kriteria filter pemantau Anda. Gunakan fitur Pemeriksaan Awal untuk mengonfirmasi bahwa filter Anda cocok dengan traffic produksi Anda.

  3. Periksa Log Internal: Pemantau Online menulis informasi diagnostik ke Cloud Logging. Jika evaluasi gagal, log error akan dihasilkan. Anda dapat menemukan log ini di Logs Explorer dengan menelusuri ID pemantau Anda, atau untuk pelacakan dan agen tertentu:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"