Kemampuan observasi agen

Dalam lanskap AI yang berkembang pesat, membangun dan men-deploy agen menghadirkan tantangan unik. Agen AI dapat menyimpang, berhalusinasi, dan mengalami regresi secara diam-diam. Agen AI dapat membuat keputusan dan melakukan tindakan yang tidak Anda duga. Agen juga dapat gagal dengan cara yang berbeda dari software non-agen. Observabilitas agen mengacu pada metode untuk mendapatkan insight tentang status dan perilaku internal agen software, terutama agen yang didukung AI seperti yang dibuat menggunakan Model Bahasa Besar (LLM).

Manfaat observabilitas agen

Karena agen AI bersifat non-deterministik dan kompleks, kemampuan observasi sangat penting untuk memahami, men-debug, mengevaluasi, dan meningkatkan performa, keamanan, dan keandalannya.

Aspek utama observabilitas agen mencakup pemantauan dan analisis hal-hal berikut:

  • Interaksi LLM: Lacak perintah, respons, penggunaan token, latensi, dan tingkat error.
  • Penggunaan alat: Pantau alat dan API eksternal yang berinteraksi dengan agen, termasuk jumlah panggilan, keberhasilan atau kegagalan, latensi, dan data yang dipertukarkan.
  • Perilaku dan penalaran agen: Pahami proses pengambilan keputusan agen, urutan langkah yang diambil, dan perubahan status internal.
  • Performa: Mengukur latensi end-to-end pemanggilan agen, latensi langkah-langkah individual, dan konsumsi resource, yang sering kali melibatkan pelacakan mendetail.
  • Keamanan dan keselamatan: Lacak penegakan kebijakan, identifikasi operasi berisiko, analisis keamanan konten, dan pantau pola akses.
  • Kualitas dan evaluasi: Menilai kebenaran, faktualitas, kegunaan, dan kualitas keseluruhan output agen, yang sering kali terintegrasi dengan framework evaluasi.

Apa yang dimaksud dengan observabilitas agen dalam Google Cloud?

Pemantauan Aplikasi di Google Cloud menyediakan observabilitas agen dan observabilitas aplikasi. Layanan ini menyediakan dasbor dan peta topologi yang memungkinkan Anda memahami kondisi dan performa aplikasi, layanan, dan workload App Hub Anda. Dasbor ini juga menghasilkan dan menampilkan metrik seperti rasio error dan penggunaan token untuk resource AI. Untuk membuat metrik ini, Pemantauan Aplikasi memfilter dan menggabungkan data trace Anda menggunakan label dan peristiwa khusus aplikasi yang mengikuti konvensi semantik GenAI OpenTelemetry.

Untuk observabilitas agen, sebaiknya bangun agen Anda dengan framework Agent Development Kit (ADK). Karena ADK mengandalkan OpenTelemetry, telemetri yang dihasilkan ADK konsisten dengan konvensi semantik GenAI OpenTelemetry.

Untuk men-debug kegagalan, memantau biaya, atau menganalisis perilaku agen—termasuk dari Gemini Enterprise Agent Platform, Agent Gateway, dan agen Model Armor—Anda memerlukan data log, metrik, dan trace:

  • Log memberikan informasi tentang peristiwa dan error.
  • Metrik memungkinkan Anda memantau latensi dan penggunaan token.
  • Trace memberikan informasi tentang jalur eksekusi, dan dianalisis untuk mendapatkan metrik seperti jumlah panggilan model atau total penggunaan token. Metrik turunan ini memberikan visibilitas terkait performa dan perilaku agen. Untuk mengetahui informasi selengkapnya, lihat Melihat resource AI.
  • Data perintah dan respons memungkinkan Anda menilai kualitas dan pengambilan keputusan agen menggunakan layanan evaluasi AI Generatif.

Dasbor Pemantauan Aplikasi untuk aplikasi menampilkan daftar layanan dan workload aplikasi, seperti aplikasi Gemini Enterprise, agen Gemini Enterprise Agent Platform, dan server MCP:

Ringkasan yang mencantumkan layanan dan workload dalam aplikasi.

Anda dapat mengidentifikasi layanan dan workload agentic menggunakan jenis infrastruktur atau jenis fungsional App Hub. Kolom jenis fungsional disembunyikan secara default.

Mulai menggunakan observabilitas agen

Langkah berikutnya

  • Untuk mengetahui informasi tentang cara mengamankan dan mengatur agen Anda, lihat Mengatur agen Anda.