Memantau model

Dokumen ini menjelaskan cara memantau perilaku, kesehatan, dan performa model terkelola sepenuhnya di Gemini Enterprise Agent Platform. Dokumen ini menjelaskan cara menggunakan dasbor kemampuan observasi model bawaan untuk mendapatkan insight tentang penggunaan model, mengidentifikasi masalah latensi, dan memecahkan masalah error.

Anda akan mempelajari cara melakukan hal berikut:

  • Mengakses dan menafsirkan dasbor kemampuan observasi model.
  • Melihat metrik pemantauan yang tersedia.
  • Memantau traffic endpoint model menggunakan Metrics Explorer.

Mengakses dan menafsirkan dasbor kemampuan observasi model

Agent Platform menyediakan dasbor kemampuan observasi model bawaan untuk melihat perilaku, kesehatan, dan performa model terkelola sepenuhnya. Model terkelola sepenuhnya, yang juga dikenal sebagai Model as a Service (MaaS), disediakan oleh Google dan mencakup model Gemini Google dan model partner dengan endpoint terkelola. Metrik dari model yang dihosting sendiri tidak disertakan dalam dasbor.

Agent Platform secara otomatis mengumpulkan dan melaporkan aktivitas dari model MaaS untuk membantu Anda memecahkan masalah latensi dan memantau kapasitas dengan cepat.

Contoh dasbor pengamatan model di Konsol Cloud
Contoh dasbor kemampuan observasi model

Kasus penggunaan

Sebagai developer aplikasi, Anda dapat melihat cara pengguna berinteraksi dengan model yang telah Anda ekspos. Misalnya, Anda dapat melihat tren penggunaan model (permintaan model per detik) dan intensitas komputasi perintah pengguna (latensi pemanggilan model) dari waktu ke waktu. Oleh karena itu, karena metrik ini terkait dengan penggunaan model, Anda juga dapat memperkirakan biaya untuk menjalankan setiap model.

Jika terjadi masalah, Anda dapat memecahkan masalah dengan cepat dari dasbor. Anda dapat memeriksa apakah model merespons dengan andal dan tepat waktu dengan melihat tingkat error API, latensi token pertama, dan throughput token.

Metrik pemantauan yang tersedia

Dasbor kemampuan observasi model menampilkan subset metrik yang dikumpulkan oleh Cloud Monitoring, seperti permintaan model per detik (QPS), throughput token, dan latensi token pertama. Lihat dasbor untuk melihat semua metrik yang tersedia.

Batasan

Agent Platform hanya mengambil metrik dasbor untuk panggilan API ke endpoint model. Google Cloud Penggunaan konsol, seperti metrik dari Agent Studio, tidak ditambahkan ke dasbor.

Melihat dasbor

  1. Di bagian Agent Platform di Google Cloud konsol, buka halaman Dashboard.

Buka Agent Platform 1. Di dasbor, di bagian Kemampuan observasi model, klik Tampilkan semua metrik untuk melihat dasbor kemampuan observasi model di konsol Google Cloud Observability.

  1. Untuk melihat metrik untuk model tertentu atau di lokasi tertentu, tetapkan satu atau beberapa filter di bagian atas halaman dasbor.

    Untuk mengetahui deskripsi setiap metrik, lihat bagian "aiplatform" di halaman Google Cloud metrik.

Memantau traffic endpoint model

Gunakan petunjuk berikut untuk memantau traffic ke endpoint Anda di Metrics Explorer.

  1. Di Google Cloud konsol, buka halaman Metrics Explorer.

    Buka Metrics Explorer

  2. Pilih project yang metriknya ingin Anda lihat.

  3. Dari menu drop-down Metric, klik Select a metric.

  4. Di kolom penelusuran Filter by resource or metric name, masukkan Gemini Enterprise Agent Platform Endpoint.

  5. Pilih kategori metrik Agent Platform Endpoint > Prediction. Di bagian Active metrics, pilih salah satu metrik berikut:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Klik Terapkan. Untuk menambahkan lebih dari satu metrik, klik Tambahkan kueri.

    Anda dapat memfilter atau menggabungkan metrik menggunakan menu drop-down berikut:

    • Untuk memilih dan melihat subset data berdasarkan kriteria yang ditentukan, gunakan menu drop-down Filter. Misalnya, untuk memfilter model gemini-2.0-flash-001, gunakan endpoint_id = gemini-2p0-flash-001 (perhatikan bahwa . dalam versi model diganti dengan p).

    • Untuk menggabungkan beberapa titik data menjadi satu nilai dan melihat ringkasan metrik, gunakan menu drop-down Aggregation. Misalnya, Anda dapat menggabungkan Sum dari response_code.

  6. Secara opsional, Anda dapat menyiapkan pemberitahuan untuk endpoint. Untuk mengetahui informasi selengkapnya, lihat Mengelola kebijakan pemberitahuan.

Untuk melihat metrik yang Anda tambahkan ke project menggunakan dasbor, lihat Ringkasan dasbor.

Langkah berikutnya