Memantau model

Dokumen ini menjelaskan cara memantau perilaku, kondisi, dan performa model terkelola sepenuhnya di Gemini Enterprise Agent Platform. Dokumen ini menjelaskan cara menggunakan dasbor kemampuan observasi model bawaan untuk mendapatkan insight tentang penggunaan model, mengidentifikasi masalah latensi, dan memecahkan masalah error.

Anda akan mempelajari cara melakukan hal berikut:

  • Mengakses dan menafsirkan dasbor kemampuan observasi model.
  • Melihat metrik pemantauan yang tersedia.
  • Memantau traffic endpoint model menggunakan Metrics Explorer.

Mengakses dan menafsirkan dasbor kemampuan observasi model

AI Generatif di Gemini Enterprise Agent Platform menyediakan dasbor kemampuan observasi model bawaan untuk melihat perilaku, kondisi, dan performa model terkelola sepenuhnya. Model terkelola sepenuhnya, yang juga dikenal sebagai Model as a Service (MaaS), disediakan oleh Google dan mencakup model Gemini Google dan model partner dengan endpoint terkelola. Metrik dari model yang dihosting sendiri tidak disertakan dalam dasbor.

AI Generatif di Gemini Enterprise Agent Platform secara otomatis mengumpulkan dan melaporkan aktivitas dari model MaaS untuk membantu Anda memecahkan masalah latensi dan memantau kapasitas dengan cepat.

Contoh dasbor pengamatan model di Konsol Cloud
Contoh dasbor kemampuan observasi model

Kasus penggunaan

Sebagai developer aplikasi, Anda dapat melihat cara pengguna berinteraksi dengan model yang telah Anda ekspos. Misalnya, Anda dapat melihat tren penggunaan model (permintaan model per detik) dan intensitas komputasi perintah pengguna (latensi pemanggilan model) dari waktu ke waktu. Oleh karena itu, karena metrik ini terkait dengan penggunaan model, Anda juga dapat memperkirakan biaya untuk menjalankan setiap model.

Jika terjadi masalah, Anda dapat memecahkan masalah dengan cepat dari dasbor. Anda dapat memeriksa apakah model merespons dengan andal dan tepat waktu dengan melihat tingkat error API, latensi token pertama, dan throughput token.

Metrik pemantauan yang tersedia

Dasbor kemampuan observasi model menampilkan subkumpulan metrik yang dikumpulkan oleh Cloud Monitoring, seperti permintaan model per detik (QPS), throughput token, dan latensi token pertama. Lihat dasbor untuk melihat semua metrik yang tersedia.

Batasan

Agent Platform hanya menangkap metrik dasbor untuk panggilan API ke endpoint model. Google Cloud Penggunaan konsol, seperti metrik dari Vertex AI Studio, tidak ditambahkan ke dasbor.

Melihat dasbor

  1. Di bagian Agent Platform di Google Cloud konsol, buka halaman Dashboard.

Buka Agent Platform 1. Di dasbor, di bagian Model observability, klik Show all metrics untuk melihat dasbor kemampuan observasi model di konsol Google Cloud Observability.

  1. Untuk melihat metrik untuk model tertentu atau di lokasi tertentu, tetapkan satu atau beberapa filter di bagian atas halaman dasbor.

    Untuk mengetahui deskripsi setiap metrik, lihat bagian "aiplatform" di halaman Google Cloud metrik.

Memantau traffic endpoint model

Gunakan petunjuk berikut untuk memantau traffic ke endpoint Anda di Metrics Explorer.

  1. Di Google Cloud konsol, buka halaman Metrics Explorer.

    Buka Metrics Explorer

  2. Pilih project yang metriknya ingin Anda lihat.

  3. Dari menu drop-down Metric, klik Select a metric.

  4. Di kotak penelusuran Filter by resource or metric name, masukkan Gemini Enterprise Agent Platform Endpoint.

  5. Pilih kategori metrik Agent Platform Endpoint > Prediction. Di bagian Active metrics, pilih salah satu metrik berikut:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Klik Apply. Untuk menambahkan lebih dari satu metrik, klik Add query.

    Anda dapat memfilter atau menggabungkan metrik menggunakan menu drop-down berikut:

    • Untuk memilih dan melihat subkumpulan data berdasarkan kriteria yang ditentukan, gunakan menu drop-down Filter. Misalnya, untuk memfilter model gemini-2.0-flash-001, gunakan endpoint_id = gemini-2p0-flash-001 (perhatikan bahwa . dalam versi model diganti dengan p).

    • Untuk menggabungkan beberapa titik data menjadi satu nilai dan melihat tampilan ringkasan metrik, gunakan menu drop-down Aggregation. Misalnya, Anda dapat menggabungkan Sum dari response_code.

  6. Secara opsional, Anda dapat menyiapkan pemberitahuan untuk endpoint. Untuk mengetahui informasi selengkapnya, lihat Mengelola kebijakan pemberitahuan.

Untuk melihat metrik yang Anda tambahkan ke project menggunakan dasbor, lihat Ringkasan dasbor.

Langkah berikutnya