Melihat Metrik Otomatis AI Inferensi Vertex AI

Dokumen ini menjelaskan cara menggunakan AI AutoMetrics untuk memantau workload AI Anda di Gemini Enterprise Agent Platform.

AI AutoMetrics memungkinkan Anda memantau performa dan kondisi model dengan konfigurasi minimal. Fitur ini dirancang untuk memberi Anda insight langsung tentang container dan model kustom yang berjalan di Vertex AI Inference.

Sebelum memulai

  1. Pastikan Anda memiliki a endpoint Gemini Enterprise Agent Platform dengan model yang di-deploy yang menggunakan a container dengan framework yang didukung.
  2. Pastikan project Anda telah mengaktifkan Cloud Monitoring. Lihat Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Monitoring API.

Menggunakan AI AutoMetrics

Untuk melihat AI AutoMetrics di Metrics Explorer, lakukan hal berikut:

  1. Buka halaman Metrics Explorer di Google Cloud konsol.

    Buka Metrics Explorer

  2. Di bagian Select a metric, pilih Prometheus Target.

  3. Di bagian Active metric categories, pilih Vertex.

  4. Di bagian Active metrics, pilih metrik yang diinginkan.

  5. Klik Apply.

Anda juga dapat membuat kueri metrik menggunakan Grafana, atau Prometheus API atau UI.

Framework yang Didukung

AI AutoMetrics mendukung framework berikut:

Framework Endpoint yang memenuhi syarat Metrik yang memenuhi syarat
vLLM Endpoint /metrics yang kompatibel dengan Prometheus Metrik dengan awalan vllm:

Cara kerjanya

Gemini Enterprise Agent Platform secara otomatis mengambil data endpoint /metrics container Anda pada interval yang telah ditentukan. Semua metrik yang memenuhi syarat kemudian diekspor ke Google Cloud Google Cloud Managed Service for Prometheus, tempat Anda dapat menganalisis dan memvisualisasikannya.

Penamaan dan label metrik

Metrik yang dikumpulkan oleh AI AutoMetrics dimasukkan ke Cloud Monitoring dengan konvensi penamaan vertex_*.

Untuk mempermudah pemfilteran dan pengelompokan, AI AutoMetrics secara otomatis melampirkan label Gemini Enterprise Agent Platform tambahan berikut ke setiap metrik:

  • deployed_model_id: ID model yang di-deploy yang menayangkan permintaan inferensi.
  • model_display_name: nama tampilan model yang di-deploy.
  • replica_id: ID unik yang sesuai dengan replika model yang di-deploy (nama pod).
  • endpoint_id: ID endpoint model.
  • endpoint_display_name: nama tampilan endpoint model.
  • product: nama fitur di Gemini Enterprise Agent Platform. Nama ini selalu Online Inference.

Langkah berikutnya