Melihat Metrik Otomatis AI Inferensi Vertex AI

Dokumen ini menjelaskan cara menggunakan AI AutoMetrics untuk memantau workload AI Anda di Gemini Enterprise Agent Platform.

AI AutoMetrics memungkinkan Anda memantau performa dan kondisi model dengan konfigurasi minimal. Fitur ini dirancang untuk memberi Anda insight langsung tentang container dan model kustom yang berjalan di Vertex AI Inference.

Sebelum memulai

  1. Pastikan Anda memiliki endpoint Gemini Enterprise Agent Platform dengan model yang di-deploy yang menggunakan container dengan framework yang didukung.
  2. Pastikan project Anda telah mengaktifkan Cloud Monitoring. Lihat Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Cloud Monitoring API.

Menggunakan AI AutoMetrics

Untuk melihat AI AutoMetrics di Metrics Explorer, lakukan hal berikut:

  1. Buka halaman Metrics Explorer di konsol Google Cloud .

    Buka Metrics Explorer

  2. Di bagian Select a metric, pilih Prometheus Target.

  3. Di bagian Active metric categories, pilih Vertex.

  4. Di bagian Active metrics, pilih metrik yang diinginkan.

  5. Klik Terapkan.

Anda juga dapat membuat kueri metrik menggunakan Grafana, atau API atau UI Prometheus.

Framework yang Didukung

AI AutoMetrics mendukung framework berikut:

Framework Endpoint yang memenuhi syarat Metrik yang memenuhi syarat
vLLM Endpoint /metrics yang kompatibel dengan Prometheus Metrik dengan awalan vllm:

Cara kerjanya

Gemini Enterprise Agent Platform otomatis meng-scrape endpoint /metrics container Anda pada interval yang telah ditentukan. Semua metrik yang memenuhi syarat kemudian diekspor ke Google Cloud Google Cloud Managed Service for Prometheus, tempat Anda dapat menganalisis dan memvisualisasikannya.

Penamaan dan label metrik

Metrik yang dikumpulkan oleh AI AutoMetrics diserap ke dalam Cloud Monitoring dengan konvensi penamaan vertex_*.

Untuk memudahkan pemfilteran dan pengelompokan, AI AutoMetrics otomatis melampirkan label Gemini Enterprise Agent Platform tambahan berikut ke setiap metrik:

  • deployed_model_id: ID model yang di-deploy yang menyajikan permintaan inferensi.
  • model_display_name: nama tampilan model yang di-deploy.
  • replica_id: ID unik yang sesuai dengan replika model yang di-deploy (nama pod).
  • endpoint_id: ID endpoint model.
  • endpoint_display_name: nama tampilan endpoint model.
  • product: nama fitur di Gemini Enterprise Agent Platform. Ini selalu berupa Inferensi Online.

Langkah berikutnya