Melihat Metrik Otomatis AI Inferensi Vertex AI

Dokumen ini menjelaskan cara menggunakan AI AutoMetrics untuk memantau beban kerja AI Anda di Vertex AI.

AI AutoMetrics memungkinkan Anda memantau performa dan kondisi model dengan konfigurasi minimal. Fitur ini dirancang untuk memberi Anda insight langsung tentang container dan model kustom yang berjalan di Vertex AI Inference.

Sebelum memulai

  1. Pastikan Anda memiliki endpoint Vertex AI dengan model yang di-deploy yang menggunakan penampung dengan framework yang didukung.
  2. Pastikan project Anda telah mengaktifkan Cloud Monitoring. Lihat Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Monitoring API.

Menggunakan Metrik Otomatis AI

Untuk melihat AI AutoMetrics di Metrics Explorer, lakukan hal berikut:

  1. Buka halaman Metrics Explorer di konsol Google Cloud .

    Buka Metrics Explorer

  2. Di bagian Pilih metrik, pilih Target Prometheus.

  3. Di bagian Active metric categories, pilih Vertex.

  4. Di bagian Metrik aktif, pilih metrik yang diinginkan.

  5. Klik Terapkan.

Anda juga dapat membuat kueri metrik menggunakan Grafana, atau Prometheus API atau UI.

Framework yang Didukung

AI AutoMetrics mendukung framework berikut:

Framework Endpoint yang memenuhi syarat Metrik yang memenuhi syarat
vLLM Endpoint /metrics yang kompatibel dengan Prometheus Metrik dengan awalan vllm:

Cara kerjanya

Vertex AI otomatis meng-scraping endpoint /metrics container Anda pada interval yang telah ditentukan sebelumnya. Semua metrik yang memenuhi syarat kemudian diekspor ke Google Cloud Google Cloud Managed Service for Prometheus, tempat Anda dapat menganalisis dan memvisualisasikannya.

Penamaan dan label metrik

Metrik yang dikumpulkan oleh AI AutoMetrics dimasukkan ke Cloud Monitoring dengan konvensi penamaan vertex_*.

Untuk mempermudah pemfilteran dan pengelompokan, AI AutoMetrics secara otomatis melampirkan label Vertex AI tambahan berikut ke setiap metrik:

  • deployed_model_id: ID model yang di-deploy yang melayani permintaan inferensi.
  • model_display_name: nama tampilan model yang di-deploy.
  • replica_id: ID unik yang sesuai dengan replika model yang di-deploy (nama pod).
  • endpoint_id: ID endpoint model.
  • endpoint_display_name: nama tampilan endpoint model.
  • product: nama fitur di Vertex AI. Ini selalu berupa Inferensi Online.

Langkah berikutnya