Melihat metrik DCGM Inferensi Vertex AI

Halaman ini membahas cara mempelajari metrik NVIDIA Data Center GPU Manager (DCGM) yang terkait dengan endpoint Vertex AI Inference Anda.

Apa itu DCGM

NVIDIA Data Center GPU Manager (DCGM) adalah serangkaian alat dari NVIDIA yang memungkinkan Anda mengelola dan memantau GPU NVIDIA. Vertex AI Inference otomatis mengekspor metrik DCGM Gemini Enterprise Agent Platform ke Cloud Monitoring jika endpoint Anda menggunakan GPU yang didukung. Metrik tersebut memberikan tampilan komprehensif tentang pemakaian, performa, dan kondisi GPU.

Prasyarat

Sebelum memulai, pastikan project Anda telah mengaktifkan Cloud Monitoring. Lihat Mengaktifkan Cloud Monitoring API untuk mengetahui informasi selengkapnya.

Menggunakan metrik DCGM

Untuk melihat metrik DCGM di Metrics Explorer, lakukan hal berikut:

  1. Buka halaman Metrics Explorer di konsol Google Cloud .

    Buka Metrics Explorer

  2. Di bagian Select a metric, pilih Prometheus Target.

  3. Di bagian Active metric categories, pilih Vertex.

  4. Di bagian Active metrics, pilih metrik yang diinginkan.

  5. Klik Terapkan.

Anda juga dapat membuat kueri metrik menggunakan Grafana, atau API atau UI Prometheus.

Kuota

Metrik DCGM menggunakan kuota Permintaan penyerapan deret waktu per menit dari Cloud Monitoring API. Sebelum mengaktifkan paket metrik, periksa penggunaan puncak terbaru Anda untuk kuota tersebut. Jika Anda sudah mendekati batas kuota tersebut, Anda dapat meminta peningkatan batas kuota.

Metrik DCGM Gemini Enterprise Agent Platform

Nama metrik Cloud Monitoring dalam tabel ini harus diawali dengan prometheus.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel.

Bersama dengan label pada resource yang dimonitor prometheus_target, semua metrik DCGM yang dikumpulkan di Gemini Enterprise Agent Platform memiliki label berikut yang dilampirkan:

Label GPU:

  • gpu_model: model perangkat GPU, seperti NVIDIA L4.
  • gpu_uuid: UUID perangkat GPU.
  • gpu_i_id: ID instance Multi-Instance GPU (MIG) NVIDIA.

Label Gemini Enterprise Agent Platform:

  • deployed_model_id: ID model yang di-deploy yang menyajikan permintaan inferensi.
  • model_display_name: nama tampilan model yang di-deploy.
  • replica_id: ID unik yang sesuai dengan replika model yang di-deploy (nama pod).
  • endpoint_id: ID endpoint model.
  • endpoint_display_name: nama tampilan endpoint model.
  • product: nama fitur di Gemini Enterprise Agent Platform. Nilai ini selalu Online Inference.
Nama metrik PromQL
Nama metrik Cloud Monitoring
Jenis, Tipe, Unit
Resource yang dimonitor 		Deskripsi
vertex_dcgm_fi_dev_fb_free
vertex_dcgm_fi_dev_fb_free/gauge
GAUGE, DOUBLE, 1 prometheus_target Buffer Frame Kosong dalam MB.
vertex_dcgm_fi_dev_fb_total
vertex_dcgm_fi_dev_fb_total/gauge
GAUGE, DOUBLE, 1 prometheus_target Total Buffer Frame GPU dalam MB.
vertex_dcgm_fi_dev_fb_used
vertex_dcgm_fi_dev_fb_used/gauge
GAUGE, DOUBLE, 1 prometheus_target Buffer Frame yang Digunakan dalam MB.
vertex_dcgm_fi_dev_gpu_temp
vertex_dcgm_fi_dev_gpu_temp/gauge
GAUGE, DOUBLE, 1 prometheus_target Pembacaan suhu saat ini untuk perangkat (dalam °C).
vertex_dcgm_fi_dev_gpu_util
vertex_dcgm_fi_dev_gpu_util/gauge
GAUGE, DOUBLE, 1 prometheus_target Pemakaian GPU (dalam %).
vertex_dcgm_fi_dev_mem_copy_util
vertex_dcgm_fi_dev_mem_copy_util/gauge
GAUGE, DOUBLE, 1 prometheus_target Penggunaan memori (dalam %).
vertex_dcgm_fi_dev_memory_temp
vertex_dcgm_fi_dev_memory_temp/gauge
GAUGE, DOUBLE, 1 prometheus_target Suhu memori untuk perangkat (dalam °C).
vertex_dcgm_fi_dev_power_usage
vertex_dcgm_fi_dev_power_usage/gauge
GAUGE, DOUBLE, 1 prometheus_target Penggunaan daya untuk perangkat (dalam Watt).
vertex_dcgm_fi_dev_sm_clock
vertex_dcgm_fi_dev_sm_clock/gauge
GAUGE, DOUBLE, 1 prometheus_target Frekuensi clock SM (dalam MHz).
vertex_dcgm_fi_dev_total_energy_consumption
vertex_dcgm_fi_dev_total_energy_consumption/counter
CUMULATIVE, DOUBLE, 1 prometheus_target Total konsumsi energi untuk GPU dalam mJ sejak driver terakhir dimuat ulang.
vertex_dcgm_fi_prof_dram_active
vertex_dcgm_fi_prof_dram_active/gauge
GAUGE, DOUBLE, 1 prometheus_target Rasio siklus antarmuka memori perangkat aktif mengirim atau menerima data.
vertex_dcgm_fi_prof_gr_engine_active
vertex_dcgm_fi_prof_gr_engine_active/gauge
GAUGE, DOUBLE, 1 prometheus_target Rasio waktu aktif mesin grafis.
vertex_dcgm_fi_prof_nvlink_rx_bytes
vertex_dcgm_fi_prof_nvlink_rx_bytes/gauge
GAUGE, DOUBLE, 1 prometheus_target Kecepatan data rx (baca) NvLink aktif dalam byte, termasuk header dan payload.
vertex_dcgm_fi_prof_nvlink_tx_bytes
vertex_dcgm_fi_prof_nvlink_tx_bytes/gauge
GAUGE, DOUBLE, 1 prometheus_target Kecepatan data tx (transmisi) NvLink aktif dalam byte, termasuk header dan payload.
vertex_dcgm_fi_prof_pcie_rx_bytes
vertex_dcgm_fi_prof_pcie_rx_bytes/gauge
GAUGE, DOUBLE, 1 prometheus_target Kecepatan data rx (baca) PCIe aktif dalam byte, termasuk header dan payload.
vertex_dcgm_fi_prof_pcie_tx_bytes
vertex_dcgm_fi_prof_pcie_tx_bytes/gauge
GAUGE, DOUBLE, 1 prometheus_target Kecepatan data tx (transmisi) PCIe aktif dalam byte, termasuk header dan payload.
vertex_dcgm_fi_prof_pipe_fp16_active
vertex_dcgm_fi_prof_pipe_fp16_active/gauge
GAUGE, DOUBLE, 1 prometheus_target Rasio siklus saat pipa fp16 aktif.
vertex_dcgm_fi_prof_pipe_fp32_active
vertex_dcgm_fi_prof_pipe_fp32_active/gauge
GAUGE, DOUBLE, 1 prometheus_target Rasio siklus saat pipa fp32 aktif.
vertex_dcgm_fi_prof_pipe_fp64_active
vertex_dcgm_fi_prof_pipe_fp64_active/gauge
GAUGE, DOUBLE, 1 prometheus_target Rasio siklus saat pipa fp64 aktif.
vertex_dcgm_fi_prof_pipe_tensor_active
vertex_dcgm_fi_prof_pipe_tensor_active/gauge
GAUGE, DOUBLE, 1 prometheus_target Rasio siklus saat pipa tensor aktif.
vertex_dcgm_fi_prof_sm_active
vertex_dcgm_fi_prof_sm_active/gauge
GAUGE, DOUBLE, 1 prometheus_target Rasio siklus yang dimiliki SM dengan setidaknya 1 warp yang ditetapkan.

GPU yang didukung

Semua GPU NVIDIA didukung, kecuali yang berikut ini, karena batasan resource:

  1. NVIDIA P100
  2. NVIDIA V100
  3. NVIDIA P4
  4. NVIDIA T4

Langkah berikutnya