Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Visualizza le metriche DCGM di Vertex AI Inference

Questa pagina spiega come esplorare le metriche di NVIDIA Data Center GPU Manager (DCGM) associate agli endpoint di Vertex AI Inference.

Che cos'è DCGM

NVIDIA Data Center GPU Manager (DCGM) è un insieme di strumenti di NVIDIA che ti consente di gestire e monitorare le GPU NVIDIA. Vertex AI Inference esporta automaticamente le metriche DCGM di Gemini Enterprise Agent Platform in Cloud Monitoring se i tuoi endpoint utilizzano GPU supportate. Queste metriche forniscono una visione completa dell'utilizzo, delle prestazioni e dello stato della GPU.

Prerequisiti

Prima di iniziare, assicurati che Cloud Monitoring sia abilitato per il tuo progetto. Per saperne di più, consulta Abilita l'API Cloud Monitoring.

Utilizza le metriche DCGM

Per visualizzare le metriche DCGM in Metrics Explorer, segui questi passaggi:

Vai alla pagina Esplora metriche nella console Google Cloud .

Vai a Esplora metriche
In Seleziona una metrica, seleziona Prometheus Target.
In Categorie di metriche attive, seleziona Vertex.
In Metriche attive, seleziona la metrica che ti interessa.
Fai clic su Applica.

Puoi anche eseguire query sulle metriche utilizzando Grafana o l'API o la UI di Prometheus.

Quota

Le metriche DCGM consumano la quota di richieste di importazione di serie temporali al minuto dell'API Cloud Monitoring. Prima di attivare i pacchetti di metriche, controlla l'utilizzo di picco recente di questa quota. Se stai già per raggiungere il limite di quota, puoi richiedere un aumento del limite di quota.

Metriche DCGM di Gemini Enterprise Agent Platform

I nomi delle metriche di Cloud Monitoring in questa tabella devono avere il prefisso prometheus.googleapis.com/. Questo prefisso è stato omesso dalle voci della tabella.

Oltre alle etichette sulla risorsa monitorata prometheus_target, tutte le metriche DCGM raccolte su Gemini Enterprise Agent Platform hanno le seguenti etichette:

Etichette GPU:

gpu_model: il modello di dispositivo GPU, ad esempio NVIDIA L4.
gpu_uuid: l'UUID del dispositivo GPU.
gpu_i_id: l'ID istanza della GPU multi-istanza (MIG) NVIDIA.

Etichette di Gemini Enterprise Agent Platform:

deployed_model_id: l'ID di un modello di cui è stato eseguito il deployment che gestisce le richieste di inferenza.
model_display_name: il nome visualizzato di un modello di cui è stato eseguito il deployment.
replica_id: l'ID univoco corrispondente alla replica del modello di cui è stato eseguito il deployment (nome del pod).
endpoint_id: l'ID di un endpoint del modello.
endpoint_display_name: il nome visualizzato di un endpoint del modello.
product: il nome della funzionalità in Gemini Enterprise Agent Platform. Questo valore è sempre Online Inference.

Nome della metrica PromQL Nome della metrica Cloud Monitoring
Tipo, tipo, unità Risorse monitorate	Descrizione
`vertex_dcgm_fi_dev_fb_free` `vertex_dcgm_fi_dev_fb_free/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Buffer di frame libero in MB.
`vertex_dcgm_fi_dev_fb_total` `vertex_dcgm_fi_dev_fb_total/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Framebuffer totale della GPU in MB.
`vertex_dcgm_fi_dev_fb_used` `vertex_dcgm_fi_dev_fb_used/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Frame buffer utilizzato in MB.
`vertex_dcgm_fi_dev_gpu_temp` `vertex_dcgm_fi_dev_gpu_temp/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Letture della temperatura attuale del dispositivo (in °C).
`vertex_dcgm_fi_dev_gpu_util` `vertex_dcgm_fi_dev_gpu_util/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Utilizzo della GPU (in %).
`vertex_dcgm_fi_dev_mem_copy_util` `vertex_dcgm_fi_dev_mem_copy_util/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Utilizzo della memoria (in %).
`vertex_dcgm_fi_dev_memory_temp` `vertex_dcgm_fi_dev_memory_temp/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Temperatura della memoria del dispositivo (in °C).
`vertex_dcgm_fi_dev_power_usage` `vertex_dcgm_fi_dev_power_usage/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Consumo di energia del dispositivo (in watt).
`vertex_dcgm_fi_dev_sm_clock` `vertex_dcgm_fi_dev_sm_clock/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Frequenza di clock SM (in MHz).
`vertex_dcgm_fi_dev_total_energy_consumption` `vertex_dcgm_fi_dev_total_energy_consumption/counter`
`CUMULATIVE`, `DOUBLE`, `1` prometheus_target	Consumo energetico totale della GPU in mJ dall'ultimo ricaricamento del driver.
`vertex_dcgm_fi_prof_dram_active` `vertex_dcgm_fi_prof_dram_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Il rapporto tra i cicli in cui l'interfaccia di memoria del dispositivo è attiva e invia o riceve dati.
`vertex_dcgm_fi_prof_gr_engine_active` `vertex_dcgm_fi_prof_gr_engine_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Il rapporto di tempo in cui il motore grafico è attivo.
`vertex_dcgm_fi_prof_nvlink_rx_bytes` `vertex_dcgm_fi_prof_nvlink_rx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	La frequenza dei dati rx (lettura) NvLink attivi in byte, inclusi sia l'intestazione che il payload.
`vertex_dcgm_fi_prof_nvlink_tx_bytes` `vertex_dcgm_fi_prof_nvlink_tx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	La frequenza dei dati tx (trasmissione) NvLink attivi in byte, inclusi intestazione e payload.
`vertex_dcgm_fi_prof_pcie_rx_bytes` `vertex_dcgm_fi_prof_pcie_rx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	La frequenza dei dati PCIe rx (lettura) attivi in byte, inclusi intestazione e payload.
`vertex_dcgm_fi_prof_pcie_tx_bytes` `vertex_dcgm_fi_prof_pcie_tx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	La frequenza dei dati PCIe tx (trasmissione) attivi in byte, inclusi sia l'intestazione che il payload.
`vertex_dcgm_fi_prof_pipe_fp16_active` `vertex_dcgm_fi_prof_pipe_fp16_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Il rapporto tra i cicli in cui la pipeline fp16 è attiva.
`vertex_dcgm_fi_prof_pipe_fp32_active` `vertex_dcgm_fi_prof_pipe_fp32_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Il rapporto tra i cicli in cui la pipeline fp32 è attiva.
`vertex_dcgm_fi_prof_pipe_fp64_active` `vertex_dcgm_fi_prof_pipe_fp64_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Il rapporto tra i cicli in cui la pipe fp64 è attiva.
`vertex_dcgm_fi_prof_pipe_tensor_active` `vertex_dcgm_fi_prof_pipe_tensor_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Il rapporto tra i cicli in cui una pipeline di tensori è attiva.
`vertex_dcgm_fi_prof_sm_active` `vertex_dcgm_fi_prof_sm_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Il rapporto tra i cicli in cui un SM ha almeno un warp assegnato.

GPU supportate

Sono supportate tutte le GPU NVIDIA, ad eccezione delle seguenti, a causa di vincoli di risorse:

Passaggi successivi

Scopri di più su Esplora metriche.

Visualizza le metriche DCGM di Vertex AI Inference Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.