Visualizza AI AutoMetrics di Vertex AI Inference

Questo documento descrive come utilizzare AI AutoMetrics per monitorare i workload AI su Gemini Enterprise Agent Platform.

AI AutoMetrics ti consente di monitorare le prestazioni e l'integrità dei tuoi modelli con una configurazione minima. Questa funzionalità è progettata per fornirti insight immediati sui container e sui modelli personalizzati in esecuzione su Vertex AI Inference.

Prima di iniziare

  1. Assicurati di avere un endpoint Gemini Enterprise Agent Platform con un modello di cui è stato eseguito il deployment che utilizza un container con framework supportati.
  2. Assicurati che Cloud Monitoring sia abilitato per il tuo progetto. Per saperne di più, consulta Abilita l'API Cloud Monitoring.

Utilizza AI AutoMetrics

Per visualizzare AI AutoMetrics in Metrics Explorer, segui questi passaggi:

  1. Vai alla pagina Esplora metriche nella console Google Cloud .

    Vai a Esplora metriche

  2. In Seleziona una metrica, seleziona Prometheus Target.

  3. In Categorie di metriche attive, seleziona Vertex.

  4. In Metriche attive, seleziona la metrica che ti interessa.

  5. Fai clic su Applica.

Puoi anche eseguire query sulle metriche utilizzando Grafana o l'API o la UI di Prometheus.

Framework supportati

AI AutoMetrics supporta i seguenti framework:

Framework Endpoint qualificato Metriche qualificate
vLLM Endpoint /metrics compatibile con Prometheus Metriche con prefisso vllm:

Come funziona

Gemini Enterprise Agent Platform esegue automaticamente lo scraping dell'endpoint /metrics del tuo container a un intervallo predefinito. Tutte le metriche idonee vengono poi esportate inGoogle Cloud Google Cloud Managed Service per Prometheus, dove puoi analizzarle e visualizzarle.

Nomi ed etichette delle metriche

Le metriche raccolte da AI AutoMetrics vengono importate in Cloud Monitoring con la convenzione di denominazione vertex_*.

Per semplificare l'applicazione di filtri e il raggruppamento, AI AutoMetrics associa automaticamente le seguenti etichette aggiuntive di Gemini Enterprise Agent Platform a ogni metrica:

  • deployed_model_id: l'ID di un modello di cui è stato eseguito il deployment che gestisce le richieste di inferenza.
  • model_display_name: il nome visualizzato di un modello di cui è stato eseguito il deployment.
  • replica_id: l'ID univoco corrispondente alla replica del modello di cui è stato eseguito il deployment (nome del pod).
  • endpoint_id: l'ID di un endpoint del modello.
  • endpoint_display_name: il nome visualizzato di un endpoint del modello.
  • product: il nome della funzionalità in Gemini Enterprise Agent Platform. Questo è sempre Inferenza online.

Passaggi successivi