AI AutoMetrics für Vertex AI Inference ansehen

In diesem Dokument wird beschrieben, wie Sie mit AI AutoMetrics Ihre KI-Arbeitslasten auf der Gemini Enterprise Agent Platform überwachen.

Mit AI AutoMetrics können Sie die Leistung und den Zustand Ihrer Modelle mit minimaler Konfiguration überwachen. Mit dieser Funktion erhalten Sie sofort Einblicke in Ihre benutzerdefinierten Container und Modelle, die in Vertex AI Inference ausgeführt werden.

Hinweis

  1. Sie benötigen einen Gemini Enterprise Agent Platform-Endpunkt mit einem bereitgestellten Modell, das einen Container mit unterstützten Frameworks verwendet.
  2. Achten Sie darauf, dass Cloud Monitoring für Ihr Projekt aktiviert ist. Weitere Informationen finden Sie unter Cloud Monitoring API aktivieren.

AI AutoMetrics verwenden

So rufen Sie AI AutoMetrics im Metrics Explorer auf:

  1. Rufen Sie in der Google Cloud Console die Seite Metrics Explorer auf.

    Zum Metrics Explorer

  2. Wählen Sie unter Messwert auswählen die Option Prometheus-Ziel aus.

  3. Wählen Sie unter Aktive Messwertkategorien die Option Vertex aus.

  4. Wählen Sie unter Aktive Messwerte den gewünschten Messwert aus.

  5. Klicken Sie auf Übernehmen.

Sie können Messwerte auch mit Grafana oder der Prometheus API oder UI abfragen.

Unterstützte Frameworks

AI AutoMetrics unterstützt die folgenden Frameworks:

Framework Qualifizierter Endpunkt Qualifizierte Messwerte
vLLM Prometheus-kompatibler /metrics-Endpunkt Messwerte mit dem Präfix vllm:

Funktionsweise

Die Gemini Enterprise Agent Platform liest den /metrics-Endpunkt Ihres Containers automatisch in einem vordefinierten Intervall aus. Alle qualifizierten Messwerte werden dann inGoogle Cloud Google Cloud Managed Service for Prometheus exportiert, wo Sie sie analysieren und visualisieren können.

Messwertnamen und -labels

Die von AI AutoMetrics erfassten Messwerte werden in Cloud Monitoring mit der Namenskonvention vertex_* aufgenommen.

Zur einfacheren Filterung und Gruppierung hängt AI AutoMetrics automatisch die folgenden zusätzlichen Gemini Enterprise Agent Platform-Labels an jeden Messwert an:

  • deployed_model_id: Die ID eines bereitgestellten Modells, das Inferenzanfragen verarbeitet.
  • model_display_name: der Anzeigename eines bereitgestellten Modells.
  • replica_id: die eindeutige ID, die dem bereitgestellten Modellreplikat (Pod-Name) entspricht.
  • endpoint_id: die ID eines Modellendpunkts.
  • endpoint_display_name: der Anzeigename eines Modellendpunkts.
  • product: der Name des Features in der Gemini Enterprise Agent Platform. Dies ist immer Online-Inferenz.

Nächste Schritte