Afficher les métriques automatiques d'IA Vertex AI Inference

Ce document explique comment utiliser les métriques automatiques de l'IA pour surveiller vos charges de travail d'IA sur la plate-forme d'agents Gemini Enterprise.

Les métriques automatiques d'IA vous permettent de surveiller les performances et l'état de vos modèles avec une configuration minimale. Cette fonctionnalité est conçue pour vous fournir des insights immédiats sur vos conteneurs et modèles personnalisés exécutés sur Vertex AI Inference.

Avant de commencer

  1. Assurez-vous de disposer d'un point de terminaison Gemini Enterprise Agent Platform avec un modèle déployé qui utilise un conteneur avec des frameworks compatibles.
  2. Assurez-vous que Cloud Monitoring est activé pour votre projet. Pour en savoir plus, consultez Activer l'API Monitoring.

Utiliser les métriques automatiques de l'IA

Pour afficher les métriques automatiques d'IA dans l'explorateur de métriques :

  1. Accédez à la page Explorateur de métriques dans la console Google Cloud .

    Accéder à l'explorateur de métriques

  2. Sous Sélectionner une métrique, sélectionnez Cible Prometheus.

  3. Sous Catégories de métriques actives, sélectionnez Vertex.

  4. Sous Métriques actives, sélectionnez la métrique souhaitée.

  5. Cliquez sur Appliquer.

Vous pouvez également interroger les métriques à l'aide de Grafana ou de l'API ou de l'interface utilisateur Prometheus.

Frameworks compatibles

AI AutoMetrics est compatible avec les frameworks suivants :

Framework Point de terminaison qualifié Métriques qualifiées
vLLM Point de terminaison /metrics compatible avec Prometheus Métriques avec le préfixe vllm:

Fonctionnement

La plate-forme Gemini Enterprise Agent extrait automatiquement le point de terminaison /metrics de votre conteneur à un intervalle prédéfini. Toutes les métriques éligibles sont ensuite exportées versGoogle Cloud Google Cloud Managed Service pour Prometheus, où vous pouvez les analyser et les visualiser.

Nom et libellés des métriques

Les métriques collectées par AI AutoMetrics sont ingérées dans Cloud Monitoring selon la convention d'attribution de noms vertex_*.

Pour faciliter le filtrage et le regroupement, les métriques automatiques de l'IA ajoutent automatiquement les libellés Gemini Enterprise Agent Platform supplémentaires suivants à chaque métrique :

  • deployed_model_id : ID d'un modèle déployé qui traite les requêtes d'inférence.
  • model_display_name : nom à afficher d'un modèle déployé.
  • replica_id : ID unique correspondant à la réplique du modèle déployé (nom du pod).
  • endpoint_id : ID d'un point de terminaison de modèle.
  • endpoint_display_name : nom à afficher d'un point de terminaison de modèle.
  • product : nom de la fonctionnalité dans Gemini Enterprise Agent Platform. Il s'agit toujours de Online Inference.

Étapes suivantes