Afficher les métriques automatiques d'IA Vertex AI Inference

Ce document explique comment utiliser les métriques automatiques d'IA pour surveiller vos charges de travail d'IA sur Vertex AI.

Les métriques automatiques d'IA vous permettent de surveiller les performances et l'état de vos modèles avec une configuration minimale. Cette fonctionnalité est conçue pour vous fournir des insights immédiats sur vos conteneurs et modèles personnalisés exécutés sur Vertex AI Inference.

Avant de commencer

  1. Assurez-vous de disposer d'un point de terminaison Vertex AI avec un modèle déployé qui utilise un conteneur avec des frameworks compatibles.
  2. Assurez-vous que Cloud Monitoring est activé pour votre projet. Pour en savoir plus, consultez Activer l'API Monitoring.

Utiliser les métriques automatiques de l'IA

Pour afficher les métriques automatiques d'IA dans l'explorateur de métriques :

  1. Accédez à la page Explorateur de métriques dans la console Google Cloud .

    Accéder à l'explorateur de métriques

  2. Sous Sélectionner une métrique, sélectionnez Cible Prometheus.

  3. Sous Catégories de métriques actives, sélectionnez Vertex.

  4. Sous Métriques actives, sélectionnez la métrique souhaitée.

  5. Cliquez sur Appliquer.

Vous pouvez également interroger les métriques à l'aide de Grafana ou de l'API ou de l'interface utilisateur Prometheus.

Frameworks compatibles

AI AutoMetrics est compatible avec les frameworks suivants :

Framework Point de terminaison qualifié Métriques qualifiées
vLLM Point de terminaison /metrics compatible avec Prometheus Métriques avec le préfixe vllm:

Fonctionnement

Vertex AI extrait automatiquement le point de terminaison /metrics de votre conteneur à un intervalle prédéfini. Toutes les métriques éligibles sont ensuite exportées versGoogle Cloud Google Cloud Managed Service pour Prometheus, où vous pouvez les analyser et les visualiser.

Nom et libellés des métriques

Les métriques collectées par AI AutoMetrics sont ingérées dans Cloud Monitoring selon la convention d'attribution de noms vertex_*.

Pour faciliter le filtrage et le regroupement, les métriques automatiques d'IA ajoutent automatiquement les libellés Vertex AI supplémentaires suivants à chaque métrique :

  • deployed_model_id : ID d'un modèle déployé qui traite les requêtes d'inférence.
  • model_display_name : nom à afficher d'un modèle déployé.
  • replica_id : ID unique correspondant à l'instance répliquée du modèle déployé (nom du pod).
  • endpoint_id : ID d'un point de terminaison de modèle.
  • endpoint_display_name : nom à afficher d'un point de terminaison de modèle.
  • product : nom de la fonctionnalité sous Vertex AI. Il s'agit toujours de Online Inference.

Étapes suivantes