Surveiller les modèles

Ce document explique comment surveiller le comportement, l'état et les performances de vos modèles entièrement gérés dans Gemini Enterprise Agent Platform. Il décrit comment utiliser le tableau de bord d'observabilité des modèles prédéfini pour obtenir des insights sur l'utilisation des modèles, identifier les problèmes de latence et résoudre les erreurs.

Vous allez apprendre à :

  • Accéder au tableau de bord d'observabilité des modèles et l'interpréter
  • Afficher les métriques de surveillance disponibles
  • Surveiller le trafic des points de terminaison du modèle à l'aide de l'explorateur de métriques

Accéder au tableau de bord d'observabilité des modèles et l'interpréter

Agent Platform fournit un tableau de bord d'observabilité des modèles prédéfini pour afficher le comportement, l'état et les performances des modèles entièrement gérés. Les modèles entièrement gérés, également appelés "modèle en tant que service" (MaaS), sont fournis par Google et incluent les modèles Gemini de Google et les modèles partenaires avec des points de terminaison gérés. Les métriques des modèles auto-hébergés ne sont pas incluses dans le tableau de bord.

Agent Platform collecte et signale automatiquement l'activité des modèles MaaS pour vous aider à résoudre rapidement les problèmes de latence et à surveiller la capacité.

Exemple de tableau de bord d'observabilité des modèles dans la console Cloud
Exemple de tableau de bord d'observabilité des modèles

Cas d'utilisation

En tant que développeur d'applications, vous pouvez voir comment vos utilisateurs interagissent avec les modèles que vous avez exposés. Par exemple, vous pouvez voir comment l'utilisation des modèles (requêtes de modèle par seconde) et l'intensité de calcul des requêtes utilisateur (latences d'invocation des modèles) évoluent au fil du temps. Par conséquent, comme ces métriques sont liées à l'utilisation des modèles, vous pouvez également estimer les coûts d'exécution de chaque modèle.

En cas de problème, vous pouvez le résoudre rapidement à partir du tableau de bord. Vous pouvez vérifier si les modèles répondent de manière fiable et rapide en consultant les taux d'erreur de l'API, les latences du premier jeton et le débit de jetons.

Métriques de surveillance disponibles

Le tableau de bord d'observabilité des modèles affiche un sous-ensemble de métriques collectées par Cloud Monitoring, telles que les requêtes de modèle par seconde (RPS), le débit de jetons et les latences du premier jeton. Consultez le tableau de bord pour voir toutes les métriques disponibles.

Limites

Agent Platform capture les métriques du tableau de bord uniquement pour les appels d'API au point de terminaison d'un modèle. Google Cloud L'utilisation de la console, comme les métriques d' Agent Studio, n'est pas ajoutée au tableau de bord.

Consulter le tableau de bord

  1. Dans la section Agent Platform de la Google Cloud console, accédez à la page Tableau de bord.

Accéder à Agent Platform 1. Dans le tableau de bord, sous "Observabilité des modèles", cliquez sur Afficher toutes les métriques pour afficher le tableau de bord d'observabilité des modèles dans la console Google Cloud Observability.

  1. Pour afficher les métriques d'un modèle spécifique ou dans un emplacement particulier, définissez un ou plusieurs filtres en haut de la page du tableau de bord.

    Pour obtenir une description de chaque métrique, consultez la section "aiplatform" de la Google Cloud page des métriques.

Surveiller le trafic des points de terminaison du modèle

Suivez les instructions ci-dessous pour surveiller le trafic vers votre point de terminaison dans l'explorateur de métriques.

  1. Dans la Google Cloud console, accédez à la page Explorateur de métriques.

    Accéder à "Explorateur de métriques"

  2. Sélectionnez le projet pour lequel vous souhaitez afficher les métriques.

  3. Dans le menu déroulant Métrique, cliquez sur Sélectionner une métrique.

  4. Dans la barre de recherche Filtrer par nom de ressource ou de métrique, saisissez Gemini Enterprise Agent Platform Endpoint.

  5. Sélectionnez la catégorie de métrique Point de terminaison Agent Platform > Prédiction. Sous Métriques actives, sélectionnez l'une des métriques suivantes :

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Cliquez sur Appliquer. Pour ajouter plusieurs métriques, cliquez sur Ajouter une requête.

    Vous pouvez filtrer ou agréger vos métriques à l'aide des menus déroulants suivants :

    • Pour sélectionner et afficher un sous-ensemble de vos données en fonction de critères spécifiés, utilisez le menu déroulant Filtre. Par exemple, pour filtrer le modèle gemini-2.0-flash-001, utilisez endpoint_id = gemini-2p0-flash-001 (notez que le . dans la version du modèle est remplacé par un p).

    • Pour combiner plusieurs points de données en une seule valeur et afficher un récapitulatif de vos métriques, utilisez le menu déroulant Agrégation. Par exemple, vous pouvez agréger la somme de response_code.

  6. Vous pouvez éventuellement configurer des alertes pour votre point de terminaison. Pour en savoir plus, consultez Gérer les règles d'alerte.

Pour afficher les métriques que vous ajoutez à votre projet à l'aide d'un tableau de bord, consultez Présentation des tableaux de bord.

Étape suivante