Évaluer des modèles à l'aide d'Agent Platform

Cette page explique comment évaluer des modèles à l'aide de Gemini Enterprise Agent Platform. Pour en savoir plus, consultez la page Évaluation de modèles dans Agent Platform.

Prérequis

  1. Suivez les étapes décrites sur la page Configurer un projet et un environnement de développement. En outre, activez les services suivants :

  2. Agent Platform peut évaluer des modèles entraînés via AutoML ou l'entraînement personnalisé. Pour le guide de la console Google Cloud , vous devez disposer d'un modèle entraîné importé dans Gemini Enterprise Agent Platform Model Registry.

  3. Importez votre ensemble de données de test dans BigQuery ou Cloud Storage. L'ensemble de données de test doit contenir la vérité terrain, qui est le résultat réel attendu pour une inférence. Obtenez le lien vers le fichier ou l'ID de l'ensemble de données.

  4. Obtenez une sortie d'inférence par lot sous la forme d'une table BigQuery ou d'un URI Cloud Storage.

  5. Assurez-vous que votre compte de service Compute Engine par défaut dispose des autorisations IAM suivantes :

    • Administrateur Agent Platform (aiplatform.admin)
    • Agent de service Agent Platform (aiplatform.serviceAgent)
    • Administrateur des objets de l'espace de stockage (storage.objectAdmin)
    • Nœud de calcul Dataflow (dataflow.worker)
    • Éditeur de données BigQuery (bigquery.dataEditor) (obligatoire seulement si vous fournissez des données sous la forme de tables BigQuery)

Créer une évaluation

Console

  1. Dans la console Google Cloud , accédez à la page "Modèles de la plate-forme d'agents Gemini Enterprise".

    Accéder à la page "Modèles"

  2. Cliquez sur le nom du modèle que vous souhaitez évaluer.

  3. Cliquez sur le numéro de version du modèle.

  4. Dans l'onglet Évaluation, cliquez sur Créer une évaluation.

  5. Saisissez un nom d'évaluation.

  6. Sélectionnez un objectif, tel que la classification ou la régression.

  7. Saisissez le nom de la colonne cible d'évaluation, qui correspond à la colonne des données d'entraînement que le modèle est entraîné à prédire.

  8. Dans le champ Sélectionner une source, sélectionnez la source de votre ensemble de données de test.

    1. Pour Table BigQuery, saisissez le chemin d'accès BigQuery.

    2. Pour Fichier sur Cloud Storage, saisissez le chemin d'accès Cloud Storage.

  9. Pour Sortie de la prédiction par lot, sélectionnez un format de sortie.

    1. Saisissez le chemin d'accès BigQuery ou l'URI Cloud Storage.

  10. Cliquez sur Démarrer l'évaluation.

Python

Pour afficher le workflow d'évaluation du modèle de l'API Agent Platform dans Gemini Enterprise Agent Platform Pipelines, consultez les exemples de notebooks pour les types de modèles suivants :

SDK Python

Le SDK permettant d'évaluer des modèles avec Agent Platform est en version expérimentale. Pour vous inscrire à la version expérimentale, remplissez le formulaire d'intégration.

Agent Platform envoie automatiquement une notification par e-mail lorsqu'une tâche d'évaluation de modèle est terminée.

Afficher les métriques d'évaluation

Console

  1. Dans la console Google Cloud , accédez à la page "Modèles de la plate-forme d'agents Gemini Enterprise".

    Accéder à la page "Modèles"

  2. Accédez à la version du modèle.

  3. Affichez les métriques dans l'onglet Évaluation.

Python

Pour afficher le workflow d'évaluation du modèle de l'API Agent Platform dans Gemini Enterprise Agent Platform Pipelines, consultez les exemples de notebooks pour les types de modèles suivants :

SDK Python

Le SDK permettant d'évaluer des modèles avec Agent Platform est en version expérimentale. Pour vous inscrire à la version expérimentale, remplissez le formulaire d'intégration.

Comparer les métriques d'évaluation

Vous pouvez comparer les résultats d'évaluation entre différents modèles, versions de modèle et tâches d'évaluation. Pour plus d'informations sur la gestion des versions de modèle, consultez la page Gestion des versions dans Model Registry.

Vous ne pouvez comparer que des modèles de même type, tels que la classification, la régression ou la prévision. Lorsque vous comparez différents modèles, toutes les versions de modèle doivent être du même type.

Vous ne pouvez comparer que cinq évaluations à la fois au maximum.

  1. Accédez au registre de modèles Gemini Enterprise Agent Platform dans la console Google Cloud  :

    Accéder à la page "Modèles"

  2. Accédez à votre modèle ou version de modèle :

    • Pour comparer différents modèles sur la page Modèles, cochez les cases correspondant aux noms des modèles que vous souhaitez comparer.

    • Pour comparer différentes versions de modèle, procédez comme suit :

      1. Cliquez sur le nom de votre modèle sur la page Modèles pour ouvrir la liste des versions de modèle.

      2. Cochez les cases à côté des versions que vous souhaitez comparer.

    • Pour comparer les tâches d'évaluation pour la même version de modèle, procédez comme suit :

      1. Cliquez sur le nom de votre modèle sur la page Modèles pour ouvrir la liste des versions de modèle.

      2. Cliquez sur le numéro de version.

      3. Cochez les cases à côté des tâches d'évaluation que vous souhaitez comparer.

  3. Cliquez sur Comparer.

Étapes suivantes