La fonctionnalité de comparaison vous permet de voir comment la sortie du modèle change si vous utilisez d'autres requêtes, modèles ou paramètres. Vous pouvez afficher chaque requête et sa réponse côte à côte pour les comparer et les analyser de la manière suivante :
- Avec un nouveau prompt.
- Avec un autre prompt enregistré.
- Avec une vérité terrain.
Avant de commencer
Pour accéder à la fonctionnalité de comparaison, procédez comme suit :
Dans la console Google Cloud , accédez à la page Créer une requête.
Sélectionnez Comparer. La page Comparer s'affiche.
Créer un prompt dans la fonctionnalité "Comparer"
Sur la page Comparer, vous pouvez créer un prompt avant d'en sélectionner un autre pour comparer les résultats.
Pour créer un prompt, procédez comme suit :
Dans le champ Nouveau prompt, saisissez votre prompt.
Cliquez sur Envoyer des prompts. La réponse du modèle s'affiche sous le texte de la requête que vous avez saisie.
Cliquez sur Enregistrer comme nouveau. Une boîte de dialogue Enregistrer le prompt s'affiche.
Saisissez le nom de votre nouveau prompt dans le champ Nom du prompt.
Sélectionnez votre région dans le champ Région ou conservez la région par défaut.
Si des clés de chiffrement gérées par le client (CMEK) s'appliquent, procédez comme suit :
- Cochez la case Clé de chiffrement gérée par le client (CMEK).
- Sélectionnez une clé dans le champ Sélectionner une clé Cloud Key Management Service.
Cliquez sur Enregistrer pour enregistrer votre requête dans la liste des requêtes à utiliser sur la page Comparer une requête enregistrée.
Cliquez sur Envoyer les requêtes pour comparer les requêtes et leurs réponses.
Vous pouvez modifier vos prompts et enregistrer les versions modifiées en tant que nouveaux prompts.
Comparer avec une nouvelle requête
Pour comparer votre prompt enregistré à un nouveau prompt, procédez comme suit :
- Cliquez sur Comparer un nouveau prompt. Le volet Comparer s'affiche.
- Facultatif : Cliquez sur Changer de modèle pour utiliser un modèle autre que celui par défaut.
- Facultatif : développez Outputs (Sorties).
- Facultatif : Si vous souhaitez que le modèle génère les résultats dans un format spécifique, par exemple JSON, cliquez sur le bouton Sortie structurée. Après avoir sélectionné Sortie structurée, les options d'ancrage sont désactivées, car l'ancrage n'est pas compatible avec la sortie structurée.
- Facultatif : remplacez le budget de réflexion par l'une des options suivantes :
- Automatique : le modèle ne réfléchit que lorsqu'il en a besoin. Le modèle ajuste la réflexion et l'analyse d'une situation en fonction de ce qui est nécessaire à un moment donné.
- Manuel : vous pouvez ajuster les jetons du budget de réflexion.
- Désactivé : aucune réflexion ni aucun budget ne sont utilisés.
Outputs:
- Facultatif : développez Outils.
- Sélectionnez l'une des options suivantes :
- Ancrage : Google : ancrage avec la recherche Google ou Google Maps.
- Ancrage : vos données : ancrage avec le moteur RAG sur Gemini Enterprise Agent Platform, Agent Search sur Gemini Enterprise Agent Platform ou Elasticsearch.
- Si vous sélectionnez Ancrage : vos données, sélectionnez la source de données que vous souhaitez utiliser.
Outils :
- Facultatif : développez Avancé :
- Sélectionnez Région.
- Sélectionnez Paramètres du filtre de sécurité. Une boîte de dialogue s'affiche. Conservez la valeur par défaut Désactivé, ou spécifiez Bloquer quelques éléments, Bloquer certains éléments ou Bloquer la plupart des éléments pour chacune des options suivantes :
- Incitation à la haine : commentaires négatifs ou dangereux ciblant l'identité ou les attributs protégés.
- Contenu dangereux : encourage ou facilite l'accès à des activités, produits et services dangereux.
- Contenu à caractère sexuel explicite : contient des références à des actes sexuels ou à d'autres contenus obscènes.
- Contenu relevant du harcèlement : commentaires malveillants, intimidants ou abusifs ciblant une autre personne.
- Cliquez sur Enregistrer pour enregistrer les paramètres et fermer la boîte de dialogue.
- Sélectionnez la température dans le champ Température. La température contrôle le caractère aléatoire de la sélection des jetons. Une température basse est idéale si vous attendez une réponse vraie ou correcte. Une température plus élevée peut entraîner des résultats plus diversifiés ou inattendus.
- Sélectionnez la limite de jetons de sortie dans le champ Limite de jetons de sortie. La limite de jetons de sortie détermine la quantité maximale de texte pouvant être générée à partir d'un prompt. Un jeton correspond environ à quatre caractères.
- Sélectionnez le nombre maximal de réponses dans le champ Max responses (Nombre maximal de réponses). Nombre maximal de réponses du modèle générées par requête. Les réponses peuvent toujours être bloquées en raison des filtres de sécurité ou d'autres règles.
- Sélectionnez une valeur dans le champ Top-P. Le paramètre Top-p modifie la façon dont le modèle sélectionne les jetons pour la sortie.
- Cliquez sur le bouton d'activation du champ Diffuser les réponses du modèle. Si cette option est sélectionnée, les réponses sont imprimées au fur et à mesure de leur génération.
- Saisissez une séquence d'arrêt dans le champ Ajouter une séquence d'arrêt. Appuyez sur Entrée après chaque séquence.
Avancé :
- Cliquez sur Enregistrer pour enregistrer les modifications apportées à vos paramètres.
- Cliquez sur Appliquer.
- Cliquez sur Envoyer les requêtes pour comparer les requêtes et leurs réponses.
Pour en savoir plus sur les limites de jetons pour chaque modèle, consultez Contrôler le budget de réflexion.
Comparer avec une autre requête enregistrée
Pour comparer votre prompt enregistré à un autre prompt enregistré, procédez comme suit :
- Cliquez sur Comparer une requête enregistrée. Le volet Requête existante s'affiche.
Sélectionnez jusqu'à deux prompts existants à comparer.
- Sélectionnez un nom de prompt. Si votre liste contient de nombreuses requêtes, cliquez dans le champ Filtre, puis sélectionnez la propriété sur laquelle vous souhaitez filtrer. Saisissez une valeur, puis appuyez sur Entrée.
- Cliquez sur Appliquer. La page Comparer affiche le prompt que vous avez sélectionné, ainsi que d'autres prompts que vous avez créés ou sélectionnés pour la comparaison.
Cliquez sur Envoyer les requêtes pour comparer les requêtes et leurs réponses.
Comparer avec une vérité terrain
La vérité terrain est la réponse privilégiée pour la requête. Toutes les autres réponses du modèle sont évaluées en fonction de la vérité terrain.
Pour comparer votre prompt enregistré à une vérité terrain, procédez comme suit :
- Cliquez sur Vérité terrain. Le volet Vérité terrain s'affiche.
- Saisissez votre vérité terrain pour générer d'autres métriques d'évaluation.
- Cliquez sur Enregistrer pour enregistrer la vérité terrain.
- Cliquez sur Envoyer les requêtes pour comparer les requêtes et leurs réponses.
Les métriques d'évaluation générées lorsque vous comparez une requête à une vérité terrain ne sont pas affectées par la région que vous sélectionnez.
Étapes suivantes
- Pour en savoir plus sur l'évaluation de vos modèles, consultez Présentation de Gen AI Evaluation Service.