Cette page a été traduite par l'API Cloud Translation.

Tutoriel : Effectuer une évaluation à l'aide du client GenAI dans le SDK Vertex AI

Cette page vous explique comment évaluer vos modèles et applications d'IA générative pour différents cas d'utilisation à l'aide du client GenAI dans le SDK Vertex AI.

Avant de commencer

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Installez le SDK Vertex AI pour Python :

!pip install google-cloud-aiplatform[evaluation]

Configurez vos identifiants. Si vous exécutez ce tutoriel dans Colaboratory, exécutez la commande suivante :
```
from google.colab import auth
auth.authenticate_user()
```
Pour les autres environnements, consultez S'authentifier sur Vertex AI.

Générer des réponses

Générez des réponses de modèle pour votre ensemble de données à l'aide de run_inference() :

Préparez votre ensemble de données sous la forme d'un DataFrame Pandas :

import pandas as pd

eval_df = pd.DataFrame({
  "prompt": [
      "Explain software 'technical debt' using a concise analogy of planting a garden.",
      "Write a Python function to find the nth Fibonacci number using recursion with memoization, but without using any imports.",
      "Write a four-line poem about a lonely robot, where every line must be a question and the word 'and' cannot be used.",
      "A drawer has 10 red socks and 10 blue socks. In complete darkness, what is the minimum number of socks you must pull out to guarantee you have a matching pair?",
      "An AI discovers a cure for a major disease, but the cure is based on private data it analyzed without consent. Should the cure be released? Justify your answer."
  ]
})

Générez des réponses de modèle à l'aide de run_inference() :

eval_dataset = client.evals.run_inference(
  model="gemini-2.5-flash",
  src=eval_df,
)

Visualisez vos résultats d'inférence en appelant .show() sur l'objet EvaluationDataset pour inspecter les sorties du modèle aux côtés de vos requêtes et références d'origine :
```
eval_dataset.show()
```

L'image suivante affiche l'ensemble de données d'évaluation avec les requêtes et les réponses générées correspondantes :

Tableau montrant un ensemble de données d'évaluation avec des colonnes pour les requêtes et les réponses.

Exécuter l'évaluation

Exécutez evaluate() pour évaluer les réponses du modèle :

Évaluez les réponses du modèle à l'aide de la métrique basée sur une grille d'évaluation adaptative par défaut GENERAL_QUALITY :
```
eval_result = client.evals.evaluate(dataset=eval_dataset)
```
Visualisez vos résultats d'évaluation en appelant .show() sur l'objet EvaluationResult pour afficher les métriques récapitulatives et les résultats détaillés :
```
eval_result.show()
```

L'image suivante affiche un rapport d'évaluation, qui présente des métriques récapitulatives et des résultats détaillés pour chaque paire requête-réponse.

Un rapport d'évaluation affichant des métriques récapitulatives ainsi que des résultats détaillés pour chaque paire requête-réponse.

Effectuer un nettoyage

Aucune ressource Vertex AI n'est créée au cours de ce tutoriel.

Étapes suivantes

Définissez vos métriques d'évaluation.