Tutoriel : Effectuer une évaluation à l'aide de la console

Aperçu

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Découvrez comment faire vos premiers pas avec le service d'évaluation de l'IA générative à l'aide de la console Google Cloud Google.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Évaluer votre modèle

Pour évaluer votre modèle :

1. Dans la console Google Cloud , accédez à la page "Évaluation de l'IA générative".

   Accéder à la page "Évaluation"

2. Cliquez sur Nouvelle évaluation pour ouvrir la page d'évaluation.

3. Sélectionnez une source pour charger un ensemble de données à évaluer :

   • Pour importer un fichier CSV ou JSONL local, sélectionnez Importer un fichier. L'ensemble de données doit contenir des requêtes ou des enregistrements à utiliser dans un modèle de requête et, éventuellement, des réponses du modèle. Le maximum est de 200 lignes.

   • Pour générer des requêtes à partir d'un modèle de requête, sélectionnez Générer des données. Le service d'évaluation de l'IA générative génère et remplit les variables que vous avez définies dans votre modèle de requête lorsque vous avez créé votre ensemble de données. Pour en savoir plus sur la création de modèles d'invite, consultez Utiliser des modèles d'invite.

     1. Saisissez votre modèle de prompt avec vos variables dans le champ Modèle de prompt.

     2. Pour ajouter une description à chacune de vos variables ou spécifier le nombre d'échantillons à générer, développez Définir les variables et la taille de l'échantillon.

     3. Cliquez sur Générer un ensemble de données pour générer des requêtes.

4. Générez et évaluez des réponses en fonction de vos requêtes :

   1. Dans la section Candidats à l'évaluation, cliquez sur Ajouter un candidat à évaluer. Si un candidat existe déjà, cliquez sur Modifier pour définir les requêtes et les réponses à évaluer. Par exemple, vous pouvez spécifier des requêtes ou des réponses à partir du fichier que vous avez importé ou des données générées.

   2. Pour comparer plusieurs candidats, cliquez sur Ajouter un candidat à comparer.

   3. Dans la section Métriques, ajoutez au moins une métrique pour évaluer la qualité des réponses de votre candidat. Pour en savoir plus sur les types de métriques, consultez la section Métriques d'évaluation de la page de présentation de Gen AI Evaluation Service.

   Pour certaines rubriques adaptatives, vous pouvez orienter les rubriques générées à partir de chaque requête en développant Avancé et en fournissant des instructions personnalisées, telles que Evaluate the dataset on cultural sensitivity.

   1. Dans la section Nom et configuration du stockage, spécifiez un nom pour votre évaluation et un bucket Cloud Storage dans lequel stocker les résultats de vos évaluations.

5. Cliquez sur Évaluer.

Afficher les résultats de votre évaluation

Pour afficher un résultat d'évaluation :

1. Dans la console Google Cloud , accédez à la page Évaluation de l'IA générative.

   Accéder à la page "Évaluation"

2. Cliquez sur le nom de l'évaluation.

   Pour chaque requête de votre ensemble de données d'évaluation, la réponse s'affiche avec les résultats de l'évaluation.

Évaluer les modèles partenaires

Vous pouvez utiliser Gen AI Evaluation Service pour évaluer les modèles partenaires suivants :

• Anthropic
• Llama

Les modèles partenaires sont compatibles avec Vertex AI Model Garden. Vous devez activer un modèle partenaire dans Model Garden avant de le sélectionner pour l'évaluation. Pour évaluer un modèle partenaire, sélectionnez-le dans le menu de sélection des modèles lors de la configuration de l'évaluation.

Tarifs

Les tarifs de l'évaluation des modèles tiers sont basés sur les frais d'inférence de modèle dans Vertex AI Model Garden. Consultez la page des tarifs de l'IA générative sur Vertex AI.

Étapes suivantes

• Définissez vos métriques d'évaluation.