Tutorial: esegui la valutazione utilizzando la console

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Scopri come iniziare a utilizzare il servizio di valutazione Gen AI con la console Google Google Cloud .

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

valuta il modello

Per valutare il modello:

1. Nella Google Cloud console, vai alla pagina Valutazione dell'AI generativa.

   Vai a Valutazione

2. Fai clic su Nuova valutazione per aprire la pagina di valutazione.

3. Seleziona un'origine per caricare un set di dati per la valutazione:

   • Per caricare un file CSV o JSONL locale, seleziona Carica file. Il set di dati deve contenere prompt o record da utilizzare in un modello di prompt e, facoltativamente, risposte del modello. Il massimo è di 200 righe.

   • Per generare prompt da un modello di prompt, seleziona Genera dati. Il servizio di valutazione di Gen AI genera e compila le variabili che hai definito nel modello di prompt durante la creazione del set di dati. Per ulteriori informazioni sulla creazione di modelli di prompt, consulta Utilizzare i modelli di prompt.

     1. Inserisci il modello di prompt con le variabili nel campo Modello di prompt.

     2. Per aggiungere una descrizione per ogni variabile o per specificare il numero di campioni da generare, espandi Definisci variabili e dimensioni del campione.

     3. Fai clic su Genera set di dati per generare i prompt.

4. Genera e valuta le risposte in base ai prompt:

   1. Nella sezione Candidati per la valutazione, fai clic su Aggiungi candidato per la valutazione oppure, se esiste già un candidato, fai clic su Modifica per definire i prompt e le risposte da valutare. Ad esempio, puoi specificare prompt o risposte dal file caricato o dai dati generati.

   2. Per confrontare più candidati, fai clic su Aggiungi candidato per il confronto.

   3. Nella sezione Metriche, aggiungi almeno una metrica per valutare la qualità delle risposte del candidato. Per ulteriori informazioni sui tipi di metriche, consulta la sezione Metriche di valutazione nella pagina di panoramica del servizio di valutazione dell'AI generativa.

   Per alcune rubriche adattive, puoi indirizzare le rubriche generate da ogni prompt espandendo Avanzate e fornendo istruzioni personalizzate, ad esempio Evaluate the dataset on cultural sensitivity.

   1. Nella sezione Nome e configurazione di archiviazione, specifica un nome per la valutazione e un bucket Cloud Storage in cui vengono archiviati i risultati delle valutazioni.

5. Fai clic su Valuta.

Visualizza i risultati della valutazione

Per visualizzare il risultato di una valutazione:

1. Nella Google Cloud console, vai alla pagina Valutazione dell'AI generativa.

   Vai a Valutazione

2. Fai clic sul nome della valutazione.

   Per ogni prompt nel set di dati di valutazione, la risposta viene mostrata insieme ai risultati della valutazione.

Valuta i modelli dei partner

Puoi utilizzare il servizio di valutazione dell'AI generativa per valutare i seguenti modelli dei partner:

• Anthropic
• Llama

I modelli dei partner sono supportati tramite Model Garden di Gemini Enterprise Agent Platform. Devi attivare un modello partner in Model Garden prima di selezionarlo per la valutazione. Per valutare un modello partner, selezionalo nel menu di selezione del modello durante la configurazione della valutazione.

Prezzi

I prezzi per la valutazione dei modelli di terze parti si basano su eventuali addebiti sostenuti per l'inferenza del modello in Model Garden di Gemini Enterprise Agent Platform. Consulta la pagina Prezzi per l'AI generativa su Agent Platform.

Passaggi successivi

• Definisci le metriche di valutazione.