Tutorial: realizar a avaliação usando o console

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Saiba como começar a usar o serviço de avaliação de IA generativa com o console do Google Google Cloud .

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Avalie o modelo

Para avaliar seu modelo:

1. No console Google Cloud , acesse a página "Avaliação de IA generativa".

   Acessar "Avaliação"

2. Clique em Nova avaliação para abrir a página de avaliação.

3. Selecione uma origem para carregar um conjunto de dados para avaliação:

   • Para fazer upload de um arquivo CSV ou JSONL local, selecione Fazer upload de arquivo. O conjunto de dados precisa conter comandos ou registros para usar em um modelo de comando e, opcionalmente, respostas do modelo. O máximo é de 200 linhas.

   • Para gerar comandos com base em um modelo, selecione Gerar dados. O serviço de avaliação de IA generativa gera e preenche as variáveis definidas no modelo de comando ao criar o conjunto de dados. Para mais informações sobre como criar modelos de comandos, consulte Usar modelos de comandos.

     1. Insira o modelo de comando com as variáveis no campo Modelo de comando.

     2. Para adicionar uma descrição a cada uma das suas variáveis ou especificar o número de amostras a serem geradas, expanda Definir variáveis e tamanho da amostra.

     3. Clique em Gerar conjunto de dados para gerar comandos.

4. Gerar e avaliar respostas com base nos seus comandos:

   1. Na seção Candidatos à avaliação, clique em Adicionar candidato à avaliação ou, se já houver um candidato, clique em Editar para definir os comandos e as respostas a serem avaliados. Por exemplo, é possível especificar comandos ou respostas do arquivo enviado ou dos dados gerados.

   2. Para comparar vários candidatos, clique em Adicionar candidato de comparação.

   3. Na seção Métricas, adicione pelo menos uma métrica para avaliar a qualidade das respostas do candidato. Para mais informações sobre os tipos de métricas, consulte a seção Métricas de avaliação na página de visão geral do serviço de avaliação de IA generativa.

   Em algumas rubricas adaptativas, é possível direcionar as rubricas geradas com base em cada comando. Para isso, expanda Avançado e forneça instruções personalizadas, como Evaluate the dataset on cultural sensitivity.

   1. Na seção Nome e configuração de armazenamento, especifique um nome para sua avaliação e um bucket do Cloud Storage em que os resultados serão armazenados.

5. Clique em Avaliar.

Conferir os resultados da avaliação

Para conferir um resultado da avaliação:

1. No console Google Cloud , acesse a página Avaliação de IA generativa.

   Acessar "Avaliação"

2. Clique no nome da avaliação.

   Para cada comando no conjunto de dados de avaliação, a resposta é mostrada junto com os resultados da avaliação.

Avaliar modelos de parceiros

É possível usar o serviço de avaliação de IA generativa para avaliar os seguintes modelos de parceiros:

• Anthropic
• Llama

Os modelos de parceiros são compatíveis com o Model Garden da plataforma de agentes do Gemini Enterprise. É necessário ativar um modelo de parceiro no Grupo de modelos antes de selecioná-lo para avaliação. Para avaliar um modelo de parceiro, selecione-o no menu de seleção de modelos durante a configuração da avaliação.

Preços

O preço da avaliação de modelos de terceiros é baseado em todas as cobranças incorridas pela inferência de modelo no Model Garden da plataforma de agentes do Gemini Enterprise. Consulte a página de preços da IA generativa na Plataforma de Agente.

A seguir

• Defina as métricas de avaliação.