Tutorial: realizar a avaliação usando o console

Saiba como começar a usar o serviço de avaliação de IA generativa com o console do Google Cloud .

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho sem custos financeiros.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Avalie o modelo

Para avaliar o modelo:

1. No console Google Cloud , acesse a página "Avaliação de IA generativa".

   Acessar a avaliação

2. Clique em Nova avaliação para abrir a página de avaliação.

3. Selecione uma fonte para carregar um conjunto de dados para avaliação:

   • Para fazer upload de um arquivo CSV ou JSONL local, selecione Fazer upload de arquivo. O conjunto de dados precisa conter comandos ou registros para usar em um modelo de comando e, opcionalmente, respostas do modelo. O máximo é de 200 linhas.

   • Para gerar comandos com base em um modelo de comando, selecione Gerar dados. O serviço de avaliação de IA generativa gera e preenche as variáveis que você definiu no modelo de comando ao criar o conjunto de dados. Para mais informações sobre como criar modelos de comando, consulte Usar modelos de comando.

     1. Insira o modelo de comando com as variáveis no campo Modelo de comando.

     2. Para adicionar uma descrição para cada uma das variáveis ou especificar o número de amostras a serem geradas, abra Definir variáveis e tamanho da amostra.

     3. Clique em Gerar conjunto de dados para gerar comandos.

4. Gere e avalie respostas com base nos seus comandos:

   1. Na seção Candidatos à avaliação, clique em Adicionar candidato à avaliação ou, se já houver um candidato, clique em Editar para definir os comandos e as respostas a serem avaliados. Por exemplo, é possível especificar comandos ou respostas do arquivo enviado ou de dados gerados.

   2. Para comparar vários candidatos, clique em Adicionar candidato de comparação.

   3. Na seção Métricas, adicione pelo menos uma métrica para avaliar a qualidade das respostas do candidato. Para mais informações sobre os tipos de métricas, consulte a seção Métricas de avaliação na página de visão geral do serviço de avaliação de IA generativa.

   Em algumas rubricas adaptativas, é possível direcionar as rubricas geradas em cada comando. Para isso, abra Avançado e forneça instruções personalizadas, como Evaluate the dataset on cultural sensitivity.

   1. Na seção Configuração de nome e armazenamento, especifique um nome para a avaliação e um bucket do Cloud Storage em que os resultados da avaliação serão armazenados.

5. Clique em Avaliar.

Ver os resultados da avaliação

Para conferir um resultado de avaliação:

1. No console Google Cloud , acesse a página Avaliação da GenAI.

   Acessar a avaliação

2. Clique no nome da avaliação.

   Para cada comando no conjunto de dados de avaliação, a resposta é mostrada com os resultados da avaliação.

Avaliar modelos de parceiros

É possível usar o serviço de avaliação de IA generativa para avaliar os seguintes modelos de parceiros:

• Anthropic
• Llama

Os modelos de parceiros são compatíveis com o Model Garden da Gemini Enterprise Agent Platform. É necessário ativar um modelo de parceiro no Model Garden antes de selecioná-lo para avaliação. Para avaliar um modelo de parceiro, selecione-o no menu de seleção de modelos durante a configuração da avaliação.

Preços

Os preços para avaliar modelos de terceiros são baseados em todas as cobranças incorridas pela inferência de modelos no Model Garden da Gemini Enterprise Agent Platform. Consulte a página de preços da IA generativa na Agent Platform.

A seguir

• Defina as métricas de avaliação.