Tutorial: realizar a avaliação usando o cliente de IA generativa no SDK do Agent Platform

Para conferir um exemplo de como começar: faça uma avaliação usando o com o cliente da IA generativa, execute o notebook "Como começar: faça uma avaliação usando o com o cliente da IA generativa" em um dos seguintes ambientes:

Abrir no Colab | Abrir no Colab Enterprise | Abrir no Agent Platform Workbench | Ver no GitHub

Nesta página, mostramos como avaliar seus modelos e aplicativos de IA generativa em vários casos de uso usando o cliente de IA generativa no SDK da Agent Platform.

Antes de começar

1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

2. Instale o SDK da Agent Platform:

   !pip install google-cloud-aiplatform[evaluation]
   

3. Configure suas credenciais. Se você estiver executando este tutorial no Colaboratory, faça o seguinte:

   from google.colab import auth
   auth.authenticate_user()
   

   Para outros ambientes, consulte Autenticar no Agent Platform.

Inicializar o cliente da IA generativa

Para inicializar o cliente da IA generativa, execute o seguinte:

from vertexai import Client

client = Client(project="YOUR_PROJECT_ID", location="YOUR_LOCATION")

Em que:

• YOUR_PROJECT_ID: o ID do projeto Google Cloud .
• YOUR_LOCATION: sua região da nuvem, por exemplo, us-central1.

Gerar respostas

Gere respostas do modelo para seu conjunto de dados usando run_inference():

1. Prepare seu conjunto de dados como um DataFrame do Pandas:

   import pandas as pd
   
   eval_df = pd.DataFrame({
     "prompt": [
         "Explain software 'technical debt' using a concise analogy of planting a garden.",
         "Write a Python function to find the nth Fibonacci number using recursion with memoization, but without using any imports.",
         "Write a four-line poem about a lonely robot, where every line must be a question and the word 'and' cannot be used.",
         "A drawer has 10 red socks and 10 blue socks. In complete darkness, what is the minimum number of socks you must pull out to guarantee you have a matching pair?",
         "An AI discovers a cure for a major disease, but the cure is based on private data it analyzed without consent. Should the cure be released? Justify your answer."
     ]
   })
   

2. Gere respostas do modelo usando run_inference():

   eval_dataset = client.evals.run_inference(
     model="gemini-2.5-flash",
     src=eval_df,
   )
   

3. Visualize os resultados da inferência chamando .show() no objeto EvaluationDataset para inspecionar as saídas do modelo junto com os comandos e referências originais:

   eval_dataset.show()
   

A imagem a seguir mostra o conjunto de dados de avaliação com comandos e as respostas geradas correspondentes:

Executar a avaliação

Execute evaluate() para avaliar as respostas do modelo:

1. Avalie as respostas do modelo usando a métrica adaptativa padrão baseada em rubrica:GENERAL_QUALITY

   eval_result = client.evals.evaluate(dataset=eval_dataset)
   

2. Visualize os resultados da avaliação chamando .show() no objeto EvaluationResult para mostrar métricas de resumo e resultados detalhados:

   eval_result.show()
   

A imagem a seguir mostra um relatório de avaliação, que apresenta métricas de resumo e resultados detalhados para cada par comando-resposta.

Limpar

Nenhum recurso da Gemini Enterprise Agent Platform é criado durante este tutorial.

A seguir

• Defina as métricas de avaliação.