Instructivo: Realiza una evaluación con el cliente de GenAI en el SDK de Agent Platform

Para ver un ejemplo de cómo comenzar: Realiza una evaluación con a través de GenAI Client, ejecuta el notebook "Comienza: Realiza una evaluación con a través de GenAI Client" en uno de los siguientes entornos:

Abrir en Colab | Abrir en Colab Enterprise | Abrir en Agent Platform Workbench | Ver en GitHub

En esta página, se muestra cómo evaluar tus modelos y aplicaciones de IA generativa en una variedad de casos de uso con el cliente de IA generativa en el SDK de Agent Platform.

Antes de comenzar

1. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

2. Instala el SDK de Agent Platform:

   !pip install google-cloud-aiplatform[evaluation]
   

3. Configura tus credenciales. Si ejecutas este instructivo en Colaboratory, ejecuta lo siguiente:

   from google.colab import auth
   auth.authenticate_user()
   

   Para otros entornos, consulta Autentícate en Agent Platform.

Inicializa el cliente de IA generativa

Para inicializar el cliente de IA generativa, ejecuta lo siguiente:

from vertexai import Client

client = Client(project="YOUR_PROJECT_ID", location="YOUR_LOCATION")

Aquí:

• YOUR_PROJECT_ID: Es el ID del proyecto de Google Cloud .
• YOUR_LOCATION: Tu región de Cloud, por ejemplo, us-central1.

Generar respuestas

Genera respuestas del modelo para tu conjunto de datos con run_inference():

1. Prepara tu conjunto de datos como un DataFrame de Pandas:

   import pandas as pd
   
   eval_df = pd.DataFrame({
     "prompt": [
         "Explain software 'technical debt' using a concise analogy of planting a garden.",
         "Write a Python function to find the nth Fibonacci number using recursion with memoization, but without using any imports.",
         "Write a four-line poem about a lonely robot, where every line must be a question and the word 'and' cannot be used.",
         "A drawer has 10 red socks and 10 blue socks. In complete darkness, what is the minimum number of socks you must pull out to guarantee you have a matching pair?",
         "An AI discovers a cure for a major disease, but the cure is based on private data it analyzed without consent. Should the cure be released? Justify your answer."
     ]
   })
   

2. Genera respuestas del modelo con run_inference():

   eval_dataset = client.evals.run_inference(
     model="gemini-2.5-flash",
     src=eval_df,
   )
   

3. Visualiza los resultados de la inferencia llamando a .show() en el objeto EvaluationDataset para inspeccionar los resultados del modelo junto con tus instrucciones y referencias originales:

   eval_dataset.show()
   

En la siguiente imagen, se muestra el conjunto de datos de evaluación con las instrucciones y sus respuestas generadas correspondientes:

Ejecutar la evaluación

Ejecuta evaluate() para evaluar las respuestas del modelo:

1. Evalúa las respuestas del modelo con la métrica adaptable basada en rúbricas predeterminada GENERAL_QUALITY:

   eval_result = client.evals.evaluate(dataset=eval_dataset)
   

2. Visualiza los resultados de la evaluación llamando a .show() en el objeto EvaluationResult para mostrar las métricas de resumen y los resultados detallados:

   eval_result.show()
   

En la siguiente imagen, se muestra un informe de evaluación, que incluye métricas de resumen y resultados detallados para cada par de instrucciones y respuestas.

Realiza una limpieza

Durante este instructivo, no se crean recursos de Gemini Enterprise Agent Platform.

¿Qué sigue?

• Define tus métricas de evaluación.