Instructivo: Realiza la evaluación con la consola

Obtén más información para comenzar a usar el servicio de evaluación de IA generativa con la consola de Google Google Cloud .

Antes de comenzar

Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Evalúa tu modelo

Para evaluar tu modelo, haz lo siguiente:

1. En la consola de Google Cloud , ve a la página Gen AI Evaluation.

   Ir a Evaluación

2. Haz clic en Nueva evaluación para abrir la página de evaluación.

3. Selecciona una fuente para cargar un conjunto de datos para la evaluación:

   • Para subir un archivo CSV o JSONL local, selecciona Subir archivo. El conjunto de datos debe contener instrucciones o registros para usar en una plantilla de instrucciones y, de manera opcional, respuestas del modelo. La cantidad máxima es de 200 filas.

   • Para generar instrucciones a partir de una plantilla de instrucciones, selecciona Generar datos. El servicio de evaluación de IA generativa genera y completa las variables que definiste en tu plantilla de instrucciones cuando creaste tu conjunto de datos. Para obtener más información sobre cómo crear plantillas de instrucciones, consulta Usa plantillas de instrucciones.

     1. Ingresa tu plantilla de instrucciones con tus variables en el campo Plantilla de instrucciones.

     2. Para agregar una descripción de cada una de tus variables o especificar la cantidad de muestras que se generarán, expande Define variables and sample size.

     3. Haz clic en Generar conjunto de datos para generar instrucciones.

4. Genera y evalúa respuestas basadas en tus instrucciones:

   1. En la sección Candidatos para la evaluación, haz clic en Agregar candidato para la evaluación o, si ya existe un candidato, haz clic en Editar para definir las instrucciones y las respuestas que se evaluarán. Por ejemplo, puedes especificar instrucciones o respuestas a partir de tu archivo subido o de los datos generados.

   2. Para comparar varios candidatos, haz clic en Agregar candidato a la comparación.

   3. En la sección Métricas, agrega al menos una métrica para calificar la calidad de las respuestas de tu candidato. Para obtener más información sobre los tipos de métricas, consulta la sección Métricas de evaluación en la página de descripción general del servicio de evaluación de IA generativa.

   En algunas rúbricas adaptativas, puedes guiar las rúbricas que se generan a partir de cada instrucción expandiendo Avanzado y proporcionando instrucciones personalizadas, como Evaluate the dataset on cultural sensitivity.

   1. En la sección Configuración de nombre y almacenamiento, especifica un nombre para tu evaluación y un bucket de Cloud Storage en el que se almacenarán los resultados de las evaluaciones.

5. Haz clic en Evaluar.

Cómo ver los resultados de la evaluación

Para ver el resultado de una evaluación, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Evaluación de IA generativa.

   Ir a Evaluación

2. Haz clic en el nombre de la evaluación.

   Para cada instrucción en tu conjunto de datos de evaluación, se muestra la respuesta junto con los resultados de la evaluación.

Evalúa los modelos de socios

Puedes usar Gen AI Evaluation Service para evaluar los siguientes modelos de socios:

• Anthropic
• Llama

Los modelos de socios se admiten a través de Model Garden de Gemini Enterprise Agent Platform. Debes habilitar un modelo de socio en Model Garden antes de seleccionarlo para la evaluación. Para evaluar un modelo de socio, selecciónalo en el menú de selección de modelos durante la configuración de la evaluación.

Precios

El precio de la evaluación de modelos de terceros se basa en los cargos que se generen por la inferencia del modelo en Model Garden de Gemini Enterprise Agent Platform. Consulta la página de precios de IA generativa en Agent Platform.

¿Qué sigue?

• Define tus métricas de evaluación.