Instructivo: Realiza una evaluación con la consola

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Obtén información para comenzar a usar Gen AI Evaluation Service con la consola de Google Cloud Google Cloud .

Antes de comenzar

Accede a tu Google Cloud cuenta de. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Evalúa tu modelo

Para evaluar tu modelo, haz lo siguiente:

1. En la Google Cloud consola de Google Cloud, ve a la página Gen AI Evaluation.

   Ir a Evaluación

2. Haz clic en Nueva evaluación para abrir la página de evaluación.

3. Selecciona una fuente para cargar un conjunto de datos para la evaluación:

   • Para subir un archivo CSV o JSONL local, selecciona Subir archivo. El conjunto de datos debe contener instrucciones o registros para usar en una plantilla de instrucción y, de manera opcional, respuestas del modelo. La cantidad máxima es de 200 filas.

   • Para generar instrucciones a partir de una plantilla de instrucción, selecciona Generar datos. Gen AI Evaluation Service genera y propaga las variables que definiste en tu plantilla de instrucción cuando creaste tu conjunto de datos. Para obtener más información sobre la creación de plantillas de instrucciones, consulta Usa plantillas de instrucciones.

     1. Ingresa tu plantilla de instrucción con tus variables en el campo Plantilla de instrucción.

     2. Para agregar una descripción de cada una de tus variables o especificar la cantidad de muestras que se generarán, expande Definir variables y tamaño de muestra.

     3. Haz clic en Generar conjunto de datos para generar instrucciones.

4. Genera y evalúa respuestas en función de tus instrucciones:

   1. En la sección Candidatos de evaluación, haz clic en Agregar candidato de evaluación o, si ya existe un candidato, haz clic en Editar para definir las instrucciones y las respuestas que se evaluarán. Por ejemplo, puedes especificar instrucciones o respuestas de tu archivo subido o de datos generados.

   2. Para comparar varios candidatos, haz clic en Agregar candidato a la comparación.

   3. En la sección Métricas, agrega al menos una métrica para calificar la calidad de las respuestas de tu candidato. Para obtener más información sobre los tipos de métricas, consulta la sección Métricas de evaluación en la página Descripción general de Gen AI Evaluation Service.

   En el caso de algunas rúbricas adaptativas, puedes dirigir las rúbricas que se generan a partir de cada instrucción expandiendo Avanzado y proporcionando instrucciones personalizadas, como Evaluate the dataset on cultural sensitivity.

   1. En la sección Configuración de nombre y almacenamiento, especifica un nombre para tu evaluación y un bucket de Cloud Storage en el que se almacenan los resultados de la evaluación.

5. Haz clic en Evaluar.

Visualiza los resultados de la evaluación

Para ver un resultado de la evaluación, haz lo siguiente:

1. En la Google Cloud consola de Google Cloud, ve a la página GenAI Evaluation.

   Ir a Evaluación

2. Haz clic en el nombre de la evaluación.

   Para cada instrucción en tu conjunto de datos de evaluación, la respuesta se muestra junto con los resultados de la evaluación.

Evalúa modelos de socios

Puedes usar Gen AI Evaluation Service para evaluar los siguientes modelos de socios:

• Anthropic
• Llama

Los modelos de socios son compatibles con Model Garden de Gemini Enterprise Agent Platform. Debes habilitar un modelo de socio en Model Garden antes de seleccionarlo para la evaluación. Para evaluar un modelo de socio, selecciónalo en el menú de selección de modelos durante la configuración de la evaluación.

Precios

Los precios para evaluar modelos de terceros se basan en los cargos incurridos por la inferencia de modelos en Model Garden de Gemini Enterprise Agent Platform. Consulta la página de precios de IA generativa en Agent Platform.

¿Qué sigue?

• Define tus métricas de evaluación.