Descripción general de Gen AI Evaluation Service

El Gen AI Evaluation Service proporciona herramientas de nivel empresarial para la evaluación objetiva y basada en datos de modelos de IA generativa. Apoya y fundamenta una serie de tareas de desarrollo, como migraciones de modelos, edición de instrucciones y ajuste.

Funciones de Gen AI Evaluation Service

La función definitoria de Gen AI Evaluation Service es la capacidad de usar rúbricas adaptables, un conjunto de pruebas personalizadas de aprobado o reprobado para cada instrucción individual. Las rúbricas de evaluación son similares a las pruebas de unidades en el desarrollo de software y tienen como objetivo mejorar el rendimiento del modelo en una variedad de tareas.

Funciones de Gen AI Evaluation Service

Gen AI Evaluation Service admite los siguientes métodos de evaluación comunes:

  • Rúbricas adaptables (recomendado): Genera un conjunto único de rúbricas de aprobado o reprobado para cada instrucción individual en tu conjunto de datos.

  • Rúbricas estáticas: Aplica un conjunto fijo de criterios de puntuación en todas las instrucciones.

  • Métricas basadas en cálculos: Usa algoritmos deterministas como ROUGE o BLEU cuando hay una verdad fundamental disponible.

  • Funciones personalizadas: Define tu propia lógica de evaluación en Python para requisitos especializados.

Generación de conjuntos de datos de evaluación

Puedes crear un conjunto de datos de evaluación con los siguientes métodos:

  • Sube un archivo que contenga instancias de instrucciones completas o proporciona una plantilla de instrucciones junto con un archivo correspondiente de valores variables para propagar las instrucciones completadas.

  • Toma muestras directamente de los registros de producción para evaluar el uso real de tu modelo.

  • Usa la generación de datos sintéticos para generar una gran cantidad de ejemplos coherentes para cualquier plantilla de instrucciones.

Interfaces compatibles

Puedes definir y ejecutar tus evaluaciones con las siguientes interfaces:

Casos de uso

Gen AI Evaluation Service te permite ver cómo se comporta un modelo en tus tareas específicas y en función de tus criterios únicos, lo que proporciona estadísticas valiosas que no se pueden obtener de las tablas de clasificación públicas ni de las comparativas generales. Esto admite tareas de desarrollo críticas, incluidas las siguientes:

  • Migraciones de modelos: Compara las versiones del modelo para comprender las diferencias de comportamiento y ajustar tus instrucciones y parámetros de configuración en consecuencia.

  • Cómo encontrar el mejor modelo: Ejecuta comparaciones directas de modelos de Google y de terceros en tus datos para establecer una línea de base de rendimiento y determinar el mejor ajuste para tu caso de uso.

  • Mejora de instrucciones: Usa los resultados de la evaluación para guiar tus esfuerzos de personalización. Volver a ejecutar una evaluación crea un ciclo de retroalimentación ajustado, lo que proporciona comentarios inmediatos y cuantificables sobre tus cambios.

  • Ajuste de modelos: Evalúa la calidad de un modelo ajustado aplicando criterios de evaluación coherentes a cada ejecución.

  • Evaluación de agentes: Evalúa el rendimiento de un agente con métricas específicas del agente, como seguimientos de agentes y calidad de respuesta.

Flujo de trabajo de evaluación

Por lo general, para completar una evaluación, debes seguir los siguientes pasos:

  • Crea un conjunto de datos de evaluación: Ensambla un conjunto de datos de instancias de instrucciones que reflejen tu caso de uso específico. Puedes incluir respuestas de referencia (verdad fundamental) si planeas usar métricas basadas en cálculos.

  • Define métricas de evaluación: Elige las métricas que deseas usar para medir el rendimiento del modelo.

  • Genera respuestas del modelo: Selecciona uno o más modelos para generar respuestas para tu conjunto de datos. El SDK de Agent Platform admite cualquier modelo al que se pueda llamar a través de LiteLLM, mientras que la consola admite modelos de Google Gemini.

  • Ejecuta la evaluación: Ejecuta el trabajo de evaluación, que evalúa las respuestas de cada modelo en función de las métricas seleccionadas.

  • Interpreta los resultados: Revisa las puntuaciones agregadas y las respuestas individuales para analizar el rendimiento del modelo.

Métricas de evaluación

Los siguientes son conceptos básicos relacionados con las métricas de evaluación:

  • Rúbricas: Los criterios para calificar la respuesta de un modelo o aplicación de LLM.

  • Métricas: Una puntuación que mide el resultado del modelo en función de las rúbricas de calificación.

Gen AI Evaluation Service ofrece las siguientes categorías de métricas:

  • Métricas basadas en rúbricas: Incorpora LLMs en los flujos de trabajo de evaluación para evaluar la calidad de las respuestas del modelo. Las evaluaciones basadas en rúbricas son adecuadas para una variedad de tareas, en especial la calidad de la escritura, la seguridad y el seguimiento de instrucciones, que suelen ser difíciles de evaluar con algoritmos deterministas.

    • Rúbricas adaptables (recomendado): Las rúbricas se generan de forma dinámica para cada instrucción, como las pruebas de unidades. Las respuestas se evalúan con un conjunto único de pruebas de aprobado o reprobado para cada instrucción individual en tu conjunto de datos. Las rúbricas mantienen la evaluación pertinente para la tarea solicitada y tienen como objetivo proporcionar resultados objetivos, explicables y coherentes.

      Por lo general, las rúbricas adaptables son la forma más rápida de comenzar a usar las evaluaciones, lo que garantiza que cada evaluación sea pertinente para la tarea específica que se evalúa.

    • Rúbricas estáticas: Las rúbricas se definen de forma explícita y se aplica la misma rúbrica a todas las instrucciones. Las respuestas se evalúan con el mismo conjunto de evaluadores basados en puntuación numérica. Una sola puntuación numérica (como 1 a 5) por instrucción. Usa rúbricas estáticas cuando se requiere una evaluación en una dimensión muy específica o cuando se requiere la misma rúbrica exacta en todas las instrucciones.

  • Métricas basadas en cálculos: Evalúa las respuestas con algoritmos deterministas , por lo general, con la verdad fundamental. Una puntuación numérica (como 0.0 a 1.0) por instrucción. Cuando la verdad fundamental está disponible y se puede hacer coincidir con un método determinista.

  • Métricas de funciones personalizadas (solo SDK de Agent Platform): Define tu propia métrica a través de una función de Python.

Ejemplo de rúbricas adaptables

El proceso de evaluación para cada instrucción usa un sistema de dos pasos:

  1. Generación de rúbricas: Primero, el servicio analiza tu instrucción y genera una lista de pruebas específicas y verificables (las rúbricas) que debe cumplir una respuesta correcta.

  2. Validación de rúbricas: Después de que tu modelo genera una respuesta, el servicio la evalúa en función de cada rúbrica, lo que proporciona un veredicto claro de Pass o Fail y una justificación.

El resultado final es una tasa de aprobación agregada y un desglose detallado de las rúbricas que aprobó el modelo, lo que te brinda estadísticas prácticas para diagnosticar problemas y medir mejoras.

Si pasas de puntuaciones subjetivas y de alto nivel a resultados de pruebas objetivos y detallados, puedes adoptar un ciclo de desarrollo basado en la evaluación y aplicar las prácticas recomendadas de ingeniería de software al proceso de compilación de aplicaciones de IA generativa.

En el siguiente ejemplo, se muestran rúbricas adaptables de muestra que se generaron para un conjunto de instrucciones:

Instrucción del usuario: Write a four-sentence summary of the provided article about renewable energy, maintaining an optimistic tone.

Para esta instrucción, el paso de generación de rúbricas podría producir las siguientes rúbricas:

  • Rúbrica 1: La respuesta es un resumen del artículo proporcionado.

  • Rúbrica 2: La respuesta contiene exactamente cuatro oraciones.

  • Rúbrica 3: La respuesta mantiene un tono optimista.

Tu modelo puede producir la siguiente respuesta: The article highlights significant growth in solar and wind power. These advancements are making clean energy more affordable. The future looks bright for renewables. However, the report also notes challenges with grid infrastructure.

Durante la validación de rúbricas, Gen AI Evaluation Service evalúa la respuesta en función de cada rúbrica:

  • Rúbrica 1: La respuesta es un resumen del artículo proporcionado.

    • Veredicto: Pass

    • Motivo: La respuesta resume con precisión los puntos principales.

  • Rúbrica 2: La respuesta contiene exactamente cuatro oraciones.

    • Veredicto: Pass

    • Motivo: La respuesta se compone de cuatro oraciones distintas.

  • Rúbrica 3: La respuesta mantiene un tono optimista.

    • Veredicto: Fail

    • Motivo: La oración final introduce un punto negativo, lo que resta valor al tono optimista.

La tasa de aprobación final para esta respuesta es del 66.7%. Para comparar dos modelos, puedes evaluar sus respuestas en función de este mismo conjunto de pruebas generadas y comparar sus tasas de aprobación generales.

Comienza a usar las evaluaciones

Puedes comenzar a usar las evaluaciones con la consola.

Como alternativa, el siguiente código muestra cómo completar una evaluación con el cliente de GenAI en el SDK de Agent Platform:

from vertexai import Client
from vertexai import types
import pandas as pd

client = Client(project=PROJECT_ID, location=LOCATION)

# Create an evaluation dataset
prompts_df = pd.DataFrame({
    "prompt": [
        "Write a simple story about a dinosaur",
        "Generate a poem about Agent Platform",
    ],
})

# Get responses from one or multiple models
eval_dataset = client.evals.run_inference(model="gemini-2.5-flash", src=prompts_df)

# Define the evaluation metrics and run the evaluation job
eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[types.RubricMetric.GENERAL_QUALITY]
)

# View the evaluation results
eval_result.show()

Gen AI Evaluation Service ofrece dos interfaces del SDK de Agent Platform:

  • Cliente de GenAI en el SDK de Agent Platform (recomendado) (vista previa)

    from vertexai import client

    El cliente de GenAI es la interfaz más reciente y recomendada para la evaluación, a la que se accede a través de la clase unificada Client. Admite todos los métodos de evaluación y está diseñado para flujos de trabajo que incluyen comparación de modelos, visualización en notebooks y estadísticas para la personalización de modelos.

  • Módulo de evaluación en el SDK de Agent Platform (GA)

    from vertexai.evaluation import EvalTask

    El módulo de evaluación es la interfaz más antigua, que se mantiene para la retrocompatibilidad con los flujos de trabajo existentes, pero ya no está en desarrollo activo. Se accede a través de la clase EvalTask. Este método admite métricas estándar de LLM como juez y basadas en cálculos, pero no admite métodos de evaluación más recientes, como las rúbricas adaptables.

Regiones admitidas

Las siguientes regiones son compatibles con Gen AI Evaluation Service:

  • Iowa (us-central1)

  • Carolina del Sur (us-east1)

  • Virginia del Norte (us-east4)

  • Columbus, Ohio (us-east5)

  • Dallas, Texas (us-south1)

  • Oregón (us-west1)

  • Las Vegas, Nevada (us-west4)

  • Varsovia, Polonia (europe-central2)

  • Finlandia (europe-north1)

  • Madrid, España (europe-southwest1)

  • Bélgica (europe-west1)

  • Países Bajos (europe-west4)

  • Milán, Italia (europe-west8)

  • París, Francia (europe-west9)

  • Global (global)

Notebooks disponibles

Vínculos a notebooks Descripción
Comienza a usar: Evaluación rápida de IA generativa Proporciona una introducción a Gen AI Evaluation Service.
Evaluación de modelos de terceros con Gen AI Evaluation Service Muestra cómo usar el **SDK de Agent Platform** para evaluar varios tipos de modelos de terceros, incluidos los modelos a los que se accede con la API (como OpenAI, Anthropic), el modelo como servicio (MaaS) de Vertex Model Garden y los extremos de Bring Your Own Model (BYOM).
Migración de modelos con Gen AI Evaluation Service Muestra cómo usar el **SDK de Agent Platform** para Gen AI Evaluation Service para comparar dos modelos propios (como Gemini 2.0 Flash con Gemini 2.5 Flash). Destaca el uso de métricas predefinidas basadas en rúbricas adaptables y cómo los resultados de la evaluación pueden guiar la optimización de instrucciones. También se abarcan funciones clave, como la evaluación de varios candidatos, la visualización en notebooks y la evaluación asíncrona por lotes.
Evaluación de la calidad de texto a imagen con Gen AI Evaluation Service Muestra cómo usar el SDK de Vertex AI para Gen AI Evaluation Service para evaluar la calidad de las imágenes generadas en función de las instrucciones de texto. Demuestra el uso de la métrica Gecko predefinida basada en rúbricas adaptables.
Evaluación de la calidad de texto a video con Gen AI Evaluation Service Muestra cómo usar el **SDK de Agent Platform** para Gen AI Evaluation Service para evaluar la calidad de los videos generados en función de las instrucciones de texto. Demuestra el uso de la métrica Gecko predefinida basada en rúbricas adaptables.

¿Qué sigue?