Evalúa modelos con Agent Platform

En esta página, se describe cómo evaluar modelos con Agent Platform de Gemini Enterprise. Para obtener una descripción general, consulta Evaluación de modelos en Agent Platform.

Requisitos previos

  1. Sigue los pasos que se indican en Configura un proyecto y un entorno de desarrollo. Además, habilita los siguientes servicios:

  2. Agent Platform puede evaluar los modelos que se entrenan mediante AutoML o el entrenamiento personalizado. Para la Google Cloud guía de la consola, debes tener un modelo entrenado importado a Model Registry de Agent Platform de Gemini Enterprise.

  3. Sube el conjunto de datos de prueba a BigQuery o Cloud Storage. El conjunto de datos de prueba debe contener la verdad fundamental, que es el resultado real esperado para una inferencia. Obtén el vínculo al archivo o el ID del conjunto de datos.

  4. Obtén un resultado de inferencia por lotes en forma de tabla de BigQuery o URI de Cloud Storage.

  5. Asegúrate de que tu cuenta de servicio predeterminada de Compute Engine tenga los siguientes permisos de IAM:

    • Administrador de Agent Platform (aiplatform.admin)
    • Agente de servicio de Agent Platform (aiplatform.serviceAgent)
    • Administrador de objetos de almacenamiento (storage.objectAdmin)
    • Trabajador de Dataflow (dataflow.worker)
    • Editor de datos de BigQuery (bigquery.dataEditor) (solo es necesario si proporcionas datos en forma de tablas de BigQuery)

Crea una evaluación

Console

  1. En la Google Cloud consola de, ve a la página Modelos de Agent Platform de Gemini Enterprise.

    Ve a la página Modelos

  2. Haz clic en el nombre del modelo que deseas evaluar.

  3. Haz clic en el número de versión del modelo.

  4. En la pestaña Evaluar, haz clic en Crear evaluación.

  5. Ingresa un Nombre de evaluación.

  6. Selecciona un Objetivo, como clasificación o regresión.

  7. Ingresa el nombre de la columna de destino de la evaluación, que es la columna de los datos de entrenamiento que el modelo está entrenado para predecir.

  8. En Seleccionar fuente, selecciona la fuente para tu conjunto de datos de prueba.

    1. En Tabla de BigQuery, ingresa la ruta de BigQuery.

    2. En Archivo en Cloud Storage, ingresa la ruta de Cloud Storage.

  9. En Resultado de la predicción Batch, selecciona un formato de salida.

    1. Ingresa la ruta de acceso de BigQuery o el URI de Cloud Storage.

  10. Haz clic en Iniciar evaluación.

Python

Para ver el flujo de trabajo de evaluación del modelo de la API de Agent Platform en Gemini Enterprise Agent Platform Pipelines, consulta los notebooks de ejemplo para los siguientes tipos de modelos:

Python SDK

El SDK para evaluar modelos con Agent Platform está en estado experimental. Para registrarte en la versión experimental, completa el formulario de incorporación.

Agent Platform envía de forma automática una notificación por correo electrónico cuando se completa un trabajo de evaluación del modelo.

Visualiza las métricas de evaluación

Console

  1. En la Google Cloud consola de, ve a la página Modelos de Agent Platform de Gemini Enterprise.

    Ve a la página Modelos

  2. Navega a la versión del modelo.

  3. Consulta las métricas en la pestaña Evaluar.

Python

Para ver el flujo de trabajo de evaluación del modelo de la API de Agent Platform en Gemini Enterprise Agent Platform Pipelines, consulta los notebooks de ejemplo para los siguientes tipos de modelos:

Python SDK

El SDK para evaluar modelos con Agent Platform está en estado experimental. Para registrarte en la versión experimental, completa el formulario de incorporación.

Compara las métricas de evaluación

Puedes comparar los resultados de la evaluación en diferentes modelos, versiones de modelos y trabajos de evaluación. Para obtener más información sobre el control de versiones de modelos, consulta Control de versiones en Model Registry.

Solo puedes comparar modelos del mismo tipo, como clasificación, regresión o previsión. Cuando se comparan modelos diferentes, todas las versiones del modelo deben ser del mismo tipo.

Solo puedes comparar 5 evaluaciones o menos a la vez.

  1. Ve a Model Registry de Agent Platform de Gemini Enterprise en la Google Cloud consola de:

    Ve a la página Modelos

  2. Navega a tu modelo o versión del modelo:

    • Para comparar varios modelos en la página Modelos, selecciona las casillas de verificación junto a los nombres de los modelos que deseas comparar.

    • Sigue estos pasos para comparar versiones de modelos:

      1. Haz clic en el nombre del modelo en la página Modelos para abrir su lista de versiones.

      2. Selecciona las casillas de verificación junto a las versiones que deseas comparar.

    • Sigue estos pasos para comparar trabajos de evaluación de una misma versión del modelo:

      1. Haz clic en el nombre del modelo en la página Modelos para abrir su lista de versiones.

      2. Haz clic en el número de versión.

      3. Selecciona las casillas de verificación junto a los trabajos de evaluación que deseas comparar.

  3. Haz clic en Comparar.

¿Qué sigue?