Gemini Enterprise Agent Platform Experiments es una herramienta que te ayuda a realizar un seguimiento de las diferentes arquitecturas de modelos, los hiperparámetros y los entornos de entrenamiento, y te permite analizarlos, lo que te permite hacer un seguimiento de los pasos, las entradas y las salidas de una ejecución de experimento. Gemini Enterprise Agent Platform Experiments también puede evaluar el rendimiento de tu modelo de manera no individualizada, con conjuntos de datos de prueba y durante la ronda de entrenamiento. Luego, puedes usar esta información para seleccionar el mejor modelo para tu caso de uso en particular.
Las ejecuciones de experimentos no generan cargos adicionales. Solo se te cobrará por los recursos que uses durante el experimento, como se describe en Precios de Gemini Enterprise Agent Platform.
| ¿Qué desea hacer? | Consulta la muestra de notebook |
|---|---|
| haz un seguimiento de las métricas y los parámetros | Compara modelos |
| haz un seguimiento del linaje del experimento | Entrenamiento del modelo |
| haz un seguimiento de las ejecuciones de canalizaciones | Compara las ejecuciones de canalizaciones |
Haz un seguimiento de los pasos, las entradas y las salidas
Agent Platform Experiments te permite hacer un seguimiento de lo siguiente:
- los pasos de una ejecución de experimento, por ejemplo, procesamiento previo, entrenamiento,
- las entradas, por ejemplo, algoritmo, parámetros, conjuntos de datos
- los resultados de esos pasos, por ejemplo, modelos, puntos de control, métricas.
Luego, puedes descubrir qué funcionó y qué no, e identificar más posibilidades para la experimentación.
Para ver ejemplos del recorrido del usuario, consulta:
Analiza el rendimiento del modelo
Agent Platform Experiments te permite realizar un seguimiento y evaluar el rendimiento del modelo en su totalidad, con conjuntos de datos de prueba y durante la ejecución del entrenamiento. Esta capacidad ayuda a comprender las características de rendimiento de los modelos: qué tan bien funciona en general un modelo en particular, dónde falla y en qué se destaca.
Para ver ejemplos del recorrido del usuario, consulta:
Cómo comparar el rendimiento del modelo
Agent Platform Experiments te permite agrupar y comparar varios modelos en ejecuciones de experimentos. Cada modelo tiene especificados sus propios parámetros, técnicas de modelado, arquitecturas y entradas. Este enfoque ayuda a seleccionar el mejor modelo.
Para ver ejemplos del recorrido del usuario, consulta:
Buscar experimentos
La Google Cloud consola proporciona una vista centralizada de los experimentos, una vista transversal de las ejecuciones del experimento y los detalles de cada ejecución. El SDK de Agent Platform para Python proporciona APIs para consumir experimentos, ejecuciones de experimentos, parámetros de ejecución de experimentos, métricas y artefactos.
Agent Platform Experiments, junto con los metadatos de AA de Gemini Enterprise Agent Platform, proporciona una forma de encontrar los artefactos de los que se realiza un seguimiento en un experimento. Esto te permite ver con rapidez el linaje del artefacto y los artefactos consumidos y producidos por los pasos en una ejecución.
Alcance de la compatibilidad
Gemini Enterprise Agent Platform Experiments admite el desarrollo de modelos mediante el entrenamiento personalizado de Gemini Enterprise Agent Platform, los notebooks de Gemini Enterprise Agent Platform Workbench, Notebooks y todos los Python ML Frameworks en la mayoría de los ML Frameworks. Para algunos frameworks de AA, como TensorFlow, Gemini Enterprise Agent Platform Experiments proporciona integraciones profundas en el framework que hacen que la experiencia del usuario sea automágica. Para otros frameworks de AA, Gemini Enterprise Agent Platform Experiments proporciona un SDK de Agent Platform para Python de framework neutro que puedes usar. (Consulta: Contenedores compilados previamente para TensorFlow, scikit-learn, PyTorch y XGBoost).
Modelos de datos y conceptos
Gemini Enterprise Agent Platform Experiments es un contexto
en los metadatos de AA de Agent Platform en el que un experimento
puede contener n ejecuciones de experimentos además de n ejecuciones de canalizaciones. Una ejecución de experimento
consta de parámetros, métricas de resumen, métricas de series temporales y
PipelineJob, Artifact,
y Execution recursos de Gemini Enterprise Agent Platform.
Vertex AI TensorBoard, una
versión administrada de TensorBoard de código abierto, se usa para el almacenamiento de métricas de series temporales. Las ejecuciones y los artefactos de una ejecución de canalización se pueden ver
en la Google Cloud consola.
Términos de Agent Platform Experiments
Experimento, ejecución de experimento y ejecución de canalización
Experimento
- Un experimento es un contexto que puede contener un conjunto de n ejecuciones de experimentos además de ejecuciones de canalizaciones en las que un usuario puede investigar, como un grupo, diferentes configuraciones como artefactos de entrada o hiperparámetros.
ejecución de experimento
- Una ejecución específica y rastreable dentro de un experimento de Vertex AI, que registra entradas (como algoritmo, parámetros y conjuntos de datos) y salidas (como modelos, puntos de control y métricas) para supervisar y comparar las iteraciones de desarrollo de AA. Para obtener más información, consulta Crea y administra ejecuciones de experimentos.
ejecución de canalización
- Uno o más PipelineJobs de Vertex se pueden asociar con un experimento en el que cada PipelineJob se represente como una sola ejecución. En este contexto, los parámetros de la ejecución se infieren mediante los parámetros del PipelineJob. Las métricas se infieren a partir de los artefactos system.Metric que produce ese PipelineJob. Los artefactos de la ejecución se infieren de los artefactos que produce ese PipelineJob.
PipelineJob de Gemini Enterprise Agent Platform
a un recurso ExperimentRun.
En este contexto, no se infieren los parámetros, las métricas ni los artefactos.
Consulta Asocia una canalización con un experimento.
Parámetros y métricas
Consulta Parámetros de registro.
métricas resumidas
- Las métricas resumidas son un solo valor para cada clave de métrica en una ejecución de experimento. Por ejemplo, la precisión de la prueba de un experimento es la exactitud calculada en un conjunto de datos de prueba al final del entrenamiento, que puede capturarse como una métrica resumida de valor único.
Consulta Registra métricas resumidas.
métricas de series temporales
- Las métricas de series temporales son valores de métricas longitudinales, en los que cada valor representa un paso en la parte de la rutina de entrenamiento de una ejecución. Las métricas de series temporales se almacenan en Vertex AI TensorBoard. Vertex AI Experiments almacena una referencia al recurso de Vertex TensorBoard.
Consulta Registra métricas de series temporales.
Tipos de recursos
trabajo de canalización
- Un trabajo de canalización o una ejecución de canalización corresponden al recurso PipelineJob en la API de Vertex AI. Es una instancia de ejecución de la definición de la canalización de AA, que se define como un conjunto de tareas de AA interconectadas por dependencias de entrada y salida.
artefacto
- Un artefacto es una entidad discreta o un dato producido y consumido por un flujo de trabajo del aprendizaje automático. Algunos ejemplos de artefactos son los conjuntos de datos, modelos, archivos de entrada y registros de entrenamiento.
Agent Platform Experiments te permite usar un esquema para definir el tipo de artefacto. Por ejemplo, los tipos de esquema compatibles incluyen system.Dataset, system.Model y system.Artifact. Para obtener más información, consulta Esquemas del sistema.