Descripción general sobre cómo obtener inferencias en Agent Platform

Una inferencia es el resultado de un modelo de aprendizaje automático entrenado. En esta página, se proporciona una descripción general del flujo de trabajo para obtener inferencias de tus modelos en Gemini Enterprise Agent Platform.

Agent Platform ofrece dos métodos para obtener inferencias:

  • Las inferencias en línea son solicitudes síncronas realizadas en un modelo que se implementa en un Endpoint. Por lo tanto, antes de enviar una solicitud, primero debes implementar el Model recurso en un extremo. Esto asocia los recursos de procesamiento al modelo para que pueda entregar inferencias en línea con baja latencia. Usa inferencias en línea cuando realices solicitudes en respuesta a la entrada de la aplicación o en situaciones en las que se necesite una inferencia oportuna.
  • Las inferencias por lotes son solicitudes asíncronas realizadas en un modelo que no se implementa en un extremo. Envías la solicitud (como un BatchPredictionJob recurso) directamente al recurso Model. Usa las inferencias por lotes cuando no necesites una respuesta inmediata y desees procesar datos acumulados mediante una sola solicitud.

Prueba el modelo de forma local

Antes de obtener inferencias, es útil implementar el modelo en un extremo local durante la fase de desarrollo y prueba. Esto te permite iterar con mayor rapidez y probar tu modelo sin implementarlo en un extremo en línea ni incurrir en costos de inferencia. La implementación local está diseñada para el desarrollo y las pruebas locales, no para las implementaciones de producción.

Si deseas implementar un modelo de forma local, usa el SDK de Agent Platform para Python e implementa un LocalModel en un LocalEndpoint. Para obtener una demostración, consulta este notebook.

Incluso si tu cliente no está escrito en Python, puedes usar el SDK de Agent Platform para Python a fin de iniciar el contenedor y el servidor para poder probar las solicitudes de tu cliente.

Obtén inferencias a partir de modelos entrenados personalizados

Para obtener inferencias, primero debes importar tu modelo. Después de importarse, se convierte en un Model recurso visible en Model Registry.

Luego, lee la siguiente documentación para aprender a obtener inferencias:

Obtén inferencias a partir de modelos de AutoML

A diferencia de los modelos entrenados personalizados, los modelos de AutoML se importan automáticamente a Model Registry después del entrenamiento.

Aparte de eso, el flujo de trabajo de los modelos de AutoML es similar, pero varía ligeramente según el tipo de datos y el objetivo del modelo. La documentación para obtener inferencias de AutoML se encuentra junto con la otra documentación de AutoML. En las siguientes secciones, se proporcionan vínculos a la documentación.

Imagen

Obtén información sobre cómo obtener inferencias a partir de los siguientes tipos de modelos de AutoML de imágenes:

Tabular

Obtén información sobre cómo obtener inferencias a partir de los siguientes tipos de modelos tabulares de AutoML:

Obtén inferencias de los modelos de BigQuery ML

Puedes obtener inferencias de los modelos de BigQuery ML de dos maneras:

  • Solicita inferencias por lotes directamente desde el modelo en BigQuery ML.
  • Registra los modelos directamente con Model Registry, sin exportarlos desde BigQuery ML ni importarlos al registro.

¿Qué sigue?