Información sobre las predicciones online

Vista previa: La predicción online es una función de vista previa que está disponible tal cual y no se recomienda para entornos de producción. Google no ofrece acuerdos de nivel de servicio (ANS) ni compromisos de asistencia técnica para las funciones de vista previa. Para obtener más información, consulta las fases de las funciones de GDC.

Vertex AI ofrece predicciones online en Google Distributed Cloud (GDC) con aislamiento de red a través de la API Online Prediction. Una predicción es el resultado de un modelo de aprendizaje automático entrenado. En concreto, las predicciones online son solicitudes síncronas que se envían al punto de conexión de tu modelo.

La predicción online te permite subir, desplegar, servir y hacer solicitudes usando tus propios modelos de predicción en un conjunto de contenedores compatibles. Usa la predicción online cuando hagas solicitudes en respuesta a la entrada de una aplicación o en situaciones que requieran inferencias oportunas.

Puedes usar la API Prediction Online aplicando recursos personalizados de Kubernetes al clúster de predicción dedicado que crea tu operador de infraestructura (IO).

Antes de obtener predicciones online, debes exportar los artefactos del modelo y desplegar el modelo en un punto de conexión. Esta acción asocia recursos de computación al modelo para servir predicciones online con baja latencia.

A continuación, puedes obtener predicciones online a partir de un modelo entrenado previamente formateando y enviando una solicitud.

Imágenes de contenedor disponibles

En la siguiente tabla se muestra la lista de contenedores compatibles con la predicción online en Distributed Cloud:

Framework de aprendizaje automático	Versión	Aceleradores compatibles	Imágenes compatibles
TensorFlow	2.18	CPU	tf2-cpu.2-18
		GPU	tf2-gpu.2-18
PyTorch	2.4	CPU	pytorch-cpu.2-4
		GPU	pytorch-gpu.2-4
	2.1 (OBSOLETO)	CPU	pytorch-cpu.2-1
		GPU	pytorch-gpu.2-1