Un extremo público dedicado es un extremo público para la inferencia en línea. Ofrece los siguientes beneficios:
- Herramientas de redes dedicadas: Cuando envías una solicitud de inferencia a un extremo público dedicado, se aísla del tráfico de otros usuarios.
- Latencia de red optimizada
- Compatibilidad con cargas útiles más grandes: Hasta 10 MB.
- Tiempos de espera de solicitudes más largos: Se pueden configurar hasta 1 hora.
- Preparado para la IA generativa: Se admiten la transmisión y gRPC. El tiempo de espera de la inferencia se puede configurar hasta 1 hora.
Por estos motivos, se recomienda usar extremos públicos dedicados como práctica recomendada para entregar inferencias en línea de Gemini Enterprise Agent Platform.
Para obtener más información, consulta Elige un tipo de extremo.
Crea un extremo público dedicado y, luego, implementa un modelo en él
Puedes crear un extremo dedicado y, luego, implementar un modelo en él con la consola deGoogle Cloud . Para obtener más información, consulta Implementa un modelo con la consola de Google Cloud .
También puedes crear un extremo público dedicado y, luego, implementar un modelo en él con la API de Gemini Enterprise de la siguiente manera:
- Crea un extremo público dedicado. La configuración del tiempo de espera de inferencia y del registro de solicitudes y respuestas se admite en el momento de la creación del extremo.
- Implementar el modelo con la API de Gemini Enterprise
Obtén inferencias en línea desde un extremo público dedicado
Los extremos dedicados admiten los protocolos de comunicación HTTP y gRPC. En el caso de las solicitudes de gRPC, se debe incluir el encabezado x-vertex-ai-endpoint-id para identificar correctamente el extremo. Se admiten las siguientes APIs:
- Predecir
- RawPredict
- StreamRawPredict
- Finalización de chat (solo en Model Garden de Gemini Enterprise Agent Platform)
Puedes enviar solicitudes de inferencia en línea a un endpoint público dedicado con el SDK de Agent Platform para Python. Para obtener más detalles, consulta Envía una solicitud de inferencia en línea a un extremo público dedicado.
Instructivo
Limitaciones
- No se admite la Deployment de modelos de Gemini ajustados.
- No se admiten los Controles del servicio de VPC. En su lugar, usa un extremo de Private Service Connect.
¿Qué sigue?
- Obtén más información sobre los tipos de extremos de inferencia en línea de Gemini Enterprise Agent Platform.