Los modelos de OpenAI se pueden usar como APIs gestionadas y modelos autodesplegados en Vertex AI. Puedes transmitir tus respuestas para reducir la latencia que perciben los usuarios finales. Una respuesta transmitida usa eventos enviados por el servidor (SSE) para transmitir la respuesta de forma incremental.
Modelos de OpenAI gestionados
Los modelos de OpenAI ofrecen modelos totalmente gestionados y sin servidor como APIs. Para usar un modelo de OpenAI en Vertex AI, envía una solicitud directamente al endpoint de la API de Vertex AI. Si usas los modelos de OpenAI como una API gestionada, no tienes que aprovisionar ni gestionar ninguna infraestructura.
OpenAI ofrece los siguientes modelos para usarlos en Vertex AI. Para acceder a un modelo de OpenAI, ve a su tarjeta de modelo de Model Garden.
gpt-oss 120B
OpenAI gpt-oss 120B es un modelo de lenguaje de 120.000 millones de parámetros de software libre publicado bajo la licencia Apache 2.0. Es adecuada para casos prácticos de razonamiento y llamadas a funciones. El modelo está optimizado para implementarse en hardware de consumo.
El modelo de 120 mil millones consigue una paridad casi total con o4-mini de OpenAI en las pruebas de razonamiento básicas, y todo ello con una sola GPU de 80 GB.
Ir a la tarjeta del modelo gpt-oss 120B
gpt-oss 20B
OpenAI gpt-oss 20B es un modelo de lenguaje de 20.000 millones de parámetros de código abierto publicado bajo la licencia Apache 2.0. Es ideal para casos prácticos de razonamiento y llamadas a funciones. El modelo está optimizado para implementarse en hardware de consumo.
El modelo de 20.000 millones de parámetros ofrece resultados similares a los de o3-mini de OpenAI en las comparativas habituales y se puede ejecutar en dispositivos periféricos con 16 GB de memoria, lo que lo convierte en la opción ideal para casos prácticos en el dispositivo, inferencias locales o iteraciones rápidas sin necesidad de una infraestructura costosa.
Ir a la tarjeta del modelo gpt-oss 20B
Usar modelos de OpenAI
En el caso de los modelos gestionados, puedes usar comandos curl para enviar solicitudes al endpoint de Vertex AI con los siguientes nombres de modelo. Para saber cómo hacer llamadas de streaming y no de streaming a modelos de OpenAI, consulta Llamar a APIs de modelos abiertos.
Para usar un modelo de Vertex AI autodesplegado, sigue estos pasos:
- Ve a la consola Model Garden.
- Busca el modelo de Vertex AI pertinente.
- Haz clic en Habilitar y rellena el formulario proporcionado para obtener las licencias de uso comercial necesarias.
Para obtener más información sobre cómo implementar y usar modelos de partners, consulta Implementar un modelo de partner y enviar solicitudes de predicción.
Siguientes pasos
- Consulta cómo llamar a APIs de modelos abiertos.