OpenAI-Modelle sind als verwaltete APIs und selbst bereitgestellte Modelle in Vertex AI verfügbar. Sie können Ihre Antworten streamen, um die vom Endnutzer wahrgenommene Latenz zu reduzieren. Eine gestreamte Antwort verwendet Server-Sent Events (SSE), um die Antwort schrittweise zu streamen.
gpt-oss 120B
OpenAI gpt-oss 120B ist ein Sprachmodell mit 120 Milliarden Parametern, das unter der Apache 2.0-Lizenz veröffentlicht wurde. Es eignet sich gut für Anwendungsfälle mit Schlussfolgerungen und Funktionsaufrufen. Das Modell ist für die Bereitstellung auf Consumer-Hardware optimiert.
Das 120B-Modell erreicht auf Benchmarks für das Kern-Reasoning nahezu die gleiche Leistung wie OpenAI o4-mini, während es auf einer einzelnen 80‑GB-GPU ausgeführt wird.
Zur Modellkarte für gpt-oss 120Bgpt-oss 20B
OpenAI gpt-oss 20B ist ein Sprachmodell mit 20 Milliarden Parametern, das unter der Apache 2.0-Lizenz veröffentlicht wurde. Es eignet sich gut für Anwendungsfälle mit Schlussfolgerungen und Funktionsaufrufen. Das Modell ist für die Bereitstellung auf Consumer-Hardware optimiert.
Das 20B-Modell liefert bei gängigen Benchmarks ähnliche Ergebnisse wie OpenAI o3-mini und kann auf Edge-Geräten mit 16 GB Speicher ausgeführt werden. Damit ist es ideal für On-Device-Anwendungsfälle, lokale Inferenz oder schnelle Iterationen ohne kostspielige Infrastruktur.
Zur Modellkarte für gpt-oss 20BOpenAI-Modelle verwenden
Für verwaltete Modelle können Sie curl-Befehle verwenden, um Anfragen mit den folgenden Modellnamen an den Vertex AI-Endpunkt zu senden:
- Verwenden Sie für gpt-oss 120B
gpt-oss-120b-maas. - Verwenden Sie für gpt-oss 20B
gpt-oss-20b-maas.
Informationen zum Ausführen von Streaming- und Nicht-Streaming-Aufrufen von OpenAI-Modellen finden Sie unter Open-Model-APIs aufrufen.
So verwenden Sie ein selbst bereitgestelltes Vertex AI-Modell:
- Rufen Sie die Model Garden-Konsole auf.
- Suchen Sie das entsprechende Vertex AI-Modell.
- Klicken Sie auf Aktivieren und füllen Sie das bereitgestellte Formular aus, um die erforderlichen Lizenzen für die kommerzielle Nutzung zu erhalten.
Weitere Informationen zum Bereitstellen und Verwenden von Partnermodellen finden Sie unter Partnermodell bereitstellen und Vorhersageanfragen stellen .
Regionale Verfügbarkeit von OpenAI-Modellen
OpenAI-Modelle sind in den folgenden Regionen verfügbar:
| Modell | Regionen |
|---|---|
| gpt-oss 120B |
|
| gpt-oss 20B |
|
Nächste Schritte
Informationen zum Aufrufen von APIs für offene Modelle