Model OpenAI di Vertex AI menawarkan model sebagai API yang terkelola sepenuhnya dan serverless. Untuk menggunakan model OpenAI di Vertex AI, kirim permintaan langsung ke endpoint Vertex AI API. Karena model OpenAI menggunakan API terkelola, tidak perlu menyediakan atau mengelola infrastruktur.
Anda dapat melakukan streaming respons untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk mengalirkan respons secara bertahap.
Model OpenAI yang tersedia
Model berikut tersedia dari OpenAI untuk digunakan di Vertex AI. Untuk mengakses model OpenAI, buka kartu modelnya di Model Garden.
gpt-oss 120B
gpt-oss 120B OpenAI adalah model bahasa dengan bobot terbuka 120B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.
Model 120B mencapai paritas yang hampir sama dengan o4-mini OpenAI pada tolok ukur penalaran inti, sambil berjalan di satu GPU 80 GB.
gpt-oss 20B
gpt-oss 20B OpenAI adalah model bahasa dengan bobot terbuka 20B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.
Model 20B memberikan hasil yang serupa dengan o3-mini OpenAI pada tolok ukur umum dan dapat berjalan di perangkat edge dengan memori 16 GB, sehingga ideal untuk kasus penggunaan di perangkat, inferensi lokal, atau iterasi cepat tanpa infrastruktur yang mahal.
Menggunakan model OpenAI
Untuk mempelajari cara melakukan panggilan streaming dan non-streaming ke model OpenAI, lihat Memanggil API model terbuka.
Langkah berikutnya
- Pelajari cara Memanggil API model terbuka.