Model OpenAI

Model OpenAI tersedia untuk digunakan sebagai API terkelola dan model yang di-deploy sendiri di Vertex AI. Anda dapat melakukan streaming respons untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk melakukan streaming respons secara bertahap.

gpt-oss 120B

gpt-oss 120B OpenAI adalah model bahasa dengan bobot terbuka 120B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.

Model 120B mencapai paritas yang hampir sama dengan o4-mini OpenAI pada tolok ukur penalaran inti, sambil berjalan di satu GPU 80 GB.

Buka kartu model gpt-oss 120B

gpt-oss 20B

gpt-oss 20B OpenAI adalah model bahasa dengan bobot terbuka 20B yang dirilis berdasarkan lisensi Apache 2.0. Model ini sangat cocok untuk kasus penggunaan penalaran dan panggilan fungsi. Model dioptimalkan untuk deployment di hardware konsumen.

Model 20B memberikan hasil yang serupa dengan o3-mini OpenAI pada tolok ukur umum dan dapat berjalan di perangkat edge dengan memori 16 GB, sehingga ideal untuk kasus penggunaan di perangkat, inferensi lokal, atau iterasi cepat tanpa infrastruktur yang mahal.

Buka kartu model gpt-oss 20B

Menggunakan model OpenAI

Untuk model terkelola, Anda dapat menggunakan perintah curl untuk mengirim permintaan ke endpoint Vertex AI menggunakan nama model berikut:

  • Untuk gpt-oss 120B, gunakan gpt-oss-120b-maas
  • Untuk gpt-oss 20B, gunakan gpt-oss-20b-maas

Untuk mempelajari cara melakukan panggilan streaming dan non-streaming ke model OpenAI, lihat Memanggil API model terbuka.

Untuk menggunakan model Vertex AI yang di-deploy sendiri:

  1. Buka konsol Model Garden.
  2. Temukan model Vertex AI yang relevan.
  3. Klik Aktifkan dan isi formulir yang disediakan untuk mendapatkan lisensi penggunaan komersial yang diperlukan.

Untuk mengetahui informasi selengkapnya tentang men-deploy dan menggunakan model partner, lihat Men-deploy model partner dan membuat permintaan prediksi .

Ketersediaan wilayah model OpenAI

Model OpenAI tersedia di wilayah berikut:

Model Region
gpt-oss 120B
  • global
    • Output maks: 131.072
    • Panjang konteks: 131.072
  • us-central1
    • Output maks: 131.072
    • Panjang konteks: 131.072
gpt-oss 20B
  • us-central1
    • Output maks: 32.768
    • Panjang konteks: 131.072

Langkah berikutnya

Pelajari cara Memanggil API model terbuka.