Vertex AI mendukung daftar model terbuka yang telah dikurasi sebagai model terkelola. Model terbuka ini dapat digunakan dengan Vertex AI sebagai model sebagai layanan (MaaS) dan ditawarkan sebagai API terkelola. Saat menggunakan model terbuka terkelola, Anda tetap mengirim permintaan ke endpoint Vertex AI. Model terbuka terkelola bersifat serverless sehingga Anda tidak perlu menyediakan atau mengelola infrastruktur.
Model terbuka terkelola dapat ditemukan menggunakan Model Garden. Anda juga dapat men-deploy model menggunakan Model Garden. Untuk mengetahui informasi selengkapnya, lihat Menjelajahi model AI di Model Garden.
Sebelum dapat menggunakan model terbuka, Anda harus memberi pengguna akses ke model terbuka.
Model open source
Model terbuka berikut ditawarkan sebagai API terkelola di Vertex AI Model Garden (MaaS):
| Nama model | Pengandaian | Deskripsi | Panduan memulai |
|---|---|---|---|
| gpt-oss 120B | Bahasa | Model 120B yang menawarkan performa tinggi pada tugas penalaran. | Kartu model |
| gpt-oss 20B | Bahasa | Model 20B yang dioptimalkan untuk efisiensi dan deployment di hardware konsumen dan edge. | Kartu model |
| Pemikiran Qwen3-Next-80B | Bahasa, Kode | Model dari keluarga model Qwen3-Next, yang dikhususkan untuk pemecahan masalah yang kompleks dan penalaran yang mendalam. | Kartu model |
| Qwen3-Next-80B Instruct | Bahasa, Kode | Model dari kelompok model Qwen3-Next, yang dikhususkan untuk mengikuti perintah tertentu. | Kartu model |
| Qwen3 Coder | Bahasa, Kode | Model dengan bobot terbuka yang dikembangkan untuk tugas pengembangan software tingkat lanjut. | Kartu model |
| Qwen3 235B | Bahasa | Model berat terbuka dengan kemampuan "pemikiran hibrida" untuk beralih antara penalaran metodis dan percakapan cepat. | Kartu model |
| DeepSeek-V3.1 | Bahasa | Model hibrida DeepSeek yang mendukung mode berpikir dan mode non-berpikir. | Kartu model |
| DeepSeek R1 (0528) | Bahasa | Versi terbaru model DeepSeek R1 dari DeepSeek. | Kartu model |
| Llama 4 Maverick 17B-128E | Bahasa, Visi | Model Llama 4 terbesar dan paling mumpuni yang memiliki kemampuan pengkodean, penalaran, dan gambar. Llama 4 Maverick 17B-128E adalah model multimodal yang menggunakan arsitektur Mixture-of-Experts (MoE) dan fusi awal. | Kartu model |
| Llama 4 Scout 17B-16E | Bahasa, Visi | Llama 4 Scout 17B-16E memberikan hasil terbaik untuk kelas ukurannya, mengungguli generasi Llama sebelumnya dan model terbuka serta eksklusif lainnya pada beberapa tolok ukur. Llama 4 Scout 17B-16E adalah model multimodal yang menggunakan arsitektur Mixture-of-Experts (MoE) dan penggabungan awal. | Kartu model |
| Llama 3.3 | Bahasa | Llama 3.3 adalah model yang disesuaikan untuk perintah 70B khusus teks yang memberikan peningkatan performa dibandingkan Llama 3.1 70B dan Llama 3.2 90B saat digunakan untuk aplikasi khusus teks. Selain itu, untuk beberapa aplikasi, Llama 3.3 70B mendekati performa Llama 3.1 405B. | Kartu model |
| Llama 3.2 (Pratinjau) | Bahasa, Visi | Model multimodal berukuran sedang 90B yang dapat mendukung penalaran gambar, seperti analisis diagram dan grafik serta pemberian teks gambar. | Kartu model |
| Llama 3.1 | Bahasa |
Kumpulan LLM multibahasa yang dioptimalkan untuk kasus penggunaan dialog multibahasa dan mengungguli banyak model chat open source dan tertutup yang tersedia pada tolok ukur industri umum. Llama 3.1 405B tersedia secara umum (GA). Llama 3.1 8B dan Llama 3.1 70B tersedia dalam Pratinjau. |
Kartu model |
Model embedding terbuka berikut ditawarkan sebagai API terkelola di Vertex AI Model Garden (MaaS):
| Nama model | Deskripsi | Dimensi output | Panjang urutan maksimum | Bahasa teks yang didukung | Panduan memulai |
|---|---|---|---|---|---|
| multilingual-e5-small | Bagian dari rangkaian model embedding teks E5. Varian kecil berisi 12 lapisan. | Hingga 384 | 512 token | Bahasa yang didukung | Kartu model |
| multilingual-e5-large | Bagian dari rangkaian model embedding teks E5. Varian Large berisi 24 lapisan. | Hingga 1.024 | 512 token | Bahasa yang didukung | Kartu model |
Kepatuhan terhadap peraturan model terbuka
Sertifikasi untuk AI Generatif di Vertex AI terus berlaku saat model terbuka digunakan sebagai Managed API menggunakan Vertex AI. Jika Anda memerlukan detail tentang model itu sendiri, informasi tambahan dapat ditemukan di kartu model masing-masing, atau Anda dapat menghubungi penerbit model yang bersangkutan.
Data Anda disimpan dalam penyimpanan di dalam region atau multi-region yang dipilih untuk model terbuka di Vertex AI, tetapi regionalisasi pemrosesan data dapat bervariasi. Untuk mengetahui daftar lengkap komitmen pemrosesan data model terbuka, lihat Residensi data untuk model terbuka.
Perintah pelanggan dan respons model tidak dibagikan kepada pihak ketiga saat menggunakan Vertex AI API, termasuk model terbuka. Google hanya memproses data pelanggan sesuai dengan petunjuk pelanggan, yang dijelaskan lebih lanjut dalam Adendum Pemrosesan Data Cloud kami.
Langkah berikutnya
- Sebelum menggunakan model terbuka, Beri pengguna akses ke model terbuka.
- Pelajari cara Memanggil API model terbuka.