Penyesuaian preferensi Gemini Enterprise Agent Platform memungkinkan Anda menyesuaikan model Gemini dengan data masukan dari petugas peninjau.
Penyesuaian preferensi memungkinkan model mempelajari preferensi pengguna yang subjektif dan sulit ditentukan dengan menggunakan label tertentu atau hanya melalui penyesuaian yang diawasi.
Set data input penyesuaian preferensi berisi contoh yang terdiri dari perintah dan pasangan respons yang menunjukkan mana yang lebih disukai dan mana yang tidak disukai. Model belajar menghasilkan respons yang disukai dengan probabilitas yang lebih tinggi dan respons yang tidak disukai dengan probabilitas yang lebih rendah.
Untuk mempelajari cara menyiapkan set data, lihat Menyiapkan data penyesuaian preferensi untuk model Gemini.
Model yang didukung
Model Gemini berikut mendukung penyesuaian preferensi:
Klik untuk meluaskan model yang didukung
Batasan
| Spesifikasi | Nilai |
|---|---|
| Modalities | Teks |
| Ukuran file set data pelatihan | 1 GB |
| Token input dan output maksimum per contoh pelatihan | 131.072 |
| Token input dan output maksimum untuk penayangan | Sama seperti model Gemini dasar |
| Jumlah maksimum contoh pelatihan dalam set data pelatihan | 10 juta contoh pelatihan hanya teks |
| Ukuran maksimum set data validasi | 5.000 contoh atau 30% dari jumlah contoh pelatihan jika ada lebih dari 1.000 contoh validasi |
| Ukuran adaptor | Nilai yang didukung adalah 1, 2, 4, 8, dan 16 |
Praktik terbaik
Sebelum menerapkan algoritma pengoptimalan preferensi ke model Anda, sebaiknya lakukan hal berikut:
- Sesuaikan model menggunakan penyesuaian terawasi pada data respons yang disukai. Hal ini melatih model untuk menghasilkan respons yang lebih disukai selama inferensi.
- Lanjutkan penyesuaian dari titik pemeriksaan yang dihasilkan dari langkah 1 menggunakan penyesuaian preferensi. Hal ini mengajarkan model untuk memperbesar kesenjangan kemungkinan antara respons yang disukai dan tidak disukai.
Untuk membuat set data penyesuaian terawasi, gunakan pasangan perintah dan respons yang diterima dalam set data preferensi Anda sebagai perintah dan target untuk set data penyesuaian terawasi Anda. Biasanya, satu atau dua epoch penyesuaian terawasi sudah cukup, meskipun hal ini dapat berubah berdasarkan ukuran set data dan seberapa selaras set data pelatihan Anda dengan model Gemini pada awalnya.
Untuk menggunakan fine-tuning yang diawasi guna menyesuaikan model, ikuti langkah-langkah di Menyesuaikan model Gemini menggunakan fine-tuning yang diawasi.
Kuota
Kuota diterapkan pada jumlah tugas penyesuaian serentak. Setiap project dilengkapi dengan kuota default untuk menjalankan setidaknya satu tugas penyesuaian. Ini adalah kuota global,
yang dibagikan di semua region yang tersedia dan model yang didukung. Jika Anda ingin menjalankan lebih banyak tugas secara bersamaan, Anda harus meminta kuota tambahan untuk Global concurrent tuning jobs.
Harga
Harga untuk penyesuaian preferensi Gemini dapat ditemukan di sini: Harga Platform Agen Gemini Enterprise.
Untuk tujuan penetapan harga, jumlah token untuk setiap contoh penyesuaian dihitung dengan mengalikan jumlah token dalam perintah dengan 2, lalu menambahkan jumlah token penyelesaian.