Penyesuaian preferensi Vertex AI memungkinkan Anda menyesuaikan model Gemini dengan data masukan manusia.
Penyesuaian preferensi memungkinkan model belajar dari preferensi pengguna yang subjektif dan sulit ditentukan dengan menggunakan label tertentu atau hanya melalui penyesuaian yang diawasi.
Set data input penyesuaian preferensi berisi contoh yang terdiri dari prompt dan pasangan respons yang menunjukkan mana yang lebih disukai dan mana yang tidak disukai. Model belajar menghasilkan respons pilihan dengan probabilitas yang lebih tinggi dan respons yang tidak disukai dengan probabilitas yang lebih rendah.
Untuk mempelajari cara menyiapkan set data, lihat Menyiapkan data penyesuaian preferensi untuk model Gemini.
Model yang didukung
Model Gemini berikut mendukung penyesuaian preferensi:
Batasan
| Spesifikasi | Nilai |
|---|---|
| Modalities | Teks |
| Ukuran file set data pelatihan | 1 GB |
| Token input dan output maksimum per contoh pelatihan | 131.072 |
| Token input dan output maksimum untuk penayangan | Sama seperti model Gemini dasar |
| Jumlah maksimum contoh pelatihan dalam set data pelatihan | 10 juta contoh pelatihan hanya teks |
| Ukuran set data validasi maksimum | 5.000 contoh atau 30% dari jumlah contoh pelatihan jika ada lebih dari 1.000 contoh validasi |
| Ukuran adaptor | Nilai yang didukung adalah 1, 2, 4, 8, dan 16 |
Praktik terbaik
Sebelum menerapkan algoritma pengoptimalan preferensi ke model Anda, sebaiknya lakukan hal berikut:
- Sesuaikan model menggunakan penyesuaian terawasi pada data respons yang diinginkan. Hal ini melatih model untuk menghasilkan respons yang lebih disukai selama inferensi.
- Lanjutkan penyesuaian dari titik pemeriksaan yang dihasilkan dari langkah 1 menggunakan penyesuaian preferensi. Hal ini mengajari model untuk memperbesar kesenjangan probabilitas antara respons yang disukai dan tidak disukai.
Untuk membuat set data penyesuaian terawasi, gunakan pasangan prompt dan respons yang diterima dalam set data preferensi Anda sebagai prompt dan target untuk set data penyesuaian terawasi Anda. Biasanya, satu atau dua epoch penyesuaian terawasi sudah cukup, meskipun hal ini dapat berubah berdasarkan ukuran set data dan seberapa selaras set data pelatihan Anda dengan model Gemini pada awalnya.
Untuk menggunakan fine-tuning yang diawasi guna menyesuaikan model, ikuti langkah-langkah di Menyesuaikan model Gemini menggunakan fine-tuning yang diawasi.
Kuota
Kuota diterapkan pada jumlah tugas penyetelan serentak. Setiap project dilengkapi dengan kuota default untuk menjalankan setidaknya satu tugas penyesuaian. Ini adalah kuota global,
yang dibagikan di semua region yang tersedia dan model yang didukung. Jika ingin menjalankan lebih banyak tugas secara bersamaan, Anda harus meminta kuota tambahan untuk Global concurrent tuning jobs.
Harga
Harga untuk penyesuaian preferensi Gemini dapat ditemukan di sini: Harga Vertex AI.
Untuk tujuan penetapan harga, jumlah token untuk setiap contoh penyesuaian dihitung dengan mengalikan jumlah token dalam perintah dengan 2, lalu menambahkan jumlah token penyelesaian.