Pengantar penyesuaian

Penyesuaian model adalah proses penting dalam mengadaptasi Gemini untuk melakukan tugas tertentu dengan presisi dan akurasi yang lebih tinggi. Penyesuaian model bekerja dengan menyediakan set data pelatihan yang berisi serangkaian contoh tugas downstream tertentu kepada model.

Halaman ini menyediakan ringkasan penyesuaian model untuk Gemini, menjelaskan opsi penyesuaian yang tersedia untuk Gemini, dan membantu Anda menentukan kapan setiap opsi penyesuaian harus digunakan.

Manfaat penyesuaian model

Penyesuaian model adalah cara yang efektif untuk menyesuaikan model besar dengan tugas Anda. Langkah ini penting untuk meningkatkan kualitas dan efisiensi model. Penyesuaian model memberikan manfaat berikut:

  • Kualitas lebih tinggi untuk tugas spesifik Anda
  • Peningkatan ketahanan model
  • Latensi dan biaya inferensi yang lebih rendah karena perintah yang lebih pendek

Perbandingan antara tuning dan desain perintah

  • Membuat perintah dengan model Gemini terlatih: Membuat perintah adalah seni menyusun instruksi yang efektif untuk memandu model AI seperti Gemini dalam menghasilkan output yang Anda inginkan. Hal ini melibatkan perancangan perintah yang menyampaikan tugas, format yang Anda inginkan, dan konteks yang relevan dengan jelas. Anda dapat menggunakan kemampuan Gemini dengan penyiapan minimal. Model ini paling cocok untuk:
    • Data berlabel terbatas: Jika Anda memiliki sedikit data berlabel atau tidak mampu melakukan proses fine-tuning yang panjang.
    • Pembuatan prototipe cepat: Saat Anda perlu menguji konsep dengan cepat atau mendapatkan performa dasar pengukuran tanpa investasi besar dalam penyesuaian.
  • Penyesuaian model Gemini yang disesuaikan: Untuk hasil yang lebih disesuaikan, Gemini memungkinkan Anda menyesuaikan modelnya pada set data spesifik Anda. Untuk membuat model AI yang unggul dalam domain spesifik Anda, pertimbangkan fine-tuning. Hal ini melibatkan pelatihan ulang model dasar pada set data berlabel Anda sendiri, yang menyesuaikan bobotnya dengan tugas dan data Anda. Anda dapat menyesuaikan Gemini dengan kasus penggunaan Anda. Fine-tuning paling efektif jika:
    • Anda memiliki data berlabel: Set data yang cukup besar untuk dilatih (misalnya 100 contoh atau lebih), yang memungkinkan model mempelajari secara mendalam hal-hal spesifik dari tugas Anda.
    • Tugas yang kompleks atau unik: Untuk skenario yang tidak cukup menggunakan strategi perintah lanjutan, dan memerlukan model yang disesuaikan dengan data Anda.

Mulailah dengan membuat perintah untuk menemukan perintah yang optimal. Kemudian, lanjutkan ke fine-tuning (jika diperlukan) untuk lebih meningkatkan performa atau memperbaiki error yang berulang. Meskipun menambahkan lebih banyak contoh dapat bermanfaat, penting untuk mengevaluasi di mana model membuat kesalahan sebelum menambahkan lebih banyak data. Data berkualitas tinggi dan berlabel baik sangat penting untuk performa yang baik dan lebih baik daripada kuantitas. Selain itu, data yang Anda gunakan untuk fine-tuning harus mencerminkan distribusi, format, dan konteks perintah yang ditemui model dalam produksi.

Penyesuaian memberikan manfaat berikut dibandingkan desain perintah:

  • Memungkinkan penyesuaian mendalam pada model dan menghasilkan performa yang lebih baik pada tugas tertentu.
  • Menyelaraskan model dengan sintaksis kustom, petunjuk, dan aturan semantik khusus domain.
  • Menawarkan hasil yang lebih konsisten dan andal.
  • Mampu menangani lebih banyak contoh sekaligus.
  • Menghemat biaya saat inferensi dengan menghapus contoh few-shot, petunjuk panjang dalam perintah

Pendekatan penyesuaian

Parameter-efficient tuning dan fine-tuning penuh adalah dua pendekatan untuk menyesuaikan model besar. Kedua metode ini memiliki kelebihan dan implikasi masing-masing dalam hal kualitas model dan efisiensi resource.

Parameter-efficient tuning

Parameter-efficient tuning, yang juga disebut tuning adaptor, memungkinkan adaptasi model besar secara efisien ke tugas atau domain spesifik Anda. Penyesuaian yang efisien parameter memperbarui subset parameter model yang relatif kecil selama proses penyesuaian.

Untuk memahami cara Gemini Enterprise Agent Platform mendukung penyesuaian dan penyaluran adaptor, Anda dapat menemukan detail selengkapnya dalam laporan resmi berikut, Adaptation of Large Foundation Models.

Fine-tuning penuh

Fine-tuning penuh memperbarui semua parameter model, sehingga cocok untuk menyesuaikan model dengan tugas yang sangat kompleks, dengan potensi mencapai kualitas yang lebih tinggi. Namun, fine-tuning penuh memerlukan resource komputasi yang lebih tinggi untuk tuning dan penyajian, sehingga meningkatkan biaya keseluruhan.

Parameter-efficient tuning dibandingkan dengan fine-tuning penuh

Parameter-efficient tuning lebih hemat resource dan hemat biaya dibandingkan dengan fine-tuning penuh. Model ini menggunakan resource komputasi yang jauh lebih rendah untuk dilatih. Teknik ini dapat mengadaptasi model lebih cepat dengan set data yang lebih kecil. Fleksibilitas parameter-efficient tuning menawarkan solusi untuk pembelajaran multi-tugas tanpa perlu pelatihan ulang yang ekstensif.

Metode penyesuaian yang didukung

Agent Platform mendukung supervised fine-tuning, penyesuaian preferensi, dan penyesuaian reinforcement learning untuk menyesuaikan model dasar. Anda juga dapat menggunakan checkpoint penyesuaian dan penyesuaian berkelanjutan di seluruh operasi pelatihan.

Tabel berikut membandingkan metode penyesuaian utama:

Metode penyesuaian Cara kerjanya Ukuran set data standar Paling cocok untuk
Supervised fine-tuning (SFT) Melatih model pada demonstrasi input-output berlabel Ratusan hingga ribuan contoh berlabel Pemformatan output yang ketat, klasifikasi, analisis sentimen, ekstraksi entity, dan gaya atau nuansa khusus domain.
Penyesuaian preferensi Mengoptimalkan preferensi berpasangan (respons yang dipilih vs. ditolak) Ratusan hingga ribuan pasangan preferensi Menyelaraskan perilaku model dengan preferensi subjektif, kegunaan, atau gaya percakapan manusia.
Penyesuaian reinforcement learning (RLFT) Menghasilkan jejak penalaran dan respons kandidat (tingkat penalaran MINIMAL atau HIGH) dan memaksimalkan skor dari hingga 16 fungsi reward berbobot Puluhan hingga beberapa ratus perintah dengan metadata references Penalaran multi-langkah, aturan domain yang kompleks, tugas yang dapat diverifikasi (seperti pembuatan kode atau SQL), dan pengoptimalan model pemikiran tanpa menurunkan kualitas penalaran.

Supervised fine-tuning

Supervised fine-tuning meningkatkan performa model dengan mengajarkan keterampilan baru. Data yang berisi ratusan contoh berlabel digunakan untuk mengajarkan model guna meniru perilaku atau tugas target. Setiap contoh berlabel menunjukkan apa yang akan dihasilkan oleh model selama inferensi.

Saat Anda menjalankan tugas supervised fine-tuning, model akan mempelajari parameter tambahan yang membantu mengenkode informasi yang diperlukan untuk menjalankan tugas target atau mempelajari perilaku yang diharapkan. Parameter ini digunakan selama inferensi. Output tugas tuning adalah model baru yang menggabungkan parameter yang baru dipelajari dengan model asli.

Supervised fine-tuning model teks adalah opsi yang bagus jika output model Anda tidak kompleks dan relatif mudah ditentukan. Supervised fine-tuning direkomendasikan untuk klasifikasi, analisis sentimen, ekstraksi entity, peringkasan konten yang tidak kompleks, dan penulisan kueri khusus domain.

Model yang mendukung supervised fine-tuning

Model Gemini berikut mendukung penyesuaian yang diawasi:

Klik untuk meluaskan model yang didukung

Untuk mengetahui informasi selengkapnya tentang cara menggunakan supervised fine-tuning dengan setiap jenis data, lihat halaman berikut: Menyesuaikan jenis data teks, gambar, audio, video, dan dokumen.

Penyesuaian preferensi

Penyesuaian preferensi Agent Platform dibangun berdasarkan supervised fine-tuning dengan memungkinkan Anda menyesuaikan model Gemini menggunakan data masukan manusia.

Penyesuaian preferensi memungkinkan model belajar dari preferensi pengguna subjektif yang sulit ditentukan hanya dengan menggunakan label tertentu dan supervised fine-tuning.

Model yang mendukung penyesuaian preferensi

Model Gemini berikut mendukung penyesuaian preferensi:

Klik untuk meluaskan model yang didukung

Untuk mengetahui informasi selengkapnya tentang penyesuaian preferensi, lihat Tentang penyesuaian preferensi untuk model Gemini.

Penyesuaian reinforcement learning

Penyesuaian reinforcement learning (RLFT) mengadaptasi model Gemini melalui eksplorasi uji coba yang dipandu oleh fungsi reward terprogram atau berbasis model. Selama pelatihan, model mengambil sampel beberapa respons kandidat dan jejak penalaran (tingkat pemikiran MINIMAL atau HIGH) untuk setiap perintah, mengevaluasinya menggunakan konfigurasi reward Anda pada skala [-1, 1], dan memperbarui adaptor LoRA yang efisien parameter untuk memaksimalkan reward.

Tidak seperti supervised fine-tuning, yang menghilangkan token pemikiran perantara selama pelatihan, penyesuaian reinforcement learning secara langsung mengoptimalkan penalaran multi-langkah dan menggeneralisasi dengan baik dengan set data yang lebih kecil (sering kali puluhan hingga beberapa ratus perintah). Anda dapat mengevaluasi output menggunakan satu fungsi reward atau komposit berbobot hingga 16 fungsi reward di empat jenis pemberi skor:

  • String match: Membandingkan output model dengan kolom kebenaran nyata dalam kamus references set data (pencocokan string atau JSON yang sama persis, dengan ekstraksi ekspresi reguler opsional).
  • Penilai otomatis berbasis Gemini: Menggunakan rubrik LLM sebagai penilai untuk menampilkan skor numerik atau penilaian terstruktur.
  • Eksekusi kode: Menjalankan fungsi Python evaluate(example, response) kustom di lingkungan sandbox terkelola.
  • Cloud Run: Mengirim respons kandidat ke endpoint HTTP kustom yang dihosting di Cloud Run untuk verifikasi khusus domain.

Model yang mendukung penyesuaian reinforcement learning

Model Gemini berikut mendukung fine-tuning reinforcement learning:

Klik untuk meluaskan model yang didukung

Untuk mengetahui informasi selengkapnya tentang penyesuaian reinforcement learning, lihat Tentang penyesuaian reinforcement learning.

Checkpoint penyesuaian

Dengan checkpoint penyesuaian, Anda dapat menyimpan progres penyesuaian, membandingkan performa checkpoint, dan memilih checkpoint dengan performa terbaik, baik berdasarkan epoch untuk supervised fine-tuning atau berdasarkan interval langkah (checkpointInterval) untuk reinforcement learning fine-tuning.

Model yang mendukung checkpoint penyesuaian

Model Gemini berikut mendukung checkpoint penyesuaian:

Klik untuk meluaskan model yang didukung

Untuk mengetahui informasi selengkapnya tentang checkpoint penyesuaian, lihat Menggunakan checkpoint dalam penyesuaian Gemini dan Status tugas, metrik, dan pemantauan untuk penyesuaian reinforcement learning.

Penyesuaian berkelanjutan

Dengan penyesuaian berkelanjutan, Anda dapat terus menyesuaikan model atau checkpoint model yang sudah disesuaikan. Anda dapat menjalankan epoch supervised fine-tuning tambahan pada model yang telah disesuaikan (SFT -> SFT), menerapkan penyesuaian reinforcement learning di atas checkpoint supervised fine-tuning untuk menggabungkan pemformatan yang ketat dengan penalaran yang ditingkatkan (SFT -> RLFT), atau melanjutkan pelatihan dari checkpoint reinforcement learning sebelumnya (RLFT -> RLFT).

Model yang mendukung penyesuaian berkelanjutan

Model Gemini berikut mendukung penyesuaian berkelanjutan:

Klik untuk meluaskan model yang didukung

Untuk mengetahui informasi selengkapnya tentang penyesuaian berkelanjutan, lihat Tentang penyesuaian berkelanjutan untuk model Gemini dan Penyesuaian berkelanjutan dengan penyesuaian reinforcement learning.

Langkah berikutnya