AI generatif sering kali mengandalkan model machine learning (ML) berskala besar yang telah dilatih dengan data dalam jumlah besar. Model ini disebut sebagai model dasar dan berfungsi sebagai dasar untuk berbagai tugas. Ada banyak cara untuk menyesuaikan model dasar menggunakan Agent Platform:
Penyesuaian: Penyesuaian melibatkan penyediaan set data pelatihan berisi contoh spesifik yang relevan dengan tugas hilir yang dipilih kepada model.
- Penyesuaian yang diawasi: Teknik ini menggunakan contoh berlabel untuk melakukan fine-tuning model. Setiap contoh menunjukkan output yang dipilih untuk input tertentu selama inferensi. Penyesuaian yang diawasi efektif untuk tugas yang output yang diharapkan tidak terlalu kompleks dan dapat ditentukan dengan jelas, seperti klasifikasi, analisis sentimen, ekstraksi entity, peringkasan konten yang tidak terlalu kompleks, dan pembuatan kueri khusus domain. Anda dapat menyesuaikan jenis data teks, gambar, audio, dan dokumen menggunakan pembelajaran yang diawasi.
- Penyesuaian Reinforcement Learning from Human Feedback (RLHF): Metode ini cocok jika output model yang dipilih lebih kompleks. Penyesuaian RLHF berfungsi dengan baik untuk tujuan yang tidak mudah dibedakan melalui penyesuaian yang diawasi, seperti penjawaban pertanyaan, peringkasan konten yang kompleks, dan pembuatan konten kreatif.
Distilasi: Distilasi sering kali melibatkan pelatihan model "siswa" yang lebih kecil untuk meniru perilaku model "pengajar" yang lebih besar dan lebih mumpuni.
Pelatihan model adapter: Hal ini melibatkan pelatihan model adapter (atau lapisan) yang lebih kecil yang bekerja bersama dengan model dasar untuk meningkatkan performa pada tugas khusus. Parameter model dasar asli sering kali tetap beku, dan hanya bobot adaptor yang diperbarui selama pelatihan.
Perujukan (Grounding): Meskipun bukan metode pelatihan, perujukan adalah aspek penting untuk memastikan keandalan output AI generatif. Grounding melibatkan penghubungan output model ke sumber informasi yang dapat diverifikasi, sehingga mengurangi kemungkinan konten yang dibuat-buat. Hal ini sering kali melibatkan pemberian akses ke sumber data tertentu kepada model selama inferensi.