Tentang penyesuaian yang diawasi untuk model Gemini

Supervised fine-tuning adalah opsi yang baik jika Anda memiliki tugas yang terperinci dengan data berlabel yang tersedia. SFT sangat efektif untuk aplikasi khusus domain yang bahasa atau kontennya sangat berbeda dengan data yang sebelumnya dilatih di model besar. Anda dapat menyesuaikan teks, gambar, audio, video, dan dokumen jenis data. Anda juga dapat membuat aplikasi dan agen berbasis Gemini yang dapat berinteraksi dengan informasi dan layanan real-time seperti database, sistem pengelolaan hubungan pelanggan, dan repositori dokumen.

Supervised fine-tuning mengadaptasi perilaku model dengan set data berlabel. Proses ini menyesuaikan bobot model untuk meminimalkan perbedaan antara prediksi dan label sebenarnya. Misalnya, metode ini dapat meningkatkan performa model untuk jenis tugas berikut:

  • Klasifikasi
  • Ringkasan
  • Question answering ekstraktif
  • Chat

Untuk mengetahui pembahasan tentang kasus penggunaan penyesuaian teratas, lihat postingan blog Ratusan organisasi melakukan fine-tuning model Gemini. Berikut adalah kasus penggunaan favorit mereka.

Untuk mempelajari lebih lanjut, lihat Kapan menggunakan supervised fine-tuning untuk Gemini.

Model yang didukung

Model Gemini berikut mendukung supervised fine-tuning:

Untuk model yang mendukung penalaran, sebaiknya tetapkan anggaran penalaran ke nonaktif atau nilai terendahnya. Hal ini dapat meningkatkan performa dan mengurangi biaya untuk tugas yang disesuaikan. Selama supervised fine-tuning, model akan belajar dari data pelatihan dan menghilangkan proses penalaran. Oleh karena itu, model yang disesuaikan dapat menjalankan tugas yang disesuaikan secara efektif tanpa anggaran penalaran.

Batasan

Supervised fine-tuning bukan Layanan yang Tercakup dan dikecualikan dari SLO Perjanjian Tingkat Layanan apa pun.

Tabel berikut menunjukkan batasan pada set data supervised fine-tuning:

Gemini 2.5 Flash
Gemini 2.5 Flash-Lite

Spesifikasi Nilai
Token input dan output maksimum per contoh pelatihan 131.072
Token penayangan input dan output maksimum Sama dengan model Gemini dasar
Jumlah maksimum contoh dalam set data validasi 5.000 contoh atau 30% dari jumlah contoh pelatihan jika ada lebih dari 1.000 contoh validasi
Ukuran file set data pelatihan maksimum 1 GB untuk JSONL
Ukuran set data pelatihan maksimum 10 juta contoh khusus teks atau 300 ribu contoh multimodal
Ukuran adapter Nilai yang didukung adalah 1, 2, 4, 8, dan 16

Gemini 2.5 Pro

Spesifikasi Nilai
Token pelatihan input dan output maksimum 131.072
Token penayangan input dan output maksimum Sama dengan model Gemini dasar
Ukuran set data validasi maksimum 5.000 contoh atau 30% dari jumlah contoh pelatihan jika ada lebih dari 1.000 contoh validasi
Ukuran file set data pelatihan maksimum 1 GB untuk JSONL
Ukuran set data pelatihan maksimum 10 juta contoh khusus teks atau 300 ribu contoh multimodal
Ukuran adapter Nilai yang didukung adalah 1, 2, 4, dan 8

Gemini 2.0 Flash
Gemini 2.0 Flash-Lite

Spesifikasi Nilai
Token pelatihan input dan output maksimum 131.072
Token penayangan input dan output maksimum Sama dengan model Gemini dasar
Ukuran set data validasi maksimum 5.000 contoh atau 30% dari jumlah contoh pelatihan jika ada lebih dari 1.000 contoh validasi
Ukuran file set data pelatihan maksimum 1 GB untuk JSONL
Ukuran set data pelatihan maksimum 10 juta contoh khusus teks atau 300 ribu contoh multimodal
Ukuran adapter Nilai yang didukung adalah 1, 2, 4, dan 8

Masalah umum

  • Menerapkan pembuatan terkontrol saat mengirimkan permintaan inferensi ke model Gemini yang disesuaikan dapat mengakibatkan penurunan kualitas model karena ketidakselarasan data selama waktu penyesuaian dan inferensi. Selama penyesuaian, pembuatan terkontrol tidak diterapkan, sehingga model yang disesuaikan tidak dapat menangani pembuatan terkontrol dengan baik pada waktu inferensi. Supervised fine-tuning secara efektif menyesuaikan model untuk menghasilkan output terstruktur. Oleh karena itu, Anda tidak perlu menerapkan pembuatan terkontrol saat membuat permintaan inferensi pada model yang disesuaikan.

Kasus penggunaan untuk menggunakan supervised fine-tuning

Model dasar berfungsi dengan baik jika output atau tugas yang diharapkan dapat ditentukan dengan jelas dan ringkas dalam perintah, dan perintah secara konsisten menghasilkan output yang diharapkan. Jika Anda ingin model mempelajari sesuatu yang khusus atau spesifik yang menyimpang dari pola umum, sebaiknya pertimbangkan untuk menyesuaikan model tersebut. Misalnya, Anda dapat menggunakan penyesuaian model untuk mengajarkan model hal berikut ini:

  • Struktur atau format spesifik untuk menghasilkan output.
  • Perilaku spesifik seperti kapan harus memberikan output yang singkat atau panjang.
  • Output yang disesuaikan dan spesifik untuk jenis input tertentu.

Contoh berikut adalah kasus penggunaan yang sulit direkam hanya dengan petunjuk perintah:

  • Klasifikasi: Respons yang diharapkan adalah kata atau frasa tertentu.

    Menyesuaikan model dapat membantu mencegah model menghasilkan respons panjang.

  • Ringkasan: Ringkasan mengikuti format tertentu. Misalnya, Anda mungkin perlu menghapus informasi identitas pribadi (PII) dalam ringkasan chat.

    Pemformatan berupa penggantian nama pembicara dengan #Person1 dan #Person2 sulit dijelaskan dan model dasar mungkin tidak secara alami menghasilkan respons tersebut.

  • Question answering ekstraksi: Pertanyaannya tentang konteks dan jawabannya adalah substring konteks tersebut

    Respons "Glasial Maksimum Terakhir" adalah frasa spesifik dari konteks.

  • Chat: Anda perlu menyesuaikan respons model untuk mengikuti persona, peran, atau karakter.

Anda juga dapat menyesuaikan model dalam situasi berikut:

  • Perintah tidak memberikan hasil yang diharapkan secara konsisten.
  • Tugas terlalu rumit untuk ditentukan dalam perintah. Misalnya, Anda ingin model melakukan clone perilaku untuk perilaku yang sulit diuraikan dalam perintah.
  • Anda memiliki intuisi kompleks tentang tugas yang sulit diformalkan dalam sebuah perintah.
  • Anda ingin mengurangi panjang konteks dengan menghapus contoh few-shot.

Mengonfigurasi region tugas penyesuaian

Data pengguna, seperti set data yang diubah dan model yang disesuaikan, disimpan di region tugas penyesuaian. Selama penyesuaian, komputasi dapat dialihkan ke region US atau EU lainnya untuk akselerator yang tersedia. Pengalihan ini bersifat transparan bagi pengguna.

  • Jika menggunakan Vertex AI SDK, Anda dapat menentukan region saat inisialisasi. Contoh:

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Jika Anda membuat tugas supervised fine-tuning dengan mengirimkan permintaan POST menggunakan metode tuningJobs.create, gunakan URL untuk menentukan region tempat tugas penyesuaian berjalan. Misalnya, di URL berikut, Anda menentukan region dengan mengganti kedua instance TUNING_JOB_REGION dengan region tempat tugas berjalan.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Jika menggunakan Google Cloud konsol, Anda dapat memilih nama region di kolom drop-down Region pada halaman Model details. Ini adalah halaman yang sama tempat Anda memilih model dasar dan nama model yang disesuaikan.

Mengevaluasi model yang disesuaikan

Anda dapat mengevaluasi model yang disesuaikan dengan cara berikut:

Quota

Kuota diterapkan pada jumlah tugas penyesuaian serentak. Setiap project dilengkapi dengan kuota default untuk menjalankan setidaknya satu tugas penyesuaian. Ini adalah kuota global, yang dibagikan di semua region yang tersedia dan model yang didukung. Jika ingin menjalankan lebih banyak tugas secara serentak, Anda harus meminta kuota tambahan untuk Global concurrent tuning jobs.

Jika Anda mengonfigurasi layanan evaluasi AI generatif untuk menjalankan evaluasi secara otomatis selama penyesuaian, lihat kuota layanan evaluasi AI generatif.

Harga

Harga untuk supervised fine-tuning Gemini dapat ditemukan di sini: Harga Vertex AI.

Jumlah token pelatihan dihitung dengan mengalikan jumlah token dalam set data pelatihan dengan jumlah epoch. Setelah penyesuaian, biaya inferensi (permintaan prediksi) untuk model yang disesuaikan masih berlaku. Harga inferensi sama untuk setiap versi stabil Gemini. Untuk mengetahui informasi selengkapnya, lihat Versi model stabil Gemini yang tersedia.

Jika Anda mengonfigurasi layanan evaluasi AI generatif untuk berjalan secara otomatis selama penyesuaian, evaluasi akan dikenai biaya sebagai tugas prediksi batch. Untuk mengetahui informasi selengkapnya, lihat Harga.

Langkah berikutnya