Mulai Cepat: Penyesuaian reinforcement learning menggunakan konsol Google Cloud

Halaman ini memandu Anda melalui alur kerja menyeluruh untuk penyesuaian model Gemini dengan pembelajaran penguatan di Google Cloud konsol: membuat tugas penyesuaian, memeriksa statusnya, mengambil endpoint model yang disesuaikan, dan menjalankan inferensi terhadapnya. Untuk menyelesaikan tugas ini menggunakan Agent Platform API, lihat mulai cepat API.

Sebelum memulai, lihat Tentang penyesuaian reinforcement learning untuk mengetahui ringkasan fitur, model yang didukung, dan region yang didukung.

Membuat tugas fine-tuning reinforcement learning

Untuk membuat tugas penyesuaian reinforcement learning menggunakan konsol Google Cloud , lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Models > Tuning.

    Buka Penyesuaian

  2. Klik Buat model yang disesuaikan.

  3. Di bagian Detail model, konfigurasikan hal berikut:

    1. Di bagian Tuning method, pilih Reinforcement learning fine tuning.
    2. Di kolom Nama model yang disesuaikan, masukkan nama untuk model yang disesuaikan (misalnya, my-rl-tuned-model).
    3. Di bagian Model dasar, pilih Sesuaikan model dasar.
    4. Di menu drop-down Model dasar, pilih model yang akan disesuaikan (misalnya, gemini-3.5-flash).
    5. Di menu drop-down Region, pilih region tempat tugas penyetelan berjalan (misalnya, us-central1 (Iowa)). Model yang disetel akan ditayangkan dari endpoint multi-region us. Untuk mengetahui daftar lengkap region penyesuaian dan penayangan yang didukung, lihat bagian Model dan region yang didukung.
    6. Opsional: Luaskan Advanced options untuk menyesuaikan hyperparameter:
      • Jumlah epoch: Jumlah epoch pelatihan (misalnya, 15).
      • Pengganda kecepatan pembelajaran: Pengganda untuk menskalakan kecepatan pembelajaran (misalnya, 1.0).
      • Ukuran adaptor: Ukuran adaptor untuk penyesuaian yang efisien parameter (misalnya, 16).
      • Contoh per perintah: Jumlah respons kandidat yang dihasilkan model per perintah selama pelatihan (misalnya, 16).
      • Tingkat penalaran: Tingkat penalaran untuk model penalaran (misalnya, HIGH).
      • Ukuran batch: Jumlah contoh pelatihan per batch (misalnya, 32).
      • Interval checkpoint: Frekuensi dalam langkah-langkah saat checkpoint perantara disimpan (misalnya, 5).
      • Token output maks: Jumlah maksimum token output yang dihasilkan per sampel (misalnya, 32768).
      • Interval evaluasi: Frekuensi dalam langkah-langkah saat evaluasi dijalankan terhadap set data validasi (misalnya, 5).
    7. Klik Lanjutkan.

  4. Di bagian Konfigurasi reward, konfigurasikan satu atau beberapa fungsi reward untuk memberi skor pada respons model selama pelatihan:

    1. Di kolom Nama reward, masukkan nama unik untuk fungsi reward (misalnya, my_reward_function_name). Metrik yang dikeluarkan dalam tampilan pemantauan diberi awalan dengan nama ini.
    2. Di menu drop-down Reward type, pilih jenis pemberi skor:
      • Penghargaan pencocokan string: Mengevaluasi teks yang dihasilkan terhadap referensi dengan menggunakan pencocokan persis atau ekspresi reguler.
      • Reward berbasis LLM: Menggunakan model Gemini sebagai penilai otomatis untuk memberi skor pada respons berdasarkan perintah evaluasi.
      • Penghargaan berbasis fungsi Python: Menjalankan kode Python kustom dalam sandbox yang aman untuk mengevaluasi respons.
      • Hadiah yang dapat disesuaikan sepenuhnya melalui Cloud Run: Memanggil endpoint HTTP eksternal yang dihosting di Cloud Run untuk mengevaluasi respons.

    3. Konfigurasi setelan untuk jenis reward yang Anda pilih. Misalnya, untuk reward Cloud Run:

      • Di kolom Cloud Run URI, masukkan URI HTTPS layanan yang di-deploy (misalnya, https://my.cloud.run.uri).
      • Di kolom Parse type, pilih IDENTITY.

      Atau, untuk reward kecocokan string:

      • Di kolom Parse type, pilih REGEX_EXTRACT atau IDENTITY. Jika Anda memilih REGEX_EXTRACT, masukkan ekspresi reguler di Ekspresi ekstraksi regex (misalnya, \text{(.*)}).
      • Di kolom Hadiah jawaban salah, masukkan penalti untuk respons yang salah (misalnya, -1).
      • Di kolom Hadiah jawaban benar, masukkan skor untuk jawaban yang benar (misalnya, 1).
      • Di bagian Jenis ekspresi pencocokan string, pilih Pencocokan string atau Pencocokan JSON.
      • Di menu drop-down Operasi pencocokan, pilih logika pencocokan (misalnya, Cocok persis).
      • Di kolom Expression, masukkan ekspresi referensi (misalnya, references.reference).

    4. Di kolom Reward weight, masukkan bobot relatif untuk fungsi penghargaan ini (misalnya, 1).

    5. Klik Done.

    6. Opsional: Untuk menentukan reward gabungan, klik + Tambahkan reward lain dan konfigurasi fungsi reward tambahan. Anda dapat menambahkan hingga 16 fungsi reward dan menetapkan bobot relatif untuk setiap fungsi.

    7. Klik Lanjutkan.

  5. Di bagian Uji reward (Opsional), validasi konfigurasi reward Anda sebelum memulai tugas penyesuaian:

    1. Di kolom Contoh Pelatihan, masukkan contoh objek JSON yang berisi contents dan references.
    2. Di kolom Contoh respons model, masukkan respons kandidat, atau klik Buat dari Contoh Pelatihan untuk membuat contoh respons dengan menggunakan model dasar.
    3. Klik Uji.
    4. Pastikan evaluasi berhasil dan periksa skor yang dihitung. Jika menggunakan reward gabungan, klik Lihat informasi reward individual untuk memeriksa perincian skor per reward.
    5. Klik Lanjutkan.

  6. Di bagian Set data penyesuaian, tentukan file set data Anda yang disimpan di Cloud Storage:

    1. Di kolom Set data pelatihan, masukkan URI Cloud Storage file JSONL set data pelatihan Anda (misalnya, gs://path/to/my/training_dataset.jsonl).
    2. Di kolom Set data validasi, masukkan URI Cloud Storage file JSONL set data validasi Anda (misalnya, gs://path/to/my/eval_dataset.jsonl).
    3. Klik Mulai penyesuaian.

Memeriksa status tugas penyesuaian reinforcement learning

Setelah Anda mengklik Start tuning, konsol akan mengalihkan ke halaman Models > Tuning. Tabel tugas penyesuaian menampilkan tugas yang baru dibuat di dekat bagian atas daftar dengan detail berikut:

  • Nama model: Nama tampilan yang Anda tentukan untuk model yang disesuaikan.
  • Status: Status tugas penyetelan saat ini (seperti Tertunda, Berjalan, atau Berhasil).
  • Metode: Reinforcement Learning.
  • Model dasar: Model dasar atau model yang telah disesuaikan.
  • Region: Lokasi tempat tugas penyesuaian berjalan.

Klik nama model untuk membuka halaman detail tugas penyetelan. Halaman ini menyediakan tab berikut:

  • Monitor: Menampilkan progres penyesuaian dan diagram metrik interaktif:
    • Proses penyesuaian: Menunjukkan apakah tugas sedang berjalan atau sudah selesai.
    • Diagram gabungan: Jika set data validasi diberikan, kurva pelatihan dan validasi (seperti /train_mean_reward dan /eval_mean_reward) diplot bersama pada diagram yang sama.
    • Grup diagram yang dapat diciutkan: Diagram metrik disusun ke dalam grup, termasuk metrik penyesuaian umum (reward rata-rata, panjang token generasi, panjang token pemikiran, latensi pengambilan sampel, dan latensi reward) dan metrik per reward yang diawali dengan ${reward_name}.
    • Anotasi checkpoint: Checkpoint perantara yang disimpan selama penyesuaian dianotasi langsung pada diagram di sepanjang linimasa pelatihan.
    • Panel filter: Gunakan panel filter untuk menelusuri metrik berdasarkan nama atau memfilter berdasarkan kategori (Show Category). Saat difilter, panel filter tetap berada di bagian atas tampilan.
    • Tabel checkpoint: Mencantumkan checkpoint perantara yang disimpan dengan nomor langkah dan nilai metrik. Gunakan pemilih kolom untuk memilih kolom yang akan ditampilkan.
  • Set data: Menampilkan detail set data, contoh percakapan, dan nilai referensi.
  • Detail: Merangkum konfigurasi tugas, termasuk model dasar, metode penyesuaian, hyperparameter, dan konfigurasi reward. Klik Lihat detail pada kartu konfigurasi reward untuk melihat nilai parameter non-default.

Untuk mengetahui daftar lengkap metrik yang dipancarkan dan cara menafsirkannya, lihat halaman Metrik dan pemantauan.

Waktu pelatihan

Waktu pelatihan dipengaruhi oleh faktor-faktor berikut:

Bergantung pada penyiapan Anda, tugas penyesuaian reinforcement learning Gemini dapat berjalan selama berjam-jam hingga berhari-hari.

Mendapatkan endpoint model yang disesuaikan

Setelah tugas penyesuaian mencapai Succeeded, checkpoint model akan di-deploy ke endpoint. Anda dapat melihat dan mengelola model yang di-deploy dan disesuaikan langsung di konsolGoogle Cloud :

  1. Di header halaman detail tugas penyetelan, klik Lihat detail model. Halaman Model Registry akan terbuka dengan detail untuk model yang di-tuning.
  2. Di halaman detail model, temukan tab Deploy & test untuk melihat jalur resource endpoint yang di-deploy (dalam format projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}).
  3. Atau, di tab Monitor pada halaman detail tugas penyetelan, temukan tabel Checkpoints untuk memeriksa checkpoint perantara. Anda dapat men-deploy dan mengevaluasi setiap pos pemeriksaan secara terpisah.

Jika tugas penyesuaian berjalan di us-central1, model yang disesuaikan akan ditayangkan dari endpoint multi-region us.

Menjalankan inferensi pada model yang disesuaikan

Anda dapat menguji dan menjalankan inferensi pada model yang disesuaikan langsung di konsolGoogle Cloud , dengan melakukan hal berikut:

  1. Di header halaman detail tugas penyetelan, klik Test.

    Agent Studio akan terbuka dengan model yang disesuaikan telah dipilih sebelumnya.

  2. Di kolom perintah, masukkan perintah input (misalnya, "Why is the sky blue?" atau pertanyaan dari domain target Anda).

  3. Klik Run (atau Send) untuk membuat respons.

  4. Tinjau output yang dihasilkan untuk mengevaluasi seberapa baik model mematuhi gaya penalaran, pemformatan, dan tujuan pemberian penghargaan yang Anda inginkan.

Langkah berikutnya