Penyesuaian berkelanjutan untuk penyesuaian reinforcement learning

Penyesuaian berkelanjutan memungkinkan Anda melanjutkan penyesuaian model atau checkpoint model yang sudah disesuaikan dengan menambahkan lebih banyak epoch atau contoh pelatihan. Menggunakan model atau titik pemeriksaan yang sudah disesuaikan sebagai model dasar memungkinkan eksperimen penyesuaian yang lebih efisien.

Anda dapat menggunakan penyetelan berkelanjutan untuk tujuan berikut:

  • Untuk menyesuaikan dengan lebih banyak data jika model yang disesuaikan yang ada kurang pas.
  • Untuk meningkatkan performa atau menjaga model tetap terbaru dengan data baru.
  • Untuk menyesuaikan lebih lanjut model yang sudah di-tuning.

Pola penyesuaian berkelanjutan yang didukung

Pola penyesuaian berkelanjutan berikut didukung:

  • Supervised fine-tuning → Reinforcement learning fine-tuning
  • Penyesuaian reinforcement learning → Penyesuaian reinforcement learning

Mengonfigurasi penyetelan berkelanjutan

Anda dapat mengonfigurasi tugas penyesuaian berkelanjutan di konsol Google Cloud atau menggunakan REST API.

Konsol

Untuk mengonfigurasi tugas penyetelan berkelanjutan di konsol Google Cloud :

  1. Di konsol Google Cloud , buka halaman Models > Tuning.

    Buka Penyesuaian

  2. Klik Buat model yang disesuaikan.
  3. Di bagian Tuning method, pilih Reinforcement learning fine tuning.
  4. Di bagian Model dasar, pilih Sesuaikan model yang telah disesuaikan sebelumnya.
  5. Klik Pilih model, pilih model yang sebelumnya telah di-tuning, lalu pilih versi atau checkpoint untuk melanjutkan tuning.
  6. Lanjutkan langkah-langkah yang tersisa untuk mengonfigurasi fungsi reward, set data pelatihan, dan hyperparameter. Untuk mengetahui informasi selengkapnya, lihat panduan memulai cepat konsolGoogle Cloud .

REST

Untuk mengonfigurasi tugas penyesuaian berkelanjutan secara terprogram, sertakan blok preTunedModel di isi permintaan yang mengarah ke model yang sebelumnya disesuaikan (dan, secara opsional, checkpoint tertentu). Bagian permintaan lainnya mengikuti skema yang sama dengan tugas penyesuaian reinforcement learning baru.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Ganti kode berikut:

  • DESCRIPTION: deskripsi tugas penyesuaian. Opsional.
  • TUNED_MODEL_DISPLAY_NAME: nama tampilan untuk model yang disesuaikan.
  • TRAINING_DATASET: Cloud Storage URI file JSONL set data pelatihan.
  • VALIDATION_DATASET: Cloud Storage URI file JSONL set data validasi. Opsional.
  • HYPERPARAMETERS: konfigurasi hyperparameter untuk tugas penyesuaian berkelanjutan. Untuk mengetahui detailnya, lihat halaman Hyperparameter.
  • REWARD_CONFIG: konfigurasi reward. Untuk mengetahui detailnya, lihat halaman Fungsi reward.
  • PROJECT_ID: Google Cloud Project ID Anda.
  • LOCATION_ID: ID lokasi.
  • PRETUNED_MODEL_ID: ID model model yang disesuaikan sebelumnya untuk dilanjutkan.
  • CHECKPOINT_ID: ID checkpoint tertentu dari model yang disesuaikan sebelumnya. Opsional — jika tidak ada, checkpoint terbaru dari model yang telah disesuaikan akan digunakan.

Langkah berikutnya