Penyesuaian berkelanjutan untuk penyesuaian reinforcement learning

Penyesuaian berkelanjutan memungkinkan Anda melanjutkan penyesuaian model atau checkpoint model yang sudah disesuaikan dengan menambahkan lebih banyak epoch atau contoh pelatihan. Menggunakan model atau checkpoint yang sudah disesuaikan sebagai model dasar memungkinkan eksperimen penyesuaian yang lebih efisien.

Anda dapat menggunakan penyesuaian berkelanjutan untuk tujuan berikut:

  • Untuk menyesuaikan dengan lebih banyak data jika model yang telah disesuaikan mengalami underfitting.
  • Untuk meningkatkan performa atau terus memperbarui model dengan data baru.
  • Untuk menyesuaikan lebih lanjut model yang telah disesuaikan.

Pola penyesuaian berkelanjutan yang didukung

Pola penyesuaian berkelanjutan berikut didukung:

  • Supervised fine-tuning → Reinforcement learning fine-tuning
  • Penyesuaian reinforcement learning → Penyesuaian reinforcement learning

Mengonfigurasi penyesuaian berkelanjutan

Anda dapat mengonfigurasi tugas penyesuaian berkelanjutan di konsol Google Cloud atau menggunakan REST API.

Konsol

Untuk mengonfigurasi tugas penyesuaian berkelanjutan di konsol Google Cloud :

  1. Di konsol Google Cloud , buka halaman Models > Tuning.

    Buka Tuning

  2. Klik Create tuned model.
  3. Di bagian Tuning method, pilih Reinforcement learning fine tuning.
  4. Di bagian Base model, pilih Tune a pre-tuned model.
  5. Klik Pilih model, pilih model yang telah disesuaikan sebelumnya, dan pilih versi atau checkpoint untuk melanjutkan penyesuaian.
  6. Lanjutkan langkah-langkah berikutnya untuk mengonfigurasi fungsi reward, set data pelatihan, dan hyperparameter. Untuk mengetahui informasi selengkapnya, lihat panduan memulai konsolGoogle Cloud .

REST

Untuk mengonfigurasi tugas penyesuaian berkelanjutan secara terprogram, sertakan blok preTunedModel dalam isi permintaan yang mengarah ke model yang telah disesuaikan sebelumnya (dan, secara opsional, checkpoint tertentu). Permintaan lainnya mengikuti skema yang sama dengan tugas penyesuaian reinforcement learning baru.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Ganti kode berikut:

  • DESCRIPTION: deskripsi tugas penyesuaian. Opsional.
  • TUNED_MODEL_DISPLAY_NAME: nama tampilan untuk model yang disesuaikan.
  • TRAINING_DATASET: Cloud Storage URI file JSONL set data pelatihan.
  • VALIDATION_DATASET: Cloud Storage URI file JSONL set data validasi. Opsional.
  • HYPERPARAMETERS: konfigurasi hyperparameter untuk tugas penyesuaian berkelanjutan. Untuk mengetahui detailnya, lihat halaman Hyperparameter.
  • REWARD_CONFIG: konfigurasi reward. Untuk mengetahui detailnya, lihat halaman Fungsi reward.
  • PROJECT_ID: Google Cloud Project ID Anda.
  • LOCATION_ID: ID lokasi.
  • PRETUNED_MODEL_ID: ID model dari model yang telah disesuaikan sebelumnya untuk melanjutkan.
  • CHECKPOINT_ID: ID checkpoint tertentu dari model yang telah disesuaikan sebelumnya. Opsional; jika dihilangkan, checkpoint terbaru dari model yang telah disesuaikan akan digunakan.

Langkah berikutnya