강화 학습 미세 조정을 위한 지속적인 조정

지속적 조정을 사용하면 이미 조정된 모델 또는 모델 체크포인트를 기반으로 에포크를 추가하거나 더 많은 학습 예시를 제공하여 추가 조정을 수행할 수 있습니다. 이미 조정된 모델이나 체크포인트를 기본 모델로 사용하면 조정 실험을 더 효율적으로 진행할 수 있습니다.

지속적 조정은 다음과 같은 목적으로 사용할 수 있습니다.

  • 기존 조정 모델이 과소적합된 경우 더 많은 데이터로 추가적으로 조정합니다.
  • 성능을 향상시키거나 새로운 데이터로 모델을 최신 상태로 유지합니다.
  • 이미 조정된 모델을 추가로 맞춤설정합니다.

지원되는 지속적 조정 패턴

다음과 같은 지속적 조정 패턴이 지원됩니다.

  • 지도 미세 조정 → 강화 학습 미세 조정
  • 강화 학습 미세 조정 → 강화 학습 미세 조정

지속적 조정 구성

Google Cloud 콘솔에서 또는 REST API를 사용하여 지속적 조정 작업을 구성할 수 있습니다.

콘솔

Google Cloud 콘솔에서 지속적 조정 작업을 구성하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 모델 > 미세 조정 페이지로 이동합니다.

    조정으로 이동

  2. 조정된 모델 만들기를 클릭합니다.
  3. 조정 방법에서 강화 학습 미세 조정을 선택합니다.
  4. 기본 모델 섹션에서 사전 조정된 모델 조정을 선택합니다.
  5. 모델 선택을 클릭하고 이전에 조정된 모델을 선택한 다음, 계속 조정할 버전이나 체크포인트를 선택합니다.
  6. 나머지 단계를 진행하여 보상 함수, 학습 데이터 세트, 초매개변수를 구성합니다. 자세한 내용은 Google Cloud 콘솔 빠른 시작을 참고하세요.

REST

프로그래매틱 방식으로 지속적 조정 작업을 구성하려면 이전에 조정된 모델 (선택적으로 특정 체크포인트)을 가리키는 preTunedModel 블록을 요청 본문에 포함하세요. 나머지 요청은 새로운 강화 학습 미세 조정 작업과 동일한 스키마를 따릅니다.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

다음을 바꿉니다.

  • DESCRIPTION: 조정 작업에 대한 설명입니다. 선택사항입니다.
  • TUNED_MODEL_DISPLAY_NAME: 조정된 모델의 표시 이름입니다.
  • TRAINING_DATASET: 학습 데이터 세트 JSONL 파일의 Cloud Storage URI입니다.
  • VALIDATION_DATASET: 검증 데이터 세트 JSONL 파일의 Cloud Storage URI입니다. 선택사항입니다.
  • HYPERPARAMETERS: 연속 조정 작업의 하이퍼파라미터 구성입니다. 자세한 내용은 하이퍼파라미터 페이지를 참고하세요.
  • REWARD_CONFIG: 리워드 구성 자세한 내용은 보상 함수 페이지를 참고하세요.
  • PROJECT_ID: Google Cloud 프로젝트 ID
  • LOCATION_ID: 위치 ID입니다.
  • PRETUNED_MODEL_ID: 이전에 조정된 모델의 모델 ID로, 계속해서 조정할 모델입니다.
  • CHECKPOINT_ID: 이전에 조정된 모델의 특정 체크포인트 ID입니다. 선택사항 - 생략하면 사전 조정된 모델의 최신 체크포인트가 사용됩니다.

다음 단계