Vertex AI 선호도 조정을 사용하면 인간 피드백 데이터로 Gemini 모델을 조정할 수 있습니다.
선호도 조정을 사용하면 모델이 특정 라벨을 사용하거나 지도 미세 조정을 통해 정의하기 어려운 주관적인 사용자 선호도에서 학습할 수 있습니다.
선호도 조정 입력 데이터 세트에는 프롬프트와 선호하는 대답과 선호하지 않는 대답을 나타내는 대답 쌍으로 구성된 예가 포함되어 있습니다. 모델은 선호하는 대답을 더 높은 확률로 생성하고 선호하지 않는 대답을 더 낮은 확률로 생성하는 방법을 학습합니다.
데이터 세트를 준비하는 방법을 알아보려면 Gemini 모델의 선호도 조정 데이터 준비를 참조하세요.
지원되는 모델
다음 Gemini 모델은 선호도 조정을 지원합니다.
제한사항
| 사양 | 값 |
|---|---|
| 형식 | 텍스트 |
| 학습 데이터 세트의 파일 크기 | 1GB |
| 학습 예당 최대 입력 및 출력 토큰 수 | 131,072 |
| 최대 입력 및 출력 제공 토큰 | 기본 Gemini 모델과 동일 |
| 학습 데이터 세트의 최대 학습 예 수 | 텍스트 전용 학습 예 1,000만 개 |
| 최대 검증 데이터 세트 크기 | 검증 예가 1,000개를 초과하는 경우 예 5,000개 또는 학습 예 수의 30% |
| 어댑터 크기 | 지원되는 값은 1, 2, 4, 8, 16입니다. |
권장사항
모델에 선호도 최적화 알고리즘을 적용하기 전에 다음을 수행하는 것이 좋습니다.
- 선호하는 대답 데이터에 지도 미세 조정을 사용하여 모델을 조정합니다. 이를 통해 모델은 추론 중에 선호하는 대답을 생성하도록 학습합니다.
- 선호도 조정을 사용하여 1단계에서 생성된 체크포인트에서 계속 조정합니다. 이렇게 하면 모델이 선호하는 대답과 선호하지 않는 대답 간의 가능성 차이를 늘리도록 학습됩니다.
지도 미세 조정 데이터 세트를 만들려면 선호도 데이터 세트의 프롬프트와 수락된 대답 쌍을 지도 미세 조정 데이터 세트의 프롬프트와 타겟으로 사용합니다. 일반적으로 지도 미세 조정은 한두 개의 에포크로 충분하지만, 데이터 세트 크기와 학습 데이터 세트가 처음에 Gemini 모델과 얼마나 일치하는지에 따라 달라질 수 있습니다.
지도 미세 조정을 사용하여 모델을 조정하려면 지도 미세 조정을 사용하여 Gemini 모델 조정의 단계를 따르세요.
Quota
할당량은 동시 조정 작업 수에 적용됩니다. 모든 프로젝트에는 조정 작업을 최소 하나 이상 실행할 수 있는 기본 할당량이 제공됩니다. 이 할당량은 사용 가능한 모든 리전 및 지원되는 모델에서 공유되는 전역 할당량입니다. 더 많은 작업을 동시에 실행하려면 Global concurrent tuning jobs의 추가 할당량을 요청해야 합니다.
가격 책정
Gemini 선호도 조정 가격은 Vertex AI 가격 책정에서 확인할 수 있습니다.
가격 책정을 위해 프롬프트의 토큰 수에 2를 곱한 다음 완료 토큰 수를 더하여 각 조정 예의 토큰 수를 계산합니다.