강화 학습은 사용자 정의 보상 함수에서 제공하는 피드백 보상을 극대화하도록 대규모 언어 모델(LLM)을 조정하는 강력한 기법입니다. 모델은 가능한 여러 대답을 탐색하고 각 대답에 대한 숫자 보상을 관찰하며, 보상이 높은 대답은 가능성이 높아지고 보상이 낮은 대답은 가능성이 낮아지도록 동작을 점진적으로 전환합니다. 이 접근 방식은 다단계 추론, 복잡한 의사 결정 또는 프롬프트의 미묘한 뉘앙스 이해가 필요한 시나리오에 적합합니다.
Gemini의 강화 학습 미세 조정을 사용하면 자체 프롬프트와 자체 정의 보상 함수를 사용하여 Gemini를 미세 조정할 수 있습니다. 이를 사용하여 자체 사용 사례 및 에이전트형 워크플로에 맞게 Gemini 모델의 추론 기능과 출력 품질을 향상할 수 있습니다.
작동 방식
강화 학습 미세 조정은 반복적으로 작동하여 LLM의 동작을 미세 조정합니다. 각 반복 중에 모델은 프롬프트 집합에 대한 대답을 생성합니다. 그런 다음 이러한 대답은 사용자 정의 보상 함수에 의해 평가되며, 이 함수는 타겟 기준에 따라 생성된 출력의 품질을 정량화합니다. 서비스는 이 보상 신호를 사용하여 강화 학습 알고리즘을 통해 모델의 매개변수를 업데이트하여 더 높은 보상으로 이어지는 동작을 장려합니다. 이러한 생성, 평가, 파라미터 업데이트의 반복 프로세스를 통해 모델을 특정 사용 사례에 맞게 조정합니다.
다음 다이어그램은 전체 강화 학습 파인 튜닝 워크플로를 보여줍니다.
주요 특징
강화 학습 미세 조정에는 다음과 같은 주요 기능이 포함됩니다.
맞춤설정 가능한 보상 함수: 자체 보상 함수를 정의하여 다양한 커스텀 사용 사례에 맞게 정밀하게 최적화하고 모델의 동작을 특정 목표에 맞게 조정합니다. 지원되는 보상 유형에 대한 자세한 내용은 보상 함수 페이지를 참조하세요.
효율적인 조정을 위한 어댑터: 강화 학습 미세 조정은 어댑터를 사용하므로 기존 서빙 인프라를 재사용하면서 효과적으로 조정할 수 있습니다.
여러 사고 수준: 이 서비스는
MINIMAL및HIGH(동적 사고)의 두 가지 사고 수준에서 조정을 지원하므로 최적화 목표와 타겟 응답 생성 패턴에 가장 적합한 접근 방식을 선택할 수 있습니다. 자세한 내용은 하이퍼파라미터 페이지를 참조하세요.지속적 조정: 추가 학습 예시 또는 에포크를 통합하여 이전에 조정된 모델을 추가로 미세 조정합니다. 기존에 조정된 모델이나 체크포인트를 기반으로 사용하면 조정 실험을 더 효율적으로 진행할 수 있습니다. 자세한 내용은 지속적 조정 페이지를 참조하세요.
멀티모달 데이터 세트: 텍스트, 이미지, 동영상 (Gemini 3.5 Flash만 해당), 오디오 데이터 모달리티를 지원합니다.
강화 학습 파인 튜닝을 사용해야 하는 경우
강화 학습 미세 조정은 지도 학습을 통해 최적의 전략이 명확하지 않은 상황에서 LLM을 미세 조정하는 데 선호됩니다. 여기에는 쉽게 사용할 수 있는 정답 라벨 없이 특정 측정항목을 최적화하는 것이 목표인 작업, 인간 선호도와의 일치가 중요한 작업 (판단 방법이 존재함), 반복적인 개선과 탐색이 도움이 되는 추론 중심 작업이 포함됩니다.
다음은 강화 학습 파인 튜닝이 선호되는 몇 가지 시나리오입니다.
복잡한 지시 따르기: 모델이 '정답' 출력이 단일 답변이 아니라 일련의 검사가 필요한 복잡한 지시를 따라야 하는 경우입니다. 강화 학습은 이러한 복잡한 명령 집합을 탐색하도록 모델을 조정할 수 있습니다.
창의적인 콘텐츠 생성: 창의적인 글쓰기, 시, 고도로 전문화된 코드 생성과 같이 객관적인 측정항목을 정의하기 어려운 작업입니다. 잘 설계된 보상 함수(인간 피드백 또는 전문가 평가 포함 가능)를 사용하는 강화 학습은 모델을 더 효과적이고 혁신적인 출력으로 안내할 수 있습니다.
추론 작업: 단어 퍼즐이나 수학 문제 해결과 같이 많은 추론이 필요한 작업의 경우 강화 학습을 통해 모델이 다양한 추론 시퀀스를 탐색하여 문제를 해결하는 데 가장 효과적인 패턴을 식별하도록 유도할 수 있습니다.
지원되는 모델 및 리전
다음 Gemini 모델은 강화 학습 미세 조정을 지원합니다.
Gemini 3.5 Flash
| 사양 | 값 |
|---|---|
| 모델 조정을 위해 지원되는 엔드포인트 |
|
| 조정된 모델 서빙에 지원되는 엔드포인트 |
|
| API 버전 | v1beta1만 해당 |
Gemini 3.1 Flash-Lite
| 사양 | 값 |
|---|---|
| 모델 조정을 위해 지원되는 엔드포인트 |
|
| 조정된 모델 서빙에 지원되는 엔드포인트 |
|
| API 버전 | v1beta1만 해당 |
지원되는 조정 모달리티
강화 학습 미세 조정은 조정 데이터 세트에서 다음 데이터 형식을 지원합니다.
- 텍스트
- 오디오
- 이미지
- 동영상 (Gemini 3.5 Flash에서만 지원됨)
모달별 데이터 세트 한도 (예: 프롬프트당 최대 파일 수, 최대 파일 크기, 최대 총 길이)는 조정 데이터 세트 페이지를 참조하세요.
지속적 조정
이전 조정 작업의 출력을 새 강화 학습 미세 조정 작업의 기반으로 사용할 수 있습니다. 다음과 같은 지속적 조정 패턴이 지원됩니다.
- 지도 미세 조정 → 강화 학습 미세 조정
- 강화 학습 미세 조정 → 강화 학습 미세 조정
구성 세부정보는 지속적 조정 페이지를 참조하세요.
조정된 모델 서빙
기본 Gemini 모델에서 강화 학습 미세 조정 작업이 성공적으로 완료되면 마지막 체크포인트를 기반으로 조정된 모델이 프로젝트의 엔드포인트에 배포됩니다. 조정된 모델은 기본 모델과 동일한 서빙 엔드포인트 전략을 사용합니다. 예를 들어 us-central1에서 조정 작업을 실행하면 조정된 모델이 us 멀티 리전 엔드포인트(mREP)에 배포됩니다.
Google Cloud 콘솔에서 또는 API를 사용하여 배포된 조정 모델 엔드포인트를 검색하고 추론을 실행하려면 Google Cloud 콘솔 빠른 시작 또는 API 빠른 시작을 참조하세요.
가격 책정
조정 가격 책정
Gemini의 강화 학습 미세 조정은 샘플링 단계와 학습 단계의 두 단계로 토큰을 생성합니다. 학습 단계에서 생성된 토큰은 Gemini Enterprise Agent Platform 가격 책정 페이지의 '모델 조정' 섹션에 따라 요금이 청구됩니다.
추론 가격 책정
조정 후에도 조정된 모델의 추론 (예측 요청) 비용이 계속 적용됩니다. Gemini 3 이상 모델의 경우 조정된 모델 엔드포인트 예측 가격은 기본 모델 가격의 1.5배입니다. 자세한 내용은 사용 가능한 Gemini 안정화 모델 버전을 참조하세요.
조정 중에 Gen AI Evaluation Service가 자동으로 실행되도록 구성하면 평가 비용이 일괄 예측 작업으로 청구됩니다. 자세한 내용은 Agent Platform 가격 책정 페이지의 '모델 조정' 섹션을 참조하세요.
다음 단계
- Google Cloud 콘솔 빠른 시작 또는 API 빠른 시작에 따라 첫 번째 강화 학습 미세 조정 작업을 만듭니다.
- 조정 데이터 세트를 준비하고 보상 함수를 구성하는 방법을 알아봅니다.
- 조정된 Gemini 모델 배포에 대해 알아보기