생성형 AI는 방대한 양의 데이터로 사전 학습된 대규모 머신러닝(ML) 모델을 사용하는 경우가 많습니다. 이를 파운데이션 모델이라고 하며 다양한 작업의 기반이 됩니다. Agent Platform을 사용하여 파운데이션 모델을 맞춤설정하는 방법은 다양합니다.
조정: 조정은 선택한 다운스트림 작업과 관련된 특정 예시의 학습 데이터 세트를 모델에 제공하는 과정입니다.
- 지도 조정: 이 기법은 라벨이 지정된 예를 사용하여 모델을 세부 조정합니다. 각 예시는 추론 중에 지정된 입력에 대해 선택된 출력을 보여줍니다. 지도 조정은 예상 출력이 지나치게 복잡하지 않고 명확하게 정의할 수 있는 작업(예: 분류, 감정 분석, 항목 추출, 덜 복잡한 콘텐츠 요약, 도메인별 쿼리 생성)에 효과적입니다. 감독 학습을 사용하여 텍스트, 이미지, 오디오, 문서 데이터 유형을 조정할 수 있습니다.
- 인간 피드백 기반 강화 학습(RLHF) 조정: 이 방법은 선택한 모델 출력이 더 복잡한 경우에 적합합니다. RLHF 조정은 질의 응답, 복잡한 콘텐츠 요약, 창의적인 콘텐츠 생성과 같이 감독 조정을 통해 쉽게 구별되지 않는 목표에 적합합니다.
증류: 증류는 더 크고 성능이 우수한 '교사' 모델의 동작을 모방하도록 더 작은 '학생' 모델을 학습시키는 것을 의미합니다.
어댑터 모델 학습: 파운데이션 모델과 함께 작동하여 전문 작업의 성능을 개선하는 소규모 어댑터 모델(또는 레이어)을 학습시키는 과정입니다. 원래 파운데이션 모델의 파라미터는 종종 고정된 상태로 유지되며 학습 중에 어댑터의 가중치만 업데이트됩니다.
그라운딩: 그라운딩은 학습 방법은 아니지만 생성형 AI 출력의 신뢰성을 보장하는 데 중요한 관점입니다. 그라운딩은 모델의 출력을 확인 가능한 정보 소스에 연결하여 콘텐츠가 날조될 가능성을 줄이는 작업입니다. 여기에는 추론 중에 모델에 특정 데이터 소스에 대한 액세스 권한을 제공하는 것이 포함되는 경우가 많습니다.