빠른 시작: Google Cloud 콘솔을 사용한 강화 학습 미세 조정

이 페이지에서는 Google Cloud 콘솔에서 Gemini 모델의 강화 학습 세부 조정에 대한 엔드 투 엔드 워크플로를 안내합니다. 여기에는 조정 작업 만들기, 상태 확인, 조정된 모델 엔드포인트 가져오기, 이에 대한 추론 실행이 포함됩니다. Agent Platform API를 사용하여 이러한 작업을 완료하려면 API 빠른 시작을 참고하세요.

시작하기 전에 강화 학습 미세 조정 정보에서 기능, 지원되는 모델, 지원되는 지역을 개략적으로 살펴보세요.

강화 학습 미세 조정 작업 만들기

Google Cloud 콘솔을 사용하여 강화 학습 미세 조정 작업을 만들려면 다음 단계를 수행합니다.

  1. Google Cloud 콘솔에서 모델 > 미세 조정 페이지로 이동합니다.

    조정으로 이동

  2. 조정된 모델 만들기를 클릭합니다.

  3. 모델 세부정보 섹션에서 다음을 구성합니다.

    1. 조정 방법에서 강화 학습 미세 조정을 선택합니다.
    2. 조정된 모델 이름 필드에 조정된 모델의 이름을 입력합니다(예: my-rl-tuned-model).
    3. 기본 모델에서 파운데이션 모델 조정을 선택합니다.
    4. 기본 모델 드롭다운 목록에서 조정할 모델을 선택합니다 (예: gemini-3.5-flash).
    5. 리전 드롭다운 목록에서 조정 작업이 실행되는 리전을 선택합니다 (예: us-central1 (Iowa)). 조정된 결과 모델은 us 멀티 리전 엔드포인트에서 제공됩니다. 지원되는 조정 및 제공 리전의 전체 목록은 지원되는 모델 및 리전 섹션을 참고하세요.
    6. 선택사항: 고급 옵션을 펼쳐 하이퍼 매개변수를 맞춤설정합니다.
      • 에포크 수: 학습 에포크 수입니다 (예: 15).
      • 학습률 배율: 학습률을 조정하는 데 사용되는 배수입니다 (예: 1.0).
      • 어댑터 크기: 파라미터 효율적인 조정을 위한 어댑터 크기(예: 16).
      • 프롬프트당 샘플: 학습 중에 모델이 프롬프트당 생성하는 후보 응답 수입니다 (예: 16).
      • 사고 수준: 추론 모델의 사고 수준입니다(예: HIGH).
      • 배치 크기: 배치당 학습 예시 수입니다 (예: 32).
      • 체크포인트 간격: 중간 체크포인트가 저장되는 단계의 빈도입니다 (예: 5).
      • 최대 출력 토큰: 샘플당 생성되는 최대 출력 토큰 수입니다 (예: 32768).
      • 평가 간격: 검증 데이터 세트에 대해 평가가 실행되는 단계별 빈도입니다 (예: 5).
    7. 계속을 클릭합니다.

  4. 리워드 구성 섹션에서 학습 중에 모델 응답을 평가할 하나 이상의 리워드 함수를 구성합니다.

    1. 리워드 이름 필드에 리워드 함수의 고유한 이름을 입력합니다 (예: my_reward_function_name). 모니터링 뷰에서 내보낸 측정항목에는 이 이름이 접두사로 붙습니다.
    2. 보상 유형 드롭다운 목록에서 스코어러 유형을 선택합니다.
      • 문자열 일치 보상: 완전 일치 또는 정규 표현식을 사용하여 생성된 텍스트를 참조와 비교합니다.
      • LLM 기반 리워드: Gemini 모델을 자동 평가자로 사용하여 평가 프롬프트를 기반으로 대답에 점수를 매깁니다.
      • Python 함수 기반 리워드: 보안 샌드박스에서 맞춤 Python 코드를 실행하여 대답을 평가합니다.
      • Cloud Run을 통해 완전히 맞춤설정 가능한 리워드: Cloud Run에서 호스팅되는 외부 HTTP 엔드포인트를 호출하여 대답을 평가합니다.

    3. 선택한 리워드 유형의 설정을 구성합니다. 예를 들어 Cloud Run 리워드의 경우:

      • Cloud Run URI 필드에 배포된 서비스의 HTTPS URI를 입력합니다 (예: https://my.cloud.run.uri).
      • 파싱 유형 필드에서 IDENTITY를 선택합니다.

      또는 문자열 일치 리워드의 경우:

      • 파싱 유형 필드에서 REGEX_EXTRACT 또는 IDENTITY를 선택합니다. REGEX_EXTRACT를 선택하는 경우 정규식 추출 표현식에 정규 표현식을 입력합니다 (예: \text{(.*)}).
      • 오답 리워드 필드에 잘못된 대답에 대한 페널티를 입력합니다 (예: -1).
      • 정답 보상 필드에 정답에 대한 점수를 입력합니다 (예: 1).
      • 문자열 일치 표현식 유형에서 문자열 일치 또는 JSON 일치를 선택합니다.
      • 일치 작업 드롭다운 목록에서 일치 논리(예: 완전 일치)를 선택합니다.
      • 표현식 필드에 참조 표현식 (예: references.reference)을 입력합니다.

    4. 보상 가중치 필드에 이 보상 함수의 상대적 가중치를 입력합니다 (예: 1).

    5. 완료를 클릭합니다.

    6. 선택사항: 복합 보상을 정의하려면 + 다른 보상 추가를 클릭하고 추가 보상 함수를 구성합니다. 최대 16개의 보상 함수를 추가하고 각 함수에 상대적 가중치를 할당할 수 있습니다.

    7. 계속을 클릭합니다.

  5. 보상 테스트 (선택사항) 섹션에서 조정 작업을 시작하기 전에 보상 구성을 검증합니다.

    1. 학습 예시 필드에 contents 및 references이 포함된 샘플 JSON 객체를 입력합니다.
    2. 샘플 모델 응답 필드에 후보 응답을 입력하거나 학습 예시에서 생성을 클릭하여 기본 모델을 사용하여 샘플 응답을 생성합니다.
    3. 테스트를 클릭합니다.
    4. 평가가 성공했는지 확인하고 계산된 점수를 확인합니다. 복합 리워드를 사용하는 경우 개별 리워드 정보 보기를 클릭하여 리워드별 점수 분석을 검사합니다.
    5. 계속을 클릭합니다.

  6. 조정 데이터 세트에서 Cloud Storage에 저장된 데이터 세트 파일을 지정합니다.

    1. 학습 데이터 세트 필드에 학습 데이터 세트 JSONL 파일의 Cloud Storage URI를 입력합니다 (예: gs://path/to/my/training_dataset.jsonl).
    2. 검사 데이터 세트 필드에 검사 데이터 세트 JSONL 파일의 Cloud Storage URI를 입력합니다(예: gs://path/to/my/eval_dataset.jsonl).
    3. 조정 시작을 클릭합니다.

강화 학습 미세 조정 작업 상태 확인

조정 시작을 클릭하면 콘솔이 모델 > 조정 페이지로 리디렉션됩니다. 조정 작업 표에는 새로 생성된 작업이 목록 상단에 다음 세부정보와 함께 표시됩니다.

  • 모델 이름: 조정된 모델에 지정한 표시 이름입니다.
  • 상태: 조정 작업의 현재 상태입니다 (예: 대기 중, 실행 중, 성공).
  • 방법: Reinforcement Learning
  • 기본 모델: 기반 모델 또는 사전 튜닝된 모델입니다.
  • 리전: 조정 작업이 실행되는 위치입니다.

모델 이름을 클릭하여 미세 조정 작업 세부정보 페이지를 엽니다. 이 페이지에는 다음 탭이 표시됩니다.

  • 모니터링: 조정 진행 상황과 대화형 측정항목 차트를 표시합니다.
    • 조정 진행 상황: 작업이 실행 중인지 완료되었는지 표시합니다.
    • 결합된 차트: 검증 데이터 세트가 제공되면 학습 및 검증 곡선 (예: /train_mean_reward 및 /eval_mean_reward)이 동일한 차트에 함께 표시됩니다.
    • 접을 수 있는 차트 그룹: 측정항목 차트는 일반 조정 측정항목 (평균 보상, 생성 토큰 길이, 사고 토큰 길이, 샘플링 지연 시간, 보상 지연 시간)과 ${reward_name}로 시작하는 보상별 측정항목을 비롯한 그룹으로 구성됩니다.
    • 체크포인트 주석: 튜닝 중에 저장된 중간 체크포인트는 학습 타임라인을 따라 차트에 직접 주석이 추가됩니다.
    • 필터 표시줄: 필터 표시줄을 사용하여 이름으로 측정항목을 검색하거나 카테고리 (Show Category)별로 필터링합니다. 필터링하면 필터 표시줄이 뷰 상단에 고정됩니다.
    • 체크포인트 표: 저장된 중간 체크포인트를 단계 번호 및 측정항목 값과 함께 나열합니다. 열 선택기를 사용하여 표시할 열을 선택합니다.
  • 데이터 세트: 데이터 세트 세부정보, 샘플 대화, 참조 값을 표시합니다.
  • 세부정보: 기본 모델, 조정 방법, 초매개변수, 보상 구성을 비롯한 작업 구성을 요약합니다. 보상 구성 카드에서 세부정보 보기를 클릭하여 기본값이 아닌 매개변수 값을 확인합니다.

내보낸 측정항목의 전체 목록과 해석 방법은 측정항목 및 모니터링 페이지를 참고하세요.

학습 시간

학습 시간은 다음 요인의 영향을 받습니다.

설정에 따라 Gemini 강화 학습 미세 조정 작업이 몇 시간에서 며칠 동안 실행될 수 있습니다.

조정된 모델 엔드포인트 가져오기

조정 작업이 성공에 도달하면 모델 체크포인트가 엔드포인트에 배포됩니다. 배포된 조정된 모델은Google Cloud 콘솔에서 직접 확인하고 관리할 수 있습니다.

  1. 조정 작업 세부정보 페이지의 헤더에서 모델 세부정보 보기를 클릭합니다. 조정된 모델의 세부정보가 포함된 Model Registry 페이지가 열립니다.
  2. 모델 세부정보 페이지에서 배포 및 테스트 탭을 찾아 배포된 엔드포인트 리소스 경로 (projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID} 형식)를 확인합니다.
  3. 또는 조정 작업 세부정보 페이지의 모니터링 탭에서 체크포인트 표를 찾아 중간 체크포인트를 검사합니다. 개별 체크포인트를 독립적으로 배포하고 평가할 수 있습니다.

미세 조정 작업이 us-central1에서 실행된 경우 조정된 모델은 us 멀티 리전 엔드포인트에서 제공됩니다.

조정된 모델에서 추론 실행

Google Cloud 콘솔에서 직접 조정된 모델을 테스트하고 추론을 실행할 수 있습니다. 다음 단계를 따르세요.

  1. 조정 작업 세부정보 페이지의 헤더에서 테스트를 클릭합니다.

    조정된 모델이 미리 선택된 상태로 Agent Studio가 열립니다.

  2. 프롬프트 필드에 입력 프롬프트 (예: "Why is the sky blue?" 또는 타겟 도메인의 질문)를 입력합니다.

  3. 실행 (또는 보내기)을 클릭하여 대답을 생성합니다.

  4. 생성된 출력을 검토하여 모델이 원하는 추론 스타일, 형식, 보상 목표를 얼마나 잘 준수하는지 평가합니다.

다음 단계