이미지 조정

이 페이지에서는 지도 학습을 사용하여 이미지 데이터에서 Gemini 미세 조정에 필요한 기본 요건과 자세한 안내를 제공합니다.

사용 사례

미세 조정을 사용하면 특수한 태스크에 맞게 기본 Gemini 모델을 조정할 수 있습니다. 다음은 몇 가지 이미지 사용 사례입니다.

  • 제품 카탈로그 개선: 이미지에서 주요 속성(예: 브랜드, 색상, 크기)을 추출하여 제품 카탈로그를 자동으로 빌드하고 보강합니다.
  • 이미지 검토: 모델을 미세 조정하여 이미지에서 부적절하거나 유해한 콘텐츠를 감지 및 신고하여 더욱 안전한 온라인 환경을 조성합니다.
  • 시각적 검사: 이미지 내 특정 객체나 결함을 식별하도록 모델을 학습시켜 품질 관리 또는 검사 프로세스를 자동화합니다.
  • 이미지 분류: 의료 영상 또는 위성 이미지 분석과 같은 특정 분야의 이미지 분류 정확성을 향상시킵니다.
  • 이미지 기반 추천: 이미지를 분석하여 유사한 제품 또는 보완 상품 추천과 같은 맞춤형 추천을 제공합니다.
  • 표 콘텐츠 추출: 이미지 내 표에서 데이터를 추출하고 스프레드시트나 데이터베이스와 같은 구조화된 형식으로 변환합니다.

제한사항

  • 예시당 최대 이미지 수: 30
  • 최대 이미지 파일 크기: 20MB

이미지 샘플 요구사항에 대한 자세한 내용은 이미지 이해 페이지를 참조하세요.

데이터 세트 형식

데이터 세트의 fileUri는 Cloud Storage 버킷의 파일 URI이거나 공개적으로 사용 가능한 HTTP 또는 HTTPS URL일 수 있습니다.

GenerationConfig 객체의 mediaResolution 필드는 조정하기 위해 전송되는 미디어 파일의 품질과 미디어를 나타내는 데 사용되는 토큰 수 간의 균형을 제어하는 데 사용됩니다. 해상도가 높을수록 모델에서 더 많은 세부정보를 인식할 수 있으므로 미묘하게 조정된 모델 동작이 가능하지만 토큰도 더 많이 사용됩니다. 이는 모델로 전송되는 이미지 크기에 영향을 미치지 않습니다. 지정하지 않으면 기본 해상도는 MEDIA_RESOLUTION_HIGH입니다.

이미지 데이터 미세 조정에 지원되는 mediaResolution 값은 다음과 같습니다.

  • MEDIA_RESOLUTION_LOW: 토큰 64개
  • MEDIA_RESOLUTION_MEDIUM: 토큰 256개
  • MEDIA_RESOLUTION_HIGH: 토큰 256개 + (토큰 256개 * 팬 및 스캔 이미지 수)

일반적인 형식 예시는 Gemini용 데이터 세트 예시를 참조하세요.

다음은 이미지 데이터 세트 예시입니다.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        },
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

샘플 데이터 세트

다음 샘플 데이터 세트를 사용하여 Gemini 모델을 조정하는 방법을 알아볼 수 있습니다. 이러한 데이터 세트를 사용하려면 텍스트 모델 지도 미세 조정 작업을 만들 때 적용 가능한 파라미터에 URI를 지정합니다.

샘플 조정 데이터 세트를 사용하려면 다음과 같이 위치를 지정하세요.

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

샘플 검증 데이터 세트를 사용하려면 다음과 같이 위치를 지정하세요.

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

다음 단계