Ajuste de imagem

Esta página fornece pré-requisitos e instruções detalhadas para ajustar modelos do Gemini em dados de imagem usando o aprendizado supervisionado.

Casos de uso

O ajuste fino permite adaptar os modelos de base do Gemini para tarefas especializadas. Confira alguns casos de uso de imagens:

  • Melhoria do catálogo de produtos: extraia os principais atributos das imagens (por exemplo, marca, cor, tamanho) para criar e enriquecer automaticamente seu catálogo de produtos.
  • Moderação de imagens: ajuste um modelo para detectar e sinalizar conteúdo inadequado ou nocivo em imagens, garantindo uma experiência on-line mais segura.
  • Inspeção visual: treine um modelo para identificar objetos ou defeitos específicos em imagens, automatizando o controle de qualidade ou os processos de inspeção.
  • Classificação de imagens: melhore a precisão da classificação de imagens para domínios específicos, como imagens médicas ou análise de imagens de satélite.
  • Recomendações baseadas em imagens: analise imagens para fornecer recomendações personalizadas, como sugerir produtos semelhantes ou itens complementares.
  • Extração de conteúdo de tabelas: extraia dados de tabelas em imagens e converta-os em formatos estruturados, como planilhas ou bancos de dados.

Limitações

  • Máximo de imagens por exemplo: 30
  • Tamanho máximo do arquivo de imagem: 20 MB

Para saber mais sobre os requisitos de amostra de imagem, consulte a página Compreensão de imagem.

Formato do conjunto de dados

O fileUri do conjunto de dados pode ser o URI de um arquivo em um bucket do Cloud Storage ou um URL HTTP ou HTTPS disponível publicamente.

O campo mediaResolution do objeto GenerationConfig é usado para controlar o equilíbrio entre a qualidade do arquivo de mídia enviado para ajuste e o número de tokens usados para representar a mídia. Uma resolução mais alta permite que o modelo perceba mais detalhes, o que pode levar a um comportamento mais sutil do modelo ajustado, mas também usará mais tokens. Isso não afeta as dimensões da imagem enviadas ao modelo. Quando não especificada, a resolução padrão é MEDIA_RESOLUTION_HIGH.

mediaResolution para as versões 3 e anteriores do Gemini

Confira a seguir os valores de mediaResolution compatíveis para ajustar dados de imagem para as versões 3 e anteriores do Gemini:

  • MEDIA_RESOLUTION_LOW: 64 tokens
  • MEDIA_RESOLUTION_MEDIUM: 256 tokens
  • MEDIA_RESOLUTION_HIGH: 256 tokens + (256 tokens * número de imagens de movimento panorâmico e zoom)

Para conferir o exemplo de formato genérico, consulte Exemplo de conjunto de dados para o Gemini.

Confira a seguir um exemplo de conjunto de dados de imagem:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        },
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

mediaResolution para as versões 3 e mais recentes do Gemini

Para os modelos Gemini 3 e mais recentes, também é possível definir a resolução de mídia por mídia individual Part. Isso permite misturar resoluções no conjunto de dados (por exemplo, definindo MEDIA_RESOLUTION_HIGH para um item e MEDIA_RESOLUTION_LOW para outro). Para mais informações sobre a resolução de partes e as contagens de tokens correspondentes, consulte Resolução de mídia.

As configurações de resolução de mídia no nível de Part têm prioridade sobre as configurações globais.

Veja a seguir um conjunto de dados de exemplo que define a resolução de mídia nos níveis Part e global:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://image.jpeg"
          }
        },
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://ultra_high_res_image.jpeg"
          },
          "mediaResolution": {
            "level": "MEDIA_RESOLUTION_HIGH"
          }
        },
        {
          "text": "Describe these images in detail."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "Image 1 is low resolution while image 2 is sharp and clear"
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

Conjuntos de dados de amostra

Use os conjuntos de dados de exemplo a seguir para aprender a ajustar um modelo do Gemini. Para usar esses conjuntos de dados, especifique os URIs nos parâmetros aplicáveis ao criar um job de ajuste supervisionado de modelo de texto.

Para usar o conjunto de dados de ajuste de amostra, especifique o local da seguinte maneira:

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

Para usar o conjunto de dados de validação de amostra, especifique o local dele da seguinte maneira:

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

A seguir