Ottimizzazione delle immagini

Questa pagina fornisce i prerequisiti e istruzioni dettagliate per il perfezionamento dei modelli Gemini sui dati delle immagini utilizzando l'apprendimento supervisionato.

Casi d'uso

Il fine-tuning ti consente di adattare i modelli Gemini di base per attività specializzate. Ecco alcuni casi d'uso delle immagini:

  • Miglioramento del catalogo prodotti: estrai gli attributi chiave dalle immagini (ad es. brand, colore, taglia) per creare e arricchire automaticamente il tuo catalogo prodotti.
  • Moderazione delle immagini: perfeziona un modello per rilevare e segnalare contenuti dannosi o inappropriati nelle immagini, garantendo un'esperienza online più sicura.
  • Ispezione visiva: addestra un modello per identificare oggetti o difetti specifici all'interno delle immagini, automatizzando i processi di controllo qualità o ispezione.
  • Classificazione delle immagini: migliora l'accuratezza della classificazione delle immagini per domini specifici, come l'imaging medico o l'analisi di immagini satellitari.
  • Consigli basati sulle immagini: analizza le immagini per fornire consigli personalizzati, ad esempio suggerendo prodotti simili o articoli complementari.
  • Estrazione dei contenuti delle tabelle: estrai i dati dalle tabelle all'interno delle immagini e convertili in formati strutturati come fogli di lavoro o database.

Limitazioni

  • Numero massimo di immagini per esempio: 30
  • Dimensione massima del file immagine: 20 MB

Per saperne di più sui requisiti dei campioni di immagini, consulta la pagina Comprensione delle immagini.

Formato del set di dati

fileUri per il set di dati può essere l'URI di un file in un bucket Cloud Storage oppure un URL HTTP o HTTPS disponibile pubblicamente.

Il campo mediaResolution dell'GenerationConfigoggetto viene utilizzato per controllare il compromesso tra la qualità del file multimediale inviato per la regolazione e il numero di token utilizzati per rappresentare i contenuti multimediali. Una risoluzione più elevata consente al modello di percepire più dettagli, il che può portare a un comportamento più sfumato del modello ottimizzato, ma utilizzerà anche più token. Ciò non influisce sulle dimensioni dell'immagine inviate al modello. Se non specificata, la risoluzione predefinita è MEDIA_RESOLUTION_HIGH.

Di seguito sono riportati i valori di mediaResolution supportati per la messa a punto dei dati delle immagini per le versioni di Gemini precedenti alla 3:

  • MEDIA_RESOLUTION_LOW: 64 token
  • MEDIA_RESOLUTION_MEDIUM: 256 token
  • MEDIA_RESOLUTION_HIGH: 256 token + (256 token * numero di immagini pan and scan)

Per visualizzare l'esempio di formato generico, vedi Esempio di set di dati per Gemini.

Di seguito è riportato un esempio di set di dati di immagini:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        },
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

(Solo modelli Gemini 3 e successivi) A partire dai modelli Gemini 3, puoi anche impostare la risoluzione dei contenuti multimediali per ogni singolo contenuto Part. In questo modo puoi combinare le risoluzioni nel tuo set di dati (ad esempio, impostando MEDIA_RESOLUTION_HIGH per un elemento e MEDIA_RESOLUTION_LOW per un altro). Per ulteriori informazioni sulla risoluzione a livello di parte e sui conteggi dei token corrispondenti, consulta Risoluzione dei contenuti multimediali.

Le impostazioni di risoluzione dei contenuti multimediali a livello di Part hanno la precedenza su quelle globali.

Di seguito è riportato un esempio di set di dati che imposta la risoluzione dei contenuti multimediali sia a livello Part che globale:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://image.jpeg"
          }
        },
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://ultra_high_res_image.jpeg"
          },
          "mediaResolution": {
            "level": "MEDIA_RESOLUTION_HIGH"
          }
        },
        {
          "text": "Describe these images in detail."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "Image 1 is low resolution while image 2 is sharp and clear"
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

Set di dati di esempio

Puoi utilizzare i seguenti set di dati di esempio per scoprire come ottimizzare un modello Gemini. Per utilizzare questi set di dati, specifica gli URI nei parametri applicabili quando crei un job di fine-tuning supervisionato di un modello di testo.

Per utilizzare il set di dati di ottimizzazione di esempio, specifica la sua posizione nel seguente modo:

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

Per utilizzare il set di dati di convalida di esempio, specifica la sua posizione nel seguente modo:

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

Passaggi successivi