En esta página, se proporcionan los requisitos previos y las instrucciones detalladas para ajustar los modelos de Gemini en datos de imagen con el aprendizaje supervisado.
Casos de uso
El ajuste fino te permite adaptar los modelos de Gemini base para tareas especializadas. Estos son algunos casos de uso de imágenes:
- Mejora del catálogo de productos: Extrae atributos clave de las imágenes (p. ej., marca, color y tamaño) para crear y enriquecer automáticamente tu catálogo de productos.
- Moderación de imágenes: Ajusta un modelo para detectar y marcar contenido inapropiado o prejudicial en las imágenes, lo que garantiza una experiencia en línea más segura.
- Inspección visual: Entrena un modelo para identificar objetos o defectos específicos dentro de las imágenes y automatizar los procesos de control de calidad o inspección.
- Clasificación de imágenes: Mejora la exactitud de la clasificación de imágenes para dominios específicos, como el análisis de imágenes médicas o de imágenes satelitales.
- Recomendaciones basadas en imágenes: Analizan las imágenes para proporcionar recomendaciones personalizadas, como sugerir productos similares o artículos complementarios.
- Extracción de contenido de tablas: Extrae datos de tablas dentro de imágenes y conviértelos en formatos estructurados, como hojas de cálculo o bases de datos.
Limitaciones
- Cantidad máxima de imágenes por ejemplo: 30
- Tamaño máximo del archivo de imagen: 20 MB
Para obtener más información sobre los requisitos de las muestras de imágenes, consulta la página Comprensión de imágenes.
Formato del conjunto de datos
El fileUri de tu conjunto de datos puede ser el URI de un archivo en un bucket de Cloud Storage
o una URL HTTP o HTTPS disponible de forma pública.
El campo mediaResolution del objeto GenerationConfig se usa para controlar el equilibrio entre la calidad del archivo multimedia que se envía para el ajuste y la cantidad de tokens que se usan para representar el contenido multimedia. Una resolución más alta
permite que el modelo perciba más detalles, lo que puede generar un comportamiento del modelo ajustado
con más matices, pero también usará más tokens. Esto no afecta las dimensiones de la imagen que se envían al modelo. Cuando no se especifica, la resolución predeterminada
es MEDIA_RESOLUTION_HIGH.
mediaResolution para las versiones 3 y anteriores de Gemini
Los siguientes son los valores de mediaResolution admitidos para ajustar los datos de imágenes
en las versiones 3 y anteriores de Gemini:
MEDIA_RESOLUTION_LOW: 64 tokensMEDIA_RESOLUTION_MEDIUM: 256 tokensMEDIA_RESOLUTION_HIGH: 256 tokens + (256 tokens * cantidad de imágenes de paneo y escaneo)
Para ver el ejemplo de formato genérico, consulta Ejemplo de conjunto de datos para Gemini.
A continuación, se muestra un ejemplo de un conjunto de datos de imágenes:
{
"contents": [
{
"role": "user",
"parts": [
{
"fileData": {
"mimeType": "image/jpeg",
"fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
}
},
{
"text": "Describe this image in detail that captures the essence of it."
}
]
},
{
"role": "model",
"parts": [
{
"text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
}
]
}
],
"generationConfig": {
"mediaResolution": "MEDIA_RESOLUTION_LOW"
}
}
mediaResolution para las versiones 3 y posteriores de Gemini
Para los modelos de Gemini 3 y versiones posteriores, también puedes establecer la resolución de los medios
por cada Part de contenido multimedia.
Esto te permite mezclar resoluciones en tu conjunto de datos (por ejemplo, configurando
MEDIA_RESOLUTION_HIGH para un elemento y MEDIA_RESOLUTION_LOW para otro).
Para obtener más información sobre la resolución a nivel de parte y sus recuentos de tokens
correspondientes, consulta Resolución de
contenido multimedia.
La configuración de resolución de medios a nivel de Part tiene prioridad sobre la configuración global.
El siguiente es un conjunto de datos de ejemplo que establece la resolución de medios en los niveles Part y global:
{
"contents": [
{
"role": "user",
"parts": [
{
"fileData": {
"mimeType": "image/jpeg",
"fileUri": "gs://image.jpeg"
}
},
{
"fileData": {
"mimeType": "image/jpeg",
"fileUri": "gs://ultra_high_res_image.jpeg"
},
"mediaResolution": {
"level": "MEDIA_RESOLUTION_HIGH"
}
},
{
"text": "Describe these images in detail."
}
]
},
{
"role": "model",
"parts": [
{
"text": "Image 1 is low resolution while image 2 is sharp and clear"
}
]
}
],
"generationConfig": {
"mediaResolution": "MEDIA_RESOLUTION_LOW"
}
}
Conjunto de datos de muestra
Puedes usar los siguientes conjuntos de datos de muestra para aprender a ajustar un modelo de Gemini. Para usar estos conjuntos de datos, especifica los URI en los parámetros aplicables cuando crees un trabajo de ajuste supervisado del modelo de texto.
Para usar el conjunto de datos de ajuste de muestra, especifica su ubicación de la siguiente manera:
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",
Para usar el conjunto de datos de validación de muestra, especifica su ubicación de la siguiente manera:
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",
¿Qué sigue?
- Para obtener más información sobre la función de comprensión de imágenes de Gemini, consulta nuestra documentación sobre comprensión de imágenes.
- Para obtener información sobre cómo generar y editar imágenes, consulta Genera imágenes con Gemini y Edita imágenes con Gemini.
- Para comenzar a ajustar, consulta Ajusta los modelos de Gemini con el ajuste supervisado.