Ajusta un modelo abierto

Para ver un ejemplo de ajuste supervisado de un modelo abierto, ejecuta el notebook “Ajuste de un modelo de Llama en MetaMathQA” en uno de los siguientes entornos:

Abrir en Colab | Abrir en Colab Enterprise | Abrir en Vertex AI Workbench | Ver en GitHub

En esta página, se describe cómo realizar el ajuste supervisado en modelos abiertos, como Llama 3.1.

Modos de ajuste admitidos

• Ajuste completo

• Adaptación de bajo rango (LoRA): LoRA es un modo de ajuste eficiente de parámetros que solo ajusta un subconjunto de parámetros. Es más rentable y requiere menos datos de entrenamiento que el ajuste fino completo. Por otro lado, el ajuste completo tiene un mayor potencial de calidad, ya que ajusta todos los parámetros.

Modelos compatibles

• Gemma 3 27B IT (google/gemma-3-27b-it)
• Llama 3.1 8B (meta/llama3_1@llama-3.1-8b)
• Llama 3.1 8B Instruct (meta/llama3_1@llama-3.1-8b-instruct)
• Llama 3.2 1B Instruct (meta/llama3-2@llama-3.2-1b-instruct)
• Llama 3.2 3B Instruct (meta/llama3-2@llama-3.2-3b-instruct)
• Llama 3.3 70B Instruct (meta/llama3-3@llama-3.3-70b-instruct)
• Qwen 3 32B (qwen/qwen3@qwen3-32b)
• Llama 4 Scout 17B 16E Instruct (meta/llama4@llama-4-scout-17b-16e-instruct)

Regiones admitidas

• Iowa (us-central1)
• Países Bajos (europe-west4)

Limitaciones

Modelo	Especificación	Valor
Gemma 3 27B IT	Modos de ajuste	Ajuste eficiente de parámetros Ajuste completo
	Longitud máxima de la secuencia	8192
	Modalidades	Texto
Llama 3.1 8B	Modos de ajuste	Ajuste eficiente de parámetros Ajuste completo
	Longitud máxima de la secuencia	4,096 (ajuste eficiente de parámetros) 8,192 (ajuste completo)
	Modalidades	Texto
Llama 3.1 8B Instruct	Modos de ajuste	Ajuste eficiente de parámetros Ajuste completo
	Longitud máxima de la secuencia	4,096 (ajuste eficiente de parámetros) 8,192 (ajuste completo)
	Modalidades	Texto
Llama 3.2 1B Instruct	Modos de ajuste	Ajuste completo
	Longitud máxima de la secuencia	8192
	Modalidades	Texto
Llama 3.2 3B Instruct	Modos de ajuste	Ajuste completo
	Longitud máxima de la secuencia	8192
	Modalidades	Texto
Llama 3.3 70B Instruct	Modos de ajuste	Ajuste eficiente de parámetros Ajuste completo
	Longitud máxima de la secuencia	4,096 (ajuste eficiente de parámetros) 8,192 (ajuste completo)
	Modalidades	Texto
Llama 4 Scout 17B 16E Instruct	Modos de ajuste	Ajuste eficiente de parámetros
	Longitud máxima de la secuencia	2,048
	Modalidades	Texto Imágenes^* ^*No se admiten conjuntos de datos mixtos de ejemplos de solo texto y de imágenes. Si hay al menos un ejemplo de imagen en el conjunto de datos, se filtrarán todos los ejemplos solo de texto.
Qwen 3 32B	Modos de ajuste	Ajuste eficiente de parámetros Ajuste completo
	Longitud máxima de la secuencia	8192
	Modalidades	Texto

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Instala e inicializa el SDK de Vertex AI para Python
2. Importa las siguientes bibliotecas:

   import os
   import time
   import uuid
   import vertexai
   
   vertexai.init(project=PROJECT_ID, location=REGION)
   
   from google.cloud import aiplatform
   from vertexai.tuning import sft, SourceModel
   

Prepara el conjunto de datos para el ajuste

Se requiere un conjunto de datos de entrenamiento para el ajuste. Se recomienda que prepares un conjunto de datos de validación opcional si deseas evaluar el rendimiento de tu modelo ajustado.

Tu conjunto de datos debe estar en uno de los siguientes formatos JSON Lines (JSONL) admitidos, en el que cada línea contiene un solo ejemplo de ajuste.

Sube tus archivos JSONL a Cloud Storage.

Conjuntos de datos de solo texto

Completar la instrucción

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Formato de chat por turnos

{"messages": [
  {"content": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles.",
    "role": "system"},
  {"content": "Summarize the paper in one paragraph.",
    "role": "user"},
  {"content": " Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ...",
    "role": "assistant"}
]}

GenerateContent

{
"systemInstruction": {
  "parts": [{ "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles." }]},
"contents": [
  {"role": "user",
    "parts": [{ "text": "Summarize the paper in one paragraph." }]},
  {"role": "assistant",
    "parts": [{ "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..." }]}
]}

Conjuntos de datos multimodales

Nota: OpenAI Prompt Completion y Vertex AI Text Bison son formatos de conjuntos de datos de solo texto, por lo que es posible que el ajuste multimodal con algunos modelos no admita estos dos formatos. Consulta la documentación específica del modelo para obtener más información.

Formato de chat por turnos

{"messages": [
  {"role": "user", "content": [
    {"type": "text", "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles."},
    {"type": "image_url", "image_url": {
      "url": "gs://your-gcs-bucket/your-image.jpeg",
      "detail": "low"}}]
  },
  {"role": "assistant", "content": [
    {"type": "text", "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..."}]
  },
  {"role": "user", "content": [
    {"type": "text", "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles."},
    {"type": "image_url", "image_url": {
      "url": "data:image/jpeg;base64,<base64 image>",
      "detail": "low"}}]
  },
  {"role": "assistant", "content": [
    {"type": "text", "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..."}]
  },
]}

GenerateContent

{
"systemInstruction": {
  "parts": [{ "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles." }]},
"contents": [
  {"role": "user",
    "parts": [
      {"text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles." },
      {"file_data": {
        "mime_type": "image/jpeg", "file_uri": "gs://your-gcs-bucket/your-image.jpeg"}}]
  },
  {"role": "assistant",
    "parts": [{ "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..." }]}
]}

Los formatos compatibles incluyen imágenes JPEG, PNG, WEBP y codificadas en Base64.

Ten en cuenta que, si tus imágenes se almacenan en un bucket de Cloud Storage diferente de tus archivos JSONL, debes asegurarte de haber otorgado el rol de usuario de objeto de Storage (roles/storage.objectUser) de IAM en ambos buckets para estas dos cuentas de servicio:

• [e-mail]
• [e-mail]

Crear trabajo de ajuste

Puedes sintonizar desde los siguientes dispositivos:

• Un modelo base compatible, como Llama 3.1

• Un modelo que tiene la misma arquitectura que uno de los modelos base admitidos. Puede ser un punto de control de un modelo personalizado de un repositorio como Hugging Face o un modelo ajustado previamente de un trabajo de ajuste de Vertex AI. Esto te permite seguir ajustando un modelo que ya se ajustó.

Consola de Cloud

1. Puedes iniciar el ajuste fino de las siguientes maneras:

   • Ve a la tarjeta del modelo, haz clic en Ajustar y elige Ajuste administrado.

   Ir a la tarjeta de modelo de Llama 3.1

   o

   • Ve a la página Ajuste y haz clic en Crear modelo ajustado.

   Ir a Tuning

2. Completa los parámetros y haz clic en Iniciar ajuste.

Esto inicia un trabajo de ajuste, que puedes ver en la página Ajuste en la pestaña Ajuste administrado.

Una vez que finalice el trabajo de ajuste, podrás ver la información sobre el modelo ajustado en la pestaña Detalles.

SDK de Vertex AI para Python

Reemplaza los valores de los parámetros por los tuyos y, luego, ejecuta el siguiente código para crear un trabajo de ajuste:

sft_tuning_job = sft.train(
    source_model=SourceModel(
      base_model="meta/llama3_1@llama-3.1-8b",
      # Optional, folder that is either a custom model checkpoint or previously tuned model
      custom_base_model="gs://{STORAGE-URI}",
    ),
    tuning_mode="FULL", # FULL or PEFT_ADAPTER
    epochs=3,
    train_dataset="gs://{STORAGE-URI}", # JSONL file
    validation_dataset="gs://{STORAGE-URI}", # JSONL file
    output_uri="gs://{STORAGE-URI}",
)

Cuando finaliza el trabajo, los artefactos del modelo ajustado se almacenan en la carpeta <output_uri>/postprocess/node-0/checkpoints/final.

Implementa el modelo ajustado

Puedes implementar el modelo ajustado en un extremo de Vertex AI. También puedes exportar el modelo ajustado desde Cloud Storage y, luego, implementarlo en otro lugar.

Para implementar el modelo ajustado en un extremo de Vertex AI, sigue estos pasos:

Consola de Cloud

1. Ve a la página de Model Garden y haz clic en Implementar modelo con pesos personalizados.

Ir a Model Garden

1. Completa los parámetros y haz clic en Implementar.

SDK de Vertex AI para Python

Implementa un G2 machine con un contenedor compilado previamente:

from vertexai.preview import model_garden

MODEL_ARTIFACTS_STORAGE_URI = "gs://{STORAGE-URI}/postprocess/node-0/checkpoints/final"

model = model_garden.CustomModel(
    gcs_uri=MODEL_ARTIFACTS_STORAGE_URI,
)

# deploy the model to an endpoint using GPUs. Cost will incur for the deployment
endpoint = model.deploy(
  machine_type="g2-standard-12",
  accelerator_type="NVIDIA_L4",
  accelerator_count=1,
)

Obtén una inferencia

Una vez que la implementación se realice correctamente, podrás enviar solicitudes al extremo con instrucciones de texto. Ten en cuenta que las primeras instrucciones tardarán más en ejecutarse.

# Loads the deployed endpoint
endpoint = aiplatform.Endpoint("projects/{PROJECT_ID}/locations/{REGION}/endpoints/{endpoint_name}")

prompt = "Summarize the following article. Article: Preparing a perfect risotto requires patience and attention to detail. Begin by heating butter in a large, heavy-bottomed pot over medium heat. Add finely chopped onions and minced garlic to the pot, and cook until they're soft and translucent, about 5 minutes. Next, add Arborio rice to the pot and cook, stirring constantly, until the grains are coated with the butter and begin to toast slightly. Pour in a splash of white wine and cook until it's absorbed. From there, gradually add hot chicken or vegetable broth to the rice, stirring frequently, until the risotto is creamy and the rice is tender with a slight bite.. Summary:"

# Define input to the prediction call
instances = [
    {
        "prompt": "What is a car?",
        "max_tokens": 200,
        "temperature": 1.0,
        "top_p": 1.0,
        "top_k": 1,
        "raw_response": True,
    },
]

# Request the prediction
response = endpoint.predict(
    instances=instances
)

for prediction in response.predictions:
    print(prediction)

Para obtener más detalles sobre cómo obtener inferencias de un modelo implementado, consulta Cómo obtener una inferencia en línea.

Ten en cuenta que los modelos abiertos administrados usan el método chat.completions en lugar del método predict que usan los modelos implementados. Para obtener más información sobre cómo obtener inferencias de modelos administrados, consulta Cómo llamar a un modelo de Llama.

Límites y cuotas

La cuota se aplica a la cantidad de trabajos de ajuste simultáneos. Cada proyecto viene con una cuota predeterminada para ejecutar al menos un trabajo de ajuste. Esta es una cuota global, que se comparte en todas las regiones y modelos compatibles disponibles. Si necesitas ejecutar más trabajos de forma simultánea, debes solicitar una cuota adicional para Global concurrent managed OSS model fine-tuning jobs per project.

Precios

Se te factura el ajuste según los precios del ajuste de modelos.

También se te factura por los servicios relacionados, como Cloud Storage y Vertex AI Prediction.

Obtén información sobre los precios de Vertex AI y los precios de Cloud Storage, y usa la calculadora de precios para generar una estimación de costos según el uso previsto.

¿Qué sigue?

• Evalúa el modelo ajustado