Überwachte und Distillations-Feinabstimmung für offene Modelle

Wenn Sie ein Beispiel für die überwachte Feinabstimmung eines offenen Modells sehen möchten, führen Sie das Notebook „Fine-tuning a Llama model on the MetaMathQA“ in einer der folgenden Umgebungen aus:

In Colab öffnen | In Colab Enterprise öffnen | In Agent Platform Workbench öffnen | Auf GitHub ansehen

Auf dieser Seite wird beschrieben, wie Sie überwachte und Destillations-Feinabstimmung für offene Modelle wie Llama 3.1 durchführen. Sofern nicht anders angegeben, gelten die Anleitungen auf dieser Seite sowohl für die überwachte Feinabstimmung als auch für die Feinabstimmung durch Destillation. Mit der Destillation können Sie ein kleineres Schülermodell mithilfe der Ausgaben eines größeren Lehrermodells optimieren.

Unterstützte Abstimmungsmodi

• Überwachte Feinabstimmung:
  • Vollständige Feinabstimmung
  • Low-Rank Adaptation (LoRA): LoRA ist ein parametereffizienter Abstimmungsmodus, bei dem nur ein Teil der Parameter angepasst wird. Sie ist kostengünstiger und erfordert weniger Trainingsdaten als die vollständige Feinabstimmung. Die vollständige Feinabstimmung bietet dagegen ein höheres Qualitätspotenzial, da alle Parameter angepasst werden.
• Feinabstimmung durch Destillation: Bei der Feinabstimmung durch Destillation wird das GenAI SDK verwendet. Sie geben ein Lehrermodell an, um Antworten zu generieren, die dann zur Feinabstimmung eines kleineren Schülermodells verwendet werden.

Empfohlene Anwendungsfälle für die Feinabstimmung durch Destillation

Die Feinabstimmung durch Destillation ist am effektivsten, wenn das Lehrermodell bei der Zielaufgabe wesentlich leistungsfähiger ist als das Schülermodell. Es wird empfohlen, komplexe, mehrstufige Problemlösungsfähigkeiten von einem größeren Lehrermodell auf ein kleineres Schülermodell zu übertragen, einschließlich:

• Mathematisches und quantitatives Denken
• Beantwortung wissenschaftlicher, medizinischer und anderer fachspezifischer Fragen, die eine schrittweise Argumentation erfordern
• Andere Aufgaben, bei denen ein starkes Lehrermodell mit „Denk“- oder Chain-of-Thought-Verhalten konsistent hochwertigere Antworten liefert als das Schülermodell.

Die Destillation bietet kleinere Vorteile bei Aufgaben, bei denen das Schülermodell bereits ähnlich gut wie das Lehrermodell abschneidet, oder bei Aufgaben zur Abfrage von Kurzformen, bei denen der Reasoning-Trace des Lehrermodells keinen Mehrwert bietet.

Unterstützte Modelle

Modelle, die die überwachte Feinabstimmung unterstützen

• Gemma 4 E2B IT (google/gemma4@gemma-4-e2b-it)
• Gemma 4 E4B IT (google/gemma4@gemma-4-e4b-it)
• Gemma 4 26B A4B IT (google/gemma4@gemma-4-26b-a4b-it)
• Gemma 4 31B IT (google/gemma4@gemma-4-31b-it)
• Gemma 3 1B IT (google/gemma3@gemma-3-1b-it)
• Gemma 3 4B IT (google/gemma3@gemma-3-4b-it)
• Gemma 3 12B IT (google/gemma3@gemma-3-12b-it)
• Gemma 3 27B IT (google/gemma3@gemma-3-27b-it)
• Medgemma 1.5 4B IT (google/medgemma@medgemma-1.5-4b-it)
• Qwen 3.6 27B (qwen/qwen3-6@qwen3.6-27b)
• Qwen 3.6 35B A3B (qwen/qwen3-6@qwen3.6-35b-a3b)
• Qwen 3.5 9B (qwen/qwen3-5@qwen3.5-9b)
• Qwen 3 4B (qwen/qwen3@qwen3-4b)
• Qwen 3 8B (qwen/qwen3@qwen3-8b)
• Qwen 3 14B (qwen/qwen3@qwen3-14b)
• Qwen 3 32B (qwen/qwen3@qwen3-32b)
• Llama 3.1 8B (meta/llama3_1@llama-3.1-8b)
• Llama 3.1 8B Instruct (meta/llama3_1@llama-3.1-8b-instruct)
• Llama 3.2 1B Instruct (meta/llama3-2@llama-3.2-1b-instruct)
• Llama 3.2 3B Instruct (meta/llama3-2@llama-3.2-3b-instruct)
• Llama 3.3 70B Instruct (meta/llama3-3@llama-3.3-70b-instruct)
• Llama 4 Scout 17B 16E Instruct (meta/llama4@llama-4-scout-17b-16e-instruct)
• GLM 4.7 Flash (zai-org/glm-4.7-flash@glm-4.7-flash)

Modelle, die die Destillationsabstimmung unterstützen

Unterstützte Lehrermodelle:

• DeepSeek R1 0528 MaaS (deepseek-ai/deepseek-r1-0528-maas)
• DeepSeek V3.2 MaaS (deepseek-ai/deepseek-v3.2-maas)
• GLM 5.2 MaaS (zai-org/glm-5.2-maas)
• Kimi K2 Thinking MaaS (moonshotai/kimi-k2-thinking-maas)
• Qwen 3 Next 80B A3B Thinking MaaS (qwen/qwen3-next-80b-a3b-thinking-maas)

Unterstützte Schülermodelle:

• Qwen 3 4B (qwen/qwen3@qwen3-4b)
• Qwen 3 8B (qwen/qwen3@qwen3-8b)
• Qwen 3 14B (qwen/qwen3@qwen3-14b)
• Qwen 3 32B (qwen/qwen3@qwen3-32b)
• Gemma 3 1B IT (google/gemma3@gemma-3-1b-it)
• Gemma 3 4B IT (google/gemma3@gemma-3-4b-it)
• Gemma 3 12B IT (google/gemma3@gemma-3-12b-it)
• Gemma 3 27B IT (google/gemma3@gemma-3-27b-it)

Unterstützte Regionen

Der globale Endpunkt (global) wird für das Starten von Abstimmungsjobs dringend empfohlen. Er wählt eine unterstützte Region mit verfügbarer Kapazität aus und startet einen Abstimmungsjob. Beachten Sie beim Starten eines Jobs über den globalen Endpunkt Folgendes:

• Wenn Sie einen globalen Abstimmungsjob erstellen, wird ein entsprechender regionaler Abstimmungsjob (in der ausgewählten Region) erstellt. Es wird nur ein einzelner Abstimmungsjob auf Ihr Kontingent angerechnet und in Rechnung gestellt.
• Untergeordnete Ressourcen (wie TensorBoard-Tests oder -Modelle) werden in der ausgewählten Zielregion erstellt. Der Standort kann aus dem vollständigen Ressourcennamen extrahiert und mit dem Vertex AI SDK abgefragt werden.

Für Nutzer mit komplexeren Anforderungen (z. B. alle Ressourcen auf eine einzelne Region beschränkt) sind weiterhin regionsspezifische Abstimmungsjobs verfügbar:

• Iowa (us-central1)
• Niederlande (europe-west4)
• Oregon (us-west1)
• Columbus (us-east5)
• Singapur (asia-southeast1)
• Jakarta (asia-southeast2)

Beschränkungen

Modell	Spezifikation	Wert
Gemma 4 E2B IT	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Gemma 4 E4B IT	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Gemma 4 26B A4B IT	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Gemma 4 31B IT	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Gemma 3 1B IT	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Gemma 3 4B IT	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Gemma 3 12B IT	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Gemma 3 27B IT	Abstimmungsmodi	Parameter-efficient Fine-tuning Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Medgemma 1.5 4B IT	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Qwen 3.6 27B	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	12.288
	Betriebsarten	Text
Qwen 3.6 35B A3B	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	12.288
	Betriebsarten	Text
Qwen 3.5 9B	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Qwen 3 4B	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Qwen 3 8B	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Qwen 3 14B	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Qwen 3 32B	Abstimmungsmodi	Parameter-efficient Fine-tuning Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Llama 3.1 8B	Abstimmungsmodi	Parameter-efficient Fine-tuning Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Llama 3.1 8B Instruct	Abstimmungsmodi	Parameter-efficient Fine-tuning Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Llama 3.2 1B Instruct	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Llama 3.2 3B Instruct	Abstimmungsmodi	Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Llama 3.3 70B Instruct	Abstimmungsmodi	Parameter-efficient Fine-tuning Vollständige Feinabstimmung
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text
Llama 4 Scout 17B 16E Instruct	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	2.048
	Betriebsarten	Text Bilder^* ^*Gemischte Datasets mit reinen Text- und Bildbeispielen werden nicht unterstützt. Wenn das Dataset mindestens ein Bildbeispiel enthält, werden alle reinen Textbeispiele herausgefiltert.
GLM 4.7 Flash	Abstimmungsmodi	Parameter-efficient Fine-tuning
	Maximale Sequenzlänge	8.192
	Betriebsarten	Text

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform and Cloud Storage APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform and Cloud Storage APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

Installieren Sie das SDK und importieren Sie die Bibliotheken für Ihre Abstimmungsmethode.

Überwachte Feinabstimmung

Installieren und initialisieren Sie das Vertex AI SDK für Python und importieren Sie dann die folgenden Bibliotheken:

import os
import time
import uuid
import vertexai

vertexai.init(project=PROJECT_ID, location=REGION)

from google.cloud import aiplatform
from vertexai.tuning import sft, SourceModel

Destillationsabstimmung

Installieren Sie das folgende SDK:

pip install google-genai

Importieren Sie dann die folgenden Bibliotheken:

import os
import time
import uuid

from google import genai
from google.genai import types
client = genai.Client(vertexai=True, project=PROJECT_ID, location=REGION)

Dataset für die Abstimmung vorbereiten

Bevor Sie mit der Knowledge Distillation beginnen, können Sie das Notebook zur Machbarkeit der Knowledge Distillation in Colab Enterprise ausführen, um zu prüfen, ob Ihr Dataset für das Teacher-Student-Modellpaar geeignet ist.

Für die Abstimmung ist ein Trainings-Dataset erforderlich. Es wird empfohlen, ein optionales Validierungs-Dataset vorzubereiten, wenn Sie die Leistung Ihres abgestimmten Modells bewerten möchten.

Hinweis: Bei der Destillationsabstimmung darf das Trainings-Dataset nur Prompts enthalten. Die Vervollständigungen werden vom Lehrermodell generiert. Das Validierungs-Dataset muss jedoch sowohl Prompts als auch Grundwahrheits-Vervollständigungen enthalten, da es während der Abstimmung des Schülermodells verwendet wird, um die Qualität anhand von zurückgehaltenen Beispielen zu bewerten.

Ihr Dataset muss in einem der folgenden unterstützten JSON Lines-Formate (JSONL) vorliegen, wobei jede Zeile ein einzelnes Abstimmungsbeispiel enthält.

Laden Sie Ihre JSONL-Dateien in Cloud Storage hoch.

Nur-Text-Datasets

Prompt-Vervollständigung

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Rundenbasiertes Chat-Format

{"messages": [
  {"content": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles.",
    "role": "system"},
  {"content": "Summarize the paper in one paragraph.",
    "role": "user"},
  {"content": " Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ...",
    "role": "assistant"}
]}

GenerateContent

Hinweis: Das GenerateContent-Dataset-Format gilt nur für die überwachte Feinabstimmung.

{
"systemInstruction": {
  "parts": [{ "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles." }]},
"contents": [
  {"role": "user",
    "parts": [{ "text": "Summarize the paper in one paragraph." }]},
  {"role": "assistant",
    "parts": [{ "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..." }]}
]}

Multimodale Datasets

Hinweis: Multimodale Datasets gelten nur für die überwachte Feinabstimmung.

Hinweis: OpenAI Prompt Completion und Gemini Enterprise Agent Platform Text Bison sind reine Text-Dataset-Formate. Daher wird die multimodale Abstimmung mit einigen Modellen diese beiden Formate möglicherweise nicht unterstützen. Weitere Informationen finden Sie in der modellspezifischen Dokumentation.

Rundenbasiertes Chat-Format

{"messages": [
  {"role": "user", "content": [
    {"type": "text", "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles."},
    {"type": "image_url", "image_url": {
      "url": "gs://your-gcs-bucket/your-image.jpeg",
      "detail": "low"}}]
  },
  {"role": "assistant", "content": [
    {"type": "text", "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..."}]
  },
  {"role": "user", "content": [
    {"type": "text", "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles."},
    {"type": "image_url", "image_url": {
      "url": "data:image/jpeg;base64,<base64 image>",
      "detail": "low"}}]
  },
  {"role": "assistant", "content": [
    {"type": "text", "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..."}]
  },
]}

GenerateContent

{
"systemInstruction": {
  "parts": [{ "text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles." }]},
"contents": [
  {"role": "user",
    "parts": [
      {"text": "You are a chatbot that helps with scientific literature and generates state-of-the-art abstracts from articles." },
      {"file_data": {
        "mime_type": "image/jpeg", "file_uri": "gs://your-gcs-bucket/your-image.jpeg"}}]
  },
  {"role": "assistant",
    "parts": [{ "text": "Here is a one paragraph summary of the paper:\n\nThe paper describes PaLM, ..." }]}
]}

Zu den unterstützten Formaten gehören JPEG, PNG, WEBP und Base64-codierte Bilder.

Wenn Ihre Bilder in einem anderen Cloud Storage-Bucket als Ihre JSONL-Dateien gespeichert sind, müssen Sie beiden Dienstkonten die IAM-Rolle „Storage-Objekt-Nutzer“ (roles/storage.objectUser) für beide Buckets zuweisen:

• [e-mail]
• [e-mail]

Abstimmungsjob erstellen

Sie können die folgenden Einstellungen anpassen:

• Ein unterstütztes Basismodell wie Llama 3.1

• Ein Modell, das dieselbe Architektur wie eines der unterstützten Basismodelle hat. Das kann entweder ein benutzerdefinierter Modellprüfpunkt aus einem Repository wie Hugging Face oder ein zuvor abgestimmtes Modell aus einem Gemini Enterprise Agent Platform-Abstimmungsjob sein. So können Sie ein bereits abgestimmtes Modell weiter abstimmen.

Cloud Console (beaufsichtigt)

1. Sie können die Feinabstimmung auf folgende Weise initiieren:

   • Rufen Sie die Modellkarte auf, klicken Sie auf Feinabstimmung und wählen Sie Verwaltete Abstimmung aus.

   Zur Modellkarte Llama 3.1

   oder

   • Rufen Sie die Seite Abstimmung auf und klicken Sie auf Abgestimmtes Modell erstellen.

   Zu „Abstimmung“

2. Geben Sie die Parameter ein und klicken Sie auf Abstimmung starten.

Dadurch wird ein Abstimmungsjob gestartet, den Sie auf der Seite „Abstimmung“ auf dem Tab Verwaltete Abstimmung sehen können.

Nach Abschluss des Abstimmungsjobs können Sie die Informationen zum abgestimmten Modell auf dem Tab Details aufrufen.

Agent Platform SDK (überwacht)

Ersetzen Sie die Parameterwerte durch Ihre eigenen und führen Sie dann den folgenden Code aus, um einen Abstimmungsjob zu erstellen:

sft_tuning_job = sft.train(
    source_model=SourceModel(
      base_model="meta/llama3_1@llama-3.1-8b",
      # Optional, folder that is either a custom model checkpoint or previously tuned model
      custom_base_model="gs://{STORAGE-URI}",
    ),
    tuning_mode="FULL", # FULL or PEFT_ADAPTER
    epochs=3,
    train_dataset="gs://{STORAGE-URI}", # JSONL file
    validation_dataset="gs://{STORAGE-URI}", # JSONL file
    output_uri="gs://{STORAGE-URI}",
)

GenAI SDK (Destillation)

Ersetzen Sie die Parameterwerte durch Ihre eigenen und führen Sie dann den folgenden Code aus, um einen Destillationsabstimmungsjob zu erstellen:

tuning_job = client.tunings.tune(
    base_model="qwen/qwen3@qwen3-4b",
    training_dataset=types.TuningDataset(
        gcs_uri="gs://{STORAGE-URI}"
    ),
    config=types.CreateTuningJobConfig(
        method="DISTILLATION",
        base_teacher_model="qwen/qwen3-next-80b-a3b-thinking-maas",
        epoch_count=3,
        validation_dataset=types.TuningValidationDataset(
            gcs_uri="gs://{STORAGE-URI}"
        ),
        output_uri="gs://{STORAGE-URI}",
    ),
)

Artefakte des abgestimmten Modells

Wenn der Abstimmungsjob abgeschlossen ist, werden die Modellartefakte für das abgestimmte Modell in Ihrem Cloud Storage-Ausgabeverzeichnis gespeichert.

gs://<output_dir>/
    # (Distillation tuning only) The labeled dataset from teacher model's inference
    -> distillation_labelled_dataset.jsonl

gs://<output_dir>/postprocess/node-0/checkpoints/
    # Final checkpoint
    -> final/
        -> model-00001-of-000xx.safetensors
        -> model-000yy-of-000xx.safetensors

    # Intermediate checkpoints
    -> checkpoint-M/
        -> model-00001-of-000xx.safetensors
        -> model-000yy-of-000xx.safetensors
    …
    -> checkpoint-N/
        -> model-00001-of-000xx.safetensors
        -> model-000yy-of-000xx.safetensors

• Es werden maximal 10 Prüfpunkte gespeichert.
• Wenn die Anzahl der Epochen (E) kleiner als 10 ist, werden genau E Prüfpunkte gespeichert (einer für jede Epoche).
• Zwischenprüfpunkte im Bereich von M bis N sind sortiert. Beachten Sie, dass Zwischenprüfpunkte nicht immer fortlaufend nummeriert sind. Beispielsweise können Prüfpunkte mit 1, 3, 5, 10 statt mit 1, 2, 3, 4 nummeriert sein.

Abgestimmtes Modell bereitstellen

Sie können das abgestimmte Modell auf einem Gemini Enterprise Agent Platform-Endpunkt bereitstellen. Sie können das abgestimmte Modell auch aus Cloud Storage exportieren und an anderer Stelle bereitstellen.

So stellen Sie das abgestimmte Modell auf einem Gemini Enterprise Agent Platform-Endpunkt bereit:

Cloud Console

1. Rufen Sie die Seite Model Garden auf und klicken Sie auf Modell mit benutzerdefinierten Gewichtungen bereitstellen.

   Zu Model Garden

2. Geben Sie die Parameter ein und klicken Sie auf Bereitstellen.

Agent Platform SDK für Python

Stellen Sie ein G2 machine mit einem vordefinierten Container bereit:

from vertexai.preview import model_garden

MODEL_ARTIFACTS_STORAGE_URI = "gs://{STORAGE-URI}/postprocess/node-0/checkpoints/final"

model = model_garden.CustomModel(
    gcs_uri=MODEL_ARTIFACTS_STORAGE_URI,
)

# deploy the model to an endpoint using GPUs. Cost will incur for the deployment
endpoint = model.deploy(
  machine_type="g2-standard-12",
  accelerator_type="NVIDIA_L4",
  accelerator_count=1,
)

Inferenz abrufen

Nach erfolgreicher Bereitstellung können Sie Anfragen mit Text-Prompts an den Endpunkt senden. Beachten Sie, dass die Ausführung der ersten Prompts länger dauert.

# Loads the deployed endpoint
endpoint = aiplatform.Endpoint("projects/{PROJECT_ID}/locations/{REGION}/endpoints/{endpoint_name}")

prompt = "Summarize the following article. Article: Preparing a perfect risotto requires patience and attention to detail. Begin by heating butter in a large, heavy-bottomed pot over medium heat. Add finely chopped onions and minced garlic to the pot, and cook until they're soft and translucent, about 5 minutes. Next, add Arborio rice to the pot and cook, stirring constantly, until the grains are coated with the butter and begin to toast slightly. Pour in a splash of white wine and cook until it's absorbed. From there, gradually add hot chicken or vegetable broth to the rice, stirring frequently, until the risotto is creamy and the rice is tender with a slight bite.. Summary:"

# Define input to the prediction call
instances = [
    {
        "prompt": "What is a car?",
        "max_tokens": 200,
        "temperature": 1.0,
        "top_p": 1.0,
        "top_k": 1,
        "raw_response": True,
    },
]

# Request the prediction
response = endpoint.predict(
    instances=instances
)

for prediction in response.predictions:
    print(prediction)

Weitere Informationen zum Abrufen von Inferenzen aus einem bereitgestellten Modell finden Sie unter Online-Inferenz abrufen.

Beachten Sie, dass verwaltete offene Modelle die Methode chat.completions anstelle der Methode predict verwenden, die von bereitgestellten Modellen verwendet wird. Weitere Informationen zum Abrufen von Inferenzen aus verwalteten Modellen finden Sie unter Llama-Modell aufrufen.

Limits und Kontingente

Das Kontingent wird für die Anzahl der gleichzeitigen Abstimmungsjobs erzwungen. Jedes Projekt kommt mit einem Standardkontingent zum Ausführen mindestens eines Abstimmungsjobs. Dies ist ein globales Kontingent, das für alle verfügbaren Regionen und unterstützten Modelle gilt. Wenn Sie weitere Jobs gleichzeitig ausführen möchten, müssen Sie für Global concurrent managed OSS model fine-tuning jobs per project zusätzliche Kontingente anfordern.

Zusätzlich zum Kontingent für den Abstimmungsjob wird bei der Destillationsfeinabstimmung das Lehrermodell verwendet. Ihr Projekt muss daher ein ausreichendes Kontingent für das angegebene Lehrermodell haben. Offene Modelle, die als Service (MaaS) bereitgestellt werden, verwenden ein dynamisches gemeinsam genutztes Kontingent. Wenn ein Abstimmungsjob ein Teacher-Modell aufruft, wird das freigegebene Kontingent des Projekts für dieses Modell verbraucht. Weitere Informationen zu Kontingenten für verwaltete offene Modelle finden Sie unter Von der Gemini Enterprise Agent Platform verwaltete Modelle für MaaS.

Preise

Die Abrechnung für die Optimierung erfolgt gemäß den Preisen für die Modelloptimierung. Die Anzahl der Trainingstokens wird berechnet, indem die Anzahl der Tokens in Ihrem Trainings-Dataset mit der Anzahl der Epochen multipliziert wird. Bei der Destillationsabstimmung werden Ihnen auch die API-Aufrufe in Rechnung gestellt, die an das Lehrermodell gesendet werden, um Antworten zu generieren. Die Abrechnung erfolgt auf Grundlage der Preise für verwaltete Modelle.

Ihnen werden auch zugehörige Dienste wie Cloud Storage und Gemini Enterprise Agent Platform Prediction in Rechnung gestellt.

Informieren Sie sich über die Preise für die Gemini Enterprise Agent Platform und die Preise für Cloud Storage und verwenden Sie den Preisrechner, um eine Kostenschätzung basierend auf der voraussichtlichen Nutzung zu erstellen.

Nächste Schritte

• Abgestimmtes Modell bewerten