Die Modellabstimmung ist ein wichtiger Prozess bei der Anpassung von Gemini, um bestimmte Aufgaben mit höherer Präzision und Genauigkeit auszuführen. Bei der Modellabstimmung wird einem Modell ein Trainings-Dataset bereitgestellt, das eine Reihe von Beispielen für bestimmte nachgelagerte Aufgaben enthält.
Sie können die Gemini Tuning API für die folgenden Anwendungsfälle verwenden:
Unterstützte Modelle:
Sie können die überwachte Feinabstimmung für die folgenden Gemini-Modelle verwenden:
Translation LLM V2 (translation-llm-002
) wird ebenfalls unterstützt.
Beispielsyntax
Syntax zum Optimieren eines Modells.
curl
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs \ -d '{ "baseModel": "...", "supervisedTuningSpec" : { ... "hyper_parameters": { ... }, }, "tunedModelDisplayName": "", }'
Parameterliste
Einzelheiten zur Implementierung finden Sie in den Beispielen.
Anfragetext
Der Anfragetext enthält Daten mit den folgenden Parametern:
Parameter | |
---|---|
|
Optional: Name des Basismodells, das abgestimmt wird. |
|
Der Anzeigename von |
supervisedTuningSpec
Parameter | |
---|---|
|
Cloud Storage-URI Ihres Trainingsdatasets. Das Dataset muss als JSONL-Datei formatiert sein. Die besten Ergebnisse erzielen Sie, wenn Sie mindestens 100 bis 500 Beispiele angeben. Weitere Informationen finden Sie unter Überwachte Abstimmungs-Datasets. |
|
Optional: Cloud Storage-URI Ihres Validierungs-Datasets. Ihr Dataset muss als JSONL-Datei formatiert sein. Ein Dataset kann bis zu 256 Beispiele enthalten. Wenn Sie diese Datei bereitstellen, werden die Daten verwendet, um während der Abstimmung regelmäßig Validierungsmesswerte zu generieren. Weitere Informationen finden Sie unter Überwachte Abstimmungs-Datasets . |
|
Optional: Die Anzahl der vollständigen Durchläufe des gesamten Trainings-Datasets durch das Modell während des Trainings. Vertex AI passt den Standardwert automatisch an die Größe Ihres Trainings-Datasets an. Dieser Wert basiert auf Benchmarking-Ergebnissen, mit denen die Qualität der Modellausgabe optimiert werden soll. |
|
Optional: Multiplikator zum Anpassen der standardmäßigen Lernrate. |
|
Optional: Adaptergröße für die Optimierung. |
|
Optional: Anzeigename der |
AdapterSize
Adaptergröße für den Optimierungsjob.
Parameter | |
---|---|
|
Nicht angegebene Adaptergröße. |
|
Adaptergröße 1. |
|
Adaptergröße 4. |
|
Adaptergröße 8. |
|
Adaptergröße 16. |
Beispiele
Überwachten Abstimmungsjob erstellen
Sie können einen überwachten Textmodell-Abstimmungsjob mit dem Vertex AI SDK für Python oder durch Senden einer POST-Anfrage erstellen.
Grundlegender Anwendungsfall
Im einfachen Anwendungsfall werden nur Werte für baseModel
und training_dataset_uri
festgelegt.
Für alle anderen Parameter werden die Standardwerte verwendet.
REST
Senden Sie zum Erstellen eines Modellabstimmungsjobs eine POST-Anfrage mit der Methode tuningJobs.create
.
Beachten Sie, dass einige Parameter nicht von allen Modellen unterstützt werden. Achten Sie darauf, dass Sie nur die für das abzustimmende Modell relevanten Parameter einfügen.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- PROJECT_ID: Ihre Projekt-ID.
- TUNING_JOB_REGION: Die Region, in der der Abstimmungsjob ausgeführt wird. Dies ist auch die Standardregion, in der das abgestimmte Modell hochgeladen wird.
- BASE_MODEL: Name des zu optimierenden Foundation Models.
- TRAINING_DATASET_URI: Cloud Storage-URI Ihres Trainingsdatensatzes. Das Dataset muss als JSONL-Datei formatiert sein. Die besten Ergebnisse erzielen Sie, wenn Sie mindestens 100 bis 500 Beispiele angeben. Weitere Informationen finden Sie unter Überwachte Abstimmungs-Datasets.
HTTP-Methode und URL:
POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
JSON-Text der Anfrage:
{ "baseModel": "BASE_MODEL", "supervisedTuningSpec" : { "training_dataset_uri": "TRAINING_DATASET_URI" }, }
Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:
curl
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"
PowerShell
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
Python
Erweiterter Anwendungsfall
Der erweiterte Anwendungsfall baut auf dem grundlegenden Anwendungsfall auf, legt aber auch Werte für optionale hyper_parameters
fest, z. B. epoch_count
, learning_rate_multiplier
und adapter_size
.
REST
Senden Sie zum Erstellen eines Modellabstimmungsjobs eine POST-Anfrage mit der Methode tuningJobs.create
.
Beachten Sie, dass einige Parameter nicht von allen Modellen unterstützt werden. Achten Sie darauf, dass Sie nur die für das abzustimmende Modell relevanten Parameter einfügen.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- PROJECT_ID: Ihre Projekt-ID.
- TUNING_JOB_REGION: Die Region, in der der Abstimmungsjob ausgeführt wird. Dies ist auch die Standardregion, in der das abgestimmte Modell hochgeladen wird.
- BASE_MODEL: Name des zu optimierenden Foundation Models.
- TRAINING_DATASET_URI: Cloud Storage-URI Ihres Trainingsdatensatzes. Das Dataset muss als JSONL-Datei formatiert sein. Die besten Ergebnisse erzielen Sie, wenn Sie mindestens 100 bis 500 Beispiele angeben. Weitere Informationen finden Sie unter Überwachte Abstimmungs-Datasets.
- VALIDATION_DATASET_URIOptional: Der Cloud Storage-URI der Validierungs-Dataset-Datei.
- EPOCH_COUNTOptional: Die Anzahl der vollständigen Durchläufe des gesamten Trainings-Datasets durch das Modell während des Trainings. Lassen Sie das Feld leer, um den voreingestellten empfohlenen Wert zu verwenden.
- ADAPTER_SIZEOptional: Die Adaptergröße, die für den Optimierungsjob verwendet werden soll. Die Adaptergröße wirkt sich auf die Anzahl der trainierbaren Parameter für den Optimierungsjob aus. Eine größere Adaptergröße bedeutet, dass das Modell komplexere Aufgaben lernen kann. Es erfordert jedoch einen größeren Trainingsdatensatz und längere Trainingszeiten.
- LEARNING_RATE_MULTIPLIER: Optional: Ein Multiplikator, der auf die empfohlene Lernrate anzuwenden ist. Legen Sie das Feld nicht fest, um den empfohlenen Wert verwenden zu lassen.
- EXPORT_LAST_CHECKPOINT_ONLYOptional: Auf
true
setzen, um nur den letzten Prüfpunkt zu verwenden. - METRIC_SPECOptional: Eine oder mehrere Messwertspezifikationen, die Sie verwenden, um eine Bewertung mit dem Gen AI Evaluation Service auszuführen. Sie können die folgenden Messwertspezifikationen verwenden:
"pointwise_metric_spec"
,"pairwise_metric_spec"
,"exact_match_spec"
,"bleu_spec"
und"rouge_spec"
. - METRIC_SPEC_FIELD_NAMEOptional: Die erforderlichen Felder für die von Ihnen ausgewählte Messwertspezifikation, z. B.
"metric_prompt_template"
- METRIC_SPEC_FIELD_NAME_CONTENTOptional: Der Feldinhalt für die ausgewählte Messwertspezifikation. Für eine punktweise Auswertung können Sie beispielsweise den folgenden Feldinhalt verwenden:
"Evaluate the fluency of this sentence: {response}. Give score from 0 to 1. 0 - not fluent at all. 1 - very fluent."
- CLOUD_STORAGE_BUCKETOptional: Der Cloud Storage-Bucket, in dem die Ergebnisse eines Bewertungsdurchlaufs durch den Gen AI Evaluation Service gespeichert werden.
- TUNED_MODEL_DISPLAYNAMEOptional: Ein Anzeigename für das abgestimmte Modell. Wenn nicht festgelegt, wird ein zufälliger Name generiert.
- KMS_KEY_NAME Optional: Die Cloud KMS-Ressourcen-ID des vom Kunden verwalteten Verschlüsselungsschlüssels, der zum Schutz einer Ressource verwendet wird. Der Schlüssel hat das Format
projects/my-project/locations/my-region/keyRings/my-kr/cryptoKeys/my-key
. Der Schlüssel muss sich in derselben Region befinden, in der die Compute-Ressource erstellt wird. Weitere Informationen finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK). - SERVICE_ACCOUNTOptional: Das Dienstkonto, unter dem die TuningJob-Arbeitslast ausgeführt wird. Wenn nicht angegeben, wird der Vertex AI Secure Fine-Tuning-Dienst-Agent im Projekt verwendet. Weitere Informationen finden Sie unter Abstimmungsdienst-Agent. Wenn Sie ein vom Kunden verwaltetes Dienstkonto verwenden möchten, müssen Sie dem Dienstkonto die Rolle
roles/aiplatform.tuningServiceAgent
zuweisen. Weisen Sie dem vom Kunden verwalteten Dienstkonto auch die Rolle Tuning Service Agentroles/iam.serviceAccountTokenCreator
zu.
HTTP-Methode und URL:
POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
JSON-Text der Anfrage:
{ "baseModel": "BASE_MODEL", "supervisedTuningSpec" : { "trainingDatasetUri": "TRAINING_DATASET_URI", "validationDatasetUri": "VALIDATION_DATASET_URI", "hyperParameters": { "epochCount": "EPOCH_COUNT", "adapterSize": "ADAPTER_SIZE", "learningRateMultiplier": "LEARNING_RATE_MULTIPLIER" }, "exportLastCheckpointOnly": EXPORT_LAST_CHECKPOINT_ONLY, "evaluationConfig": { "metrics": [ { "aggregation_metrics": ["AVERAGE", "STANDARD_DEVIATION"], "METRIC_SPEC": { "METRIC_SPEC_FIELD_NAME": METRIC_SPEC_FIELD_CONTENT } }, ], "outputConfig": { "gcs_destination": { "output_uri_prefix": "CLOUD_STORAGE_BUCKET" } }, }, }, "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME", "encryptionSpec": { "kmsKeyName": "KMS_KEY_NAME" }, "serviceAccount": "SERVICE_ACCOUNT" }
Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:
curl
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"
PowerShell
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
Python
Abstimmungsjobs auflisten
Sie können eine Liste der Feinabstimmungsjobs in Ihrem aktuellen Projekt mit dem Vertex AI SDK für Python oder durch Senden einer GET-Anfrage aufrufen.
REST
Senden Sie zum Erstellen eines Modellabstimmungsjobs eine POST-Anfrage mit der Methode tuningJobs.create
.
Beachten Sie, dass einige Parameter nicht von allen Modellen unterstützt werden. Achten Sie darauf, dass Sie nur die für das abzustimmende Modell relevanten Parameter einfügen.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- PROJECT_ID: .
- TUNING_JOB_REGION: Die Region, in der der Abstimmungsjob ausgeführt wird. Dies ist auch die Standardregion, in der das abgestimmte Modell hochgeladen wird.
HTTP-Methode und URL:
GET https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
Senden Sie die Anfrage mithilfe einer der folgenden Optionen:
curl
Führen Sie folgenden Befehl aus:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"
PowerShell
Führen Sie diesen Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
Python
Details eines Abstimmungsjobs abrufen
Sie können die Details eines Feinabstimmungsjobs mit dem Vertex AI SDK für Python oder durch Senden einer GET-Anfrage abrufen.
REST
Wenn Sie eine Liste der Modellabstimmungsjobs aufrufen möchten, senden Sie eine GET-Anfrage mit der Methode tuningJobs.get
und geben Sie TuningJob_ID
an.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- PROJECT_ID: .
- TUNING_JOB_REGION: Die Region, in der der Abstimmungsjob ausgeführt wird. Dies ist auch die Standardregion, in der das abgestimmte Modell hochgeladen wird.
- TUNING_JOB_ID: die ID des Abstimmungsjobs.
HTTP-Methode und URL:
GET https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID
Senden Sie die Anfrage mithilfe einer der folgenden Optionen:
curl
Führen Sie folgenden Befehl aus:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID"
PowerShell
Führen Sie diesen Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
Python
Abstimmungsjob abbrechen
Sie können einen Feinabstimmungsjob mit dem Vertex AI SDK für Python oder durch Senden einer POST-Anfrage abbrechen.
REST
Wenn Sie eine Liste der Modellabstimmungsjobs aufrufen möchten, senden Sie eine GET-Anfrage mit der Methode tuningJobs.cancel
und geben Sie TuningJob_ID
an.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- PROJECT_ID: .
- TUNING_JOB_REGION: Die Region, in der der Abstimmungsjob ausgeführt wird. Dies ist auch die Standardregion, in der das abgestimmte Modell hochgeladen wird.
- TUNING_JOB_ID: die ID des Abstimmungsjobs.
HTTP-Methode und URL:
POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel
Senden Sie die Anfrage mithilfe einer der folgenden Optionen:
curl
Führen Sie folgenden Befehl aus:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d "" \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel"
PowerShell
Führen Sie diesen Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
Python
Nächste Schritte
Eine ausführliche Dokumentation finden Sie hier: