Mit Batchvorhersagen können Sie eine große Anzahl multimodaler Prompts in einer einzelnen Batchanfrage senden.
Weitere Informationen zum Batchworkflow und zum Formatieren Ihrer Eingabedaten finden Sie unter Batchvorhersagen für Gemini abrufen.
Unterstützte Modelle
- Gemini 2.5 Flash Image
- Gemini 2.5 Flash-Lite
- Gemini 2.5 Pro
- Gemini 2.5 Flash
- Gemini 2.0 Flash
- Gemini 2.0 Flash-Lite
Beispielsyntax
Im folgenden Beispiel wird gezeigt, wie Sie eine Batchvorhersage-API-Anfrage mit dem Befehl curl
senden. Dieses Beispiel bezieht sich speziell auf BigQuery-Speicher.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/batchPredictionJobs \ -d '{ "displayName": "...", "model": "publishers/google/models/${MODEL_ID}", "inputConfig": { "instancesFormat": "bigquery", "bigquerySource": { "inputUri" : "..." } }, "outputConfig": { "predictionsFormat": "bigquery", "bigqueryDestination": { "outputUri": "..." } } }'
Parameter
Einzelheiten zur Implementierung finden Sie in den Beispielen.
Anfragetext
Parameter | |
---|---|
|
Ein Name, den Sie für Ihren Job auswählen. |
|
Das für die Batchvorhersage zu verwendende Modell. |
|
Das Datenformat. Für die Gemini-Batchvorhersage werden Cloud Storage- und BigQuery-Eingabequellen unterstützt. |
|
Die Ausgabekonfiguration, die den Speicherort der Modellausgabe bestimmt. Cloud Storage- und BigQuery-Ausgabespeicherorte werden unterstützt. |
inputConfig
Parameter | |
---|---|
|
Das Prompt-Eingabeformat. Verwenden Sie |
|
Der URI der Eingabequelle. Dies ist ein Cloud Storage-Speicherort der JSONL-Datei im Format |
|
Der URI der Eingabequelle. Dies ist ein BigQuery-Tabelle-URI im Format |
outputConfig
Parameter | |
---|---|
|
Das Ausgabeformat der Vorhersage. Verwenden Sie |
|
Der Cloud Storage-Bucket und der Verzeichnispfad im Format |
|
Der BigQuery-URI der Zielausgabetabelle im Format |
Beispiele
Batchantwort anfordern
Batchanfragen für multimodale Modelle akzeptieren Cloud Storage-Speicherquellen und BigQuery-Speicherquellen. Weitere Informationen nachstehend:
Abhängig von der Anzahl der Eingabeelemente, die Sie eingereicht haben, kann die Batchvgenerierung eine Weile dauern.
REST
Verwenden Sie zum Erstellen eines Batchvorhersagejobs die Methode projects.locations.batchPredictionJobs.create
.
Cloud Storage-Eingabe
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- ENDPOINT_PREFIX: Die Region der Modellressource, gefolgt von
-
. Beispiel:us-central1-
Lassen Sie das Feld leer, wenn Sie den globalen Endpunkt verwenden. Hinweis:Der globale Endpunkt wird für die Batch-Inferenz mit abgestimmten Modellen nicht unterstützt. - LOCATION: Eine Region, die Gemini-Modelle unterstützt. Wenn Sie den globalen Endpunkt verwenden, geben Sie
global
ein. - PROJECT_ID: Ihre Projekt-ID.
- MODEL_PATH: der Name des Publisher-Modells, z. B.
publishers/google/models/gemini-2.5-flash
, oder der Name des feinabgestimmten Endpunkts, z. B.projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID
, wobei MODEL_ID die Modell-ID des feinabgestimmten Modells ist. - INPUT_URI: Der Cloud Storage-Speicherort Ihrer JSONL-Batchvorhersageeingabe, z. B.
gs://bucketname/path/to/file.jsonl
. - OUTPUT_FORMAT: Wenn Sie die Ausgabe in einem Cloud Storage-Bucket speichern möchten, geben Sie
jsonl
an. - DESTINATION: Geben Sie für BigQuery
bigqueryDestination
an. Geben Sie für Cloud StoragegcsDestination
an. - OUTPUT_URI_FIELD_NAME:
Geben Sie für BigQuery
outputUri
an. Geben Sie für Cloud StorageoutputUriPrefix
an. - OUTPUT_URI: Geben Sie für BigQuery den Tabellenspeicherort an, z. B.
bq://myproject.mydataset.output_result
. Die Region des BigQuery-Ausgabe-Datasets muss mit der des Vertex AI-Batchvorhersagejobs übereinstimmen. Geben Sie für Cloud Storage den Bucket- und Verzeichnispfad an, z. B.gs://mybucket/path/to/output
.
JSON-Text der Anfrage:
{ "displayName": "my-cloud-storage-batch-prediction-job", "model": "MODEL_PATH", "inputConfig": { "instancesFormat": "jsonl", "gcsSource": { "uris" : "INPUT_URI" } }, "outputConfig": { "predictionsFormat": "OUTPUT_FORMAT", "DESTINATION": { "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI" } } }
Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:
curl
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://ENDPOINT_PREFIXaiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://ENDPOINT_PREFIXaiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
BigQuery-Eingabe
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- LOCATION: Eine Region, die Gemini-Modelle unterstützt.
- PROJECT_ID: Ihre Projekt-ID.
- MODEL_PATH: der Name des Publisher-Modells, z. B.
publishers/google/models/gemini-2.0-flash-001
, oder der Name des feinabgestimmten Endpunkts, z. B.projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID
, wobei MODEL_ID die Modell-ID des feinabgestimmten Modells ist. - INPUT_URI: Die BigQuery-Tabelle, in der sich die Eingabe für die Batchvorhersage befindet, z. B.
bq://myproject.mydataset.input_table
. Das Dataset muss sich in derselben Region wie der Batchvorhersagejob befinden. Datasets mit mehreren Regionen werden nicht unterstützt. - OUTPUT_FORMAT: Wenn Sie die Ausgabe in einer BigQuery-Tabelle speichern möchten, geben Sie
bigquery
an. Wenn Sie die Ausgabe in einen Cloud Storage-Bucket schreiben möchten, geben Siejsonl
an. - DESTINATION: Geben Sie für BigQuery
bigqueryDestination
an. Geben Sie für Cloud StoragegcsDestination
an. - OUTPUT_URI_FIELD_NAME:
Geben Sie für BigQuery
outputUri
an. Geben Sie für Cloud StorageoutputUriPrefix
an. - OUTPUT_URI: Geben Sie für BigQuery den Tabellenspeicherort an, z. B.
bq://myproject.mydataset.output_result
. Die Region des BigQuery-Ausgabe-Datasets muss mit der des Vertex AI-Batchvorhersagejobs übereinstimmen. Geben Sie für Cloud Storage den Bucket- und Verzeichnispfad an, z. B.gs://mybucket/path/to/output
.
JSON-Text der Anfrage:
{ "displayName": "my-bigquery-batch-prediction-job", "model": "MODEL_PATH", "inputConfig": { "instancesFormat": "bigquery", "bigquerySource":{ "inputUri" : "INPUT_URI" } }, "outputConfig": { "predictionsFormat": "OUTPUT_FORMAT", "DESTINATION": { "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI" } } }
Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:
curl
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
Python
Installieren
pip install --upgrade google-genai
Weitere Informationen finden Sie in der SDK-Referenzdokumentation.
Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Cloud Storage-Eingabe
BigQuery-Eingabe
Node.js
Bevor Sie dieses Beispiel anwenden, folgen Sie den Node.js-Einrichtungsschritten in der Vertex AI-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Node.js API.
Richten Sie zur Authentifizierung bei Vertex AI Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Cloud Storage-Eingabe
BigQuery-Eingabe
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Java-Einrichtungsschritten in der Vertex AI-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Java API.
Richten Sie zur Authentifizierung bei Vertex AI Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Cloud Storage-Eingabe
BigQuery-Eingabe
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Go-Einrichtungsschritten in der Vertex AI-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Go API.
Richten Sie zur Authentifizierung bei Vertex AI Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Cloud Storage-Eingabe
BigQuery-Eingabe
Batchausgabe abrufen
Wenn eine Batchvorhersage abgeschlossen ist, wird die Ausgabe im Cloud Storage-Bucket oder in der BigQuery-Tabelle gespeichert, die Sie in der Anfrage angegeben haben.
Nächste Schritte
- Informationen zum Optimieren eines Gemini-Modells finden Sie in der Übersicht über die Modellabstimmung für Gemini
- Weitere Informationen zum Abrufen von Batchvorhersagen für Gemini