Las predicciones por lotes te permiten enviar de manera eficiente varias instrucciones de solo texto que no son sensibles a la latencia a un modelo. En comparación con las predicciones en línea, en las que envías una instrucción de entrada para cada solicitud, puedes agrupar una gran cantidad de instrucciones de entrada en una sola solicitud.
Modelos compatibles
Gemini Enterprise Agent Platform admite predicciones por lotes para los siguientes modelos.
Llama:
OpenAI gpt-oss:
Prepara la entrada
Antes de comenzar, prepara tus entradas en una tabla de BigQuery o como un archivo JSONL en Cloud Storage. La entrada para ambas fuentes debe seguir el formato JSONL del esquema de API de OpenAI, como se muestra en el siguiente ejemplo.
{"custom_id": "test-request-0", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_ID", "messages": [{"role": "user", "content": "Give me a recipe for banana bread"}], "max_tokens": 1000}}
BigQuery
Tu tabla de entrada de BigQuery debe cumplir con el siguiente esquema:
| Nombre de la columna | Descripción |
|---|---|
| custom_id | Un ID para cada solicitud que coincida con la entrada y la salida. |
| método | Es el método de solicitud. |
| url | Es el extremo de la solicitud. |
| body(JSON) | Es la instrucción de entrada. |
- La tabla de entrada puede tener otras columnas, que el trabajo por lotes ignora y pasa directamente a la tabla de salida.
- Los trabajos de predicción por lotes reservan dos nombres de columnas para el resultado de la predicción por lotes: response(JSON) y id. No uses estas columnas en la tabla de entrada.
- Las columnas method y url se descartan y no se incluyen en la tabla de salida.
Cloud Storage
Para Cloud Storage, el archivo de entrada debe ser un archivo JSONL que se encuentre en un bucket de Cloud Storage.
Solicitar una predicción por lotes
Realiza una predicción por lotes con un modelo usando la entrada de BigQuery o Cloud Storage. Puedes elegir de forma independiente si deseas enviar las predicciones a una tabla de BigQuery o a un archivo JSONL en un bucket de Cloud Storage.
BigQuery
Especifica la tabla de entrada, el modelo y la ubicación de salida de BigQuery. El trabajo de predicción por lotes y tu tabla deben estar en la misma región.
REST
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- LOCATION: Es una región que admite el modelo.
- PROJECT_ID: Es el ID del proyecto. .
- MODEL: Es el nombre del modelo que se ajustará.
- INPUT_URI: Es la
tabla de BigQuery en la que se encuentra la entrada de predicción por lotes,
como
myproject.mydataset.input_table. - OUTPUT_FORMAT: Para enviar el resultado a
una tabla de BigQuery, especifica
bigquery. Para enviar el resultado a un bucket de Cloud Storage, especificajsonl. - DESTINATION: Para
BigQuery, especifica
bigqueryDestination. En Cloud Storage, especificagcsDestination. - OUTPUT_URI_FIELD_NAME:
Para BigQuery, especifica
outputUri. Para Cloud Storage, especificaoutputUriPrefix. - OUTPUT_URIPara
BigQuery, especifica la ubicación de la tabla, como
myproject.mydataset.output_result. Para Cloud Storage, especifica la ubicación del bucket y de la carpeta, comogs://mybucket/path/to/outputfile.
Método HTTP y URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs
Cuerpo JSON de la solicitud:
'{
"displayName": "JOB_NAME",
"model": "publishers/PUBLISHER/models/MODEL_ID",
"inputConfig": {
"instancesFormat":"bigquery",
"bigquerySource":{
"inputUri" : "INPUT_URI"
}
},
"outputConfig": {
"predictionsFormat":"OUTPUT_FORMAT",
"DESTINATION":{
"OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
}
}
}'
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Cloud Storage
Especifica la ubicación de Cloud Storage, el modelo y la ubicación de salida del archivo JSONL.
REST
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- LOCATION: Es una región que admite el modelo.
- PROJECT_ID: Es el ID del proyecto. .
- MODEL: Es el nombre del modelo que se ajustará.
- INPUT_URI: Es la
ubicación de Cloud Storage de tu entrada de predicción por lotes de JSONL, como
gs://bucketname/path/to/jsonl. - OUTPUT_FORMAT: Para enviar el resultado a
una tabla de BigQuery, especifica
bigquery. Para enviar el resultado a un bucket de Cloud Storage, especificajsonl. - DESTINATION: Para
BigQuery, especifica
bigqueryDestination. En Cloud Storage, especificagcsDestination. - OUTPUT_URI_FIELD_NAME:
Para BigQuery, especifica
outputUri. Para Cloud Storage, especificaoutputUriPrefix. - OUTPUT_URIPara
BigQuery, especifica la ubicación de la tabla, como
myproject.mydataset.output_result. Para Cloud Storage, especifica la ubicación del bucket y de la carpeta, comogs://mybucket/path/to/outputfile.
Método HTTP y URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs
Cuerpo JSON de la solicitud:
'{
"displayName": "JOB_NAME",
"model": "publishers/PUBLISHER/models/MODEL_ID",
"inputConfig": {
"instancesFormat":"jsonl",
"gcsSource":{
"uris" : "INPUT_URI"
}
},
"outputConfig": {
"predictionsFormat":"OUTPUT_FORMAT",
"DESTINATION":{
"OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
}
}
}'
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Obtén el estado de un trabajo de predicción por lotes
Obtén el estado de tu trabajo de predicción por lotes para verificar si se completó correctamente. La duración del trabajo depende de la cantidad de elementos de entrada que enviaste.
REST
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: Es el ID del proyecto. .
- LOCATION: Es la región en la que se encuentra tu trabajo por lotes.
- JOB_ID: Es el ID del trabajo por lotes que se devolvió cuando creaste el trabajo.
Método HTTP y URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID"
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Recupera el resultado
Cuando se complete un trabajo de predicción por lotes, recupera el resultado de la ubicación que especificaste. En el caso de BigQuery, el resultado se encuentra en la columna response(JSON) de la tabla de BigQuery de destino. En el caso de Cloud Storage, el resultado se guarda como un archivo JSONL en la ubicación de salida de Cloud Storage.
¿Qué sigue?
- Obtén información para llamar a las APIs de MaaS para modelos abiertos en casos de uso de transmisión y no transmisión.