Puedes usar comandos curl para enviar solicitudes al extremo de Gemini Enterprise Agent Platform con los siguientes nombres de modelos:
- Para Llama 4 Maverick 17B-128E, usa
llama-4-maverick-17b-128e-instruct-maas - Para Llama 4 Scout 17B-16E, usa
llama-4-scout-17b-16e-instruct-maas
Para aprender a realizar llamadas de transmisión y sin transmisión a los modelos de Llama, consulta Llama a las APIs de MaaS para modelos abiertos.
Antes de comenzar
Para usar los modelos de Llama con Gemini Enterprise Agent Platform, debes realizar los
siguientes pasos. La API de Agent Platform
(aiplatform.googleapis.com) y la API de Cloud Commerce Consumer
Procurement (cloudcommerceconsumerprocurement.googleapis.com)
deben estar habilitadas para usar los modelos de Llama en Gemini Enterprise Agent Platform. Si ya tienes un proyecto existente con estas APIs habilitadas, puedes usar ese proyecto en lugar de crear uno nuevo.
- Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Gemini Enterprise Agent Platform and Cloud Commerce Consumer Procurement APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Gemini Enterprise Agent Platform and Cloud Commerce Consumer Procurement APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- Ve a una de las siguientes tarjetas de modelo de Model Garden y, luego, haz clic en Habilitar:
Roles obligatorios
Para obtener los permisos que necesitas para habilitar y usar los modelos de Llama, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:
- Usuario de la plataforma de agentes (
roles/aiplatform.user) - Administrador de autorizaciones de adquisición de consumidores (
roles/consumerprocurement.entitlementManager)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.
Para obtener más información sobre cómo otorgar permisos y configurar políticas de la organización para los modelos de socios, consulta Otorga acceso de usuario a los modelos de socios.
Realiza una llamada de transmisión a un modelo de Llama
En el siguiente ejemplo, se realiza una llamada de transmisión a un modelo de Llama.
REST
Después de configurar tu entorno, puedes usar REST para probar una instrucción de texto. En el siguiente ejemplo, se envía una solicitud al extremo del modelo de publicador.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- LOCATION: Es una región que admite
modelos de Llama, por ejemplo,
us-east5. - MODEL: Es el nombre del modelo que deseas
usar, por ejemplo,
llama-4-maverick-17b-128e-instruct-maas. - ROLE: El rol asociado a un mensaje. Puedes especificar un
usero unassistant. El primer mensaje debe usar el roluser. Los modelos operan con turnos alternativos deuseryassistant. Si el mensaje final usa el rolassistant, el contenido de la respuesta continúa inmediatamente desde el contenido de ese mensaje. Puedes usar esto para restringir parte de la respuesta del modelo. - CONTENT: el contenido, como texto, del mensaje
useroassistant. - MAX_OUTPUT_TOKENS:
Cantidad máxima de tokens que se pueden generar en la respuesta. Un token tiene casi cuatro caracteres. 100 tokens corresponden a casi 60 u 80 palabras.
Especifica un valor más bajo para las respuestas más cortas y un valor más alto para las respuestas potencialmente más largas.
- STREAM: Un valor booleano que especifica si la respuesta se transmite o no. Transmite tu respuesta para reducir la percepción de latencia del uso final. Configúralo como
truepara transmitir la respuesta yfalsepara mostrar la respuesta de una sola vez.
Método HTTP y URL:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions
Cuerpo JSON de la solicitud:
{
"model": "meta/MODEL",
"messages": [
{
"role": "ROLE",
"content": "CONTENT"
}
],
"max_tokens": MAX_OUTPUT_TOKENS,
"stream": true
}
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Realiza una llamada unaria a un modelo de Llama
En el siguiente ejemplo, se realiza una llamada unaria a un modelo de Llama.
REST
Después de configurar tu entorno, puedes usar REST para probar una instrucción de texto. En el siguiente ejemplo, se envía una solicitud al extremo del modelo de publicador.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- LOCATION: Es una región que admite
modelos de Llama, por ejemplo,
us-east5. - MODEL: Es el nombre del modelo que deseas
usar, por ejemplo,
llama-4-maverick-17b-128e-instruct-maas. - ROLE: El rol asociado a un mensaje. Puedes especificar un
usero unassistant. El primer mensaje debe usar el roluser. Los modelos operan con turnos alternativos deuseryassistant. Si el mensaje final usa el rolassistant, el contenido de la respuesta continúa inmediatamente desde el contenido de ese mensaje. Puedes usar esto para restringir parte de la respuesta del modelo. - CONTENT: el contenido, como texto, del mensaje
useroassistant. - MAX_OUTPUT_TOKENS:
Cantidad máxima de tokens que se pueden generar en la respuesta. Un token tiene casi cuatro caracteres. 100 tokens corresponden a casi 60 u 80 palabras.
Especifica un valor más bajo para las respuestas más cortas y un valor más alto para las respuestas potencialmente más largas.
- STREAM: Un valor booleano que especifica si la respuesta se transmite o no. Transmite tu respuesta para reducir la percepción de latencia del uso final. Configúralo como
truepara transmitir la respuesta yfalsepara mostrar la respuesta de una sola vez.
Método HTTP y URL:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions
Cuerpo JSON de la solicitud:
{
"model": "meta/MODEL",
"messages": [
{
"role": "ROLE",
"content": "CONTENT"
}
],
"max_tokens": MAX_OUTPUT_TOKENS,
"stream": false
}
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Usa Agent Studio
En el caso de los modelos de Llama, puedes usar Agent Studio para crear prototipos y probar modelos de IA generativa con rapidez en la consola de Google Cloud . Por ejemplo, puedes usar Agent Studio para comparar las respuestas del modelo Llama con otros modelos compatibles, como Gemini de Google.
Disponibilidad y cuotas de la región del modelo de Llama
En el caso de los modelos de Llama, se aplica una cuota para cada región en la que el modelo esté disponible. La cuota se especifica en consultas por minuto (QPM).
| Modelo | Región | Cuotas | Longitud de contexto |
|---|---|---|---|
| Llama 4 Maverick 17B-128E | |||
us-east5 |
|
524,288 | |
| Llama 4 Scout 17B-16E | |||
us-east5 |
|
1,310,720 |
Si quieres aumentar tus cuotas para Agent Platform, puedes usar la consola de Google Cloud para solicitar un aumento de cuota. Para obtener más información sobre las cuotas, consulta la descripción general de Cloud Quotas.