Richiedere previsioni Llama

Puoi utilizzare i comandi curl per inviare richieste all'endpoint di Gemini Enterprise Agent Platform utilizzando i seguenti nomi di modelli:

  • Per Llama 4 Maverick 17B-128E, utilizza llama-4-maverick-17b-128e-instruct-maas
  • Per Llama 4 Scout 17B-16E, utilizza llama-4-scout-17b-16e-instruct-maas
  • Per Llama 3.3 70B, utilizza llama-3.3-70b-instruct-maas

Per scoprire come effettuare chiamate in modalità flusso e non flusso ai modelli Llama, consulta Chiama le API MaaS per i modelli open source.

Prima di iniziare

Per utilizzare i modelli Llama con Gemini Enterprise Agent Platform, devi eseguire i seguenti passaggi. Per utilizzare Gemini Enterprise Agent Platform, è necessario abilitare l'API Agent Platform (aiplatform.googleapis.com). Se hai già un progetto con l'API Agent Platform abilitata, puoi utilizzarlo anziché crearne uno nuovo.

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment di workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    8.
  8. Vai a una delle seguenti schede del modello di Model Garden, quindi fai clic su Abilita:

Fai una chiamata in streaming a un modello Llama

L'esempio seguente effettua una chiamata in modalità flusso di dati a un modello Llama.

REST

Dopo aver configurato l'ambiente, puoi utilizzare REST per testare un prompt testuale. L'esempio seguente invia una richiesta all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: una regione che supporta Modelli di Llama.
  • MODEL: il nome del modello che vuoi utilizzare.
  • ROLE: il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli operano con turni alternati di user e assistant. Se il messaggio finale utilizza il ruolo assistant, i contenuti della risposta continuano immediatamente dai contenuti di quel messaggio. Puoi utilizzarlo per limitare parte della risposta del modello.
  • CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.
  • MAX_OUTPUT_TOKENS: Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.

    Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.

  • STREAM: un valore booleano che specifica se la risposta viene trasmessa in streaming o meno. Trasmetti in streaming la risposta per ridurre la percezione della latenza da parte dell'utente finale. Imposta su true per trasmettere la risposta in streaming e su false per restituire la risposta in una sola volta.
  • ENABLE_LLAMA_GUARD: un valore booleano che specifica se attivare Llama Guard sugli input e sugli output. Per impostazione predefinita, Llama Guard è abilitato e segnala le risposte se determina che non sono sicure.

Metodo HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

Corpo JSON della richiesta: 

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": true,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

Per inviare la richiesta, scegli una di queste opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Fai una chiamata unaria a un modello Llama

L'esempio seguente effettua una chiamata unaria a un modello Llama.

REST

Dopo aver configurato l'ambiente, puoi utilizzare REST per testare un prompt testuale. L'esempio seguente invia una richiesta all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: una regione che supporta Modelli di Llama.
  • MODEL: il nome del modello che vuoi utilizzare.
  • ROLE: il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli operano con turni alternati di user e assistant. Se il messaggio finale utilizza il ruolo assistant, i contenuti della risposta continuano immediatamente dai contenuti di quel messaggio. Puoi utilizzarlo per limitare parte della risposta del modello.
  • CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.
  • MAX_OUTPUT_TOKENS: Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.

    Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.

  • STREAM: un valore booleano che specifica se la risposta viene trasmessa in streaming o meno. Trasmetti in streaming la risposta per ridurre la percezione della latenza da parte dell'utente finale. Imposta su true per trasmettere la risposta in streaming e su false per restituire la risposta in una sola volta.
  • ENABLE_LLAMA_GUARD: un valore booleano che specifica se attivare Llama Guard sugli input e sugli output. Per impostazione predefinita, Llama Guard è abilitato e segnala le risposte se determina che non sono sicure.

Metodo HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

Corpo JSON della richiesta: 

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": false,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

Per inviare la richiesta, scegli una di queste opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Risposte segnalate

Per impostazione predefinita, Llama Guard 3 8B è abilitato su tutte le previsioni effettuate con i modelli Llama 3.3 e Llama 3.1. Per impostazione predefinita, Llama Guard 3 11B Vision è attivato su tutte le previsioni effettuate con i modelli Llama 3.2. Llama Guard aiuta a proteggere le risposte controllando gli input e gli output. Se Llama Guard determina che non sono sicuri, contrassegna la risposta.

Se vuoi disattivare Llama Guard, modifica l'impostazione di sicurezza del modello. Per saperne di più, consulta il campo model_safety_settings nell'esempio di flusso o unario.

Utilizza Agent Studio

Per i modelli Llama, puoi utilizzare Agent Studio per creare rapidamente prototipi e testare i modelli di AI generativa nella console Google Cloud . Ad esempio, puoi utilizzare Agent Studio per confrontare le risposte del modello Llama con altri modelli supportati, come Gemini di Google.

Disponibilità e quote per la regione del modello Llama

Per i modelli Llama, viene applicata una quota per ogni regione in cui il modello è disponibile. La quota è specificata in query al minuto (QPM).

Modello Regione Quote Finestra contestuale
Llama 4 Maverick 17B-128E
us-east5
524.288
Llama 4 Scout 17B-16E
us-east5
1.310.720
Llama 3.3 70B
us-central1
128.000

Se vuoi aumentare una delle tue quote per Agent Platform, puoi utilizzare la console Google Cloud per richiedere un aumento della quota. Per scoprire di più sulle quote, consulta la panoramica di Cloud Quotas.