Modelli Mistral AI

I modelli Mistral AI su Gemini Enterprise Agent Platform offrono modelli serverless e completamente gestiti come API. Per utilizzare un modello Mistral AI su Agent Platform, invia una richiesta direttamente all'endpoint API Agent Platform. Poiché i modelli Mistral AI utilizzano un'API gestita, non è necessario eseguire il provisioning o gestire l'infrastruttura.

Puoi trasmettere in streaming le risposte per ridurre la percezione della latenza da parte dell'utente finale. Una risposta in streaming utilizza gli eventi inviati dal server (SSE) per trasmettere in streaming in modo incrementale la risposta.

Paghi i modelli Mistral AI man mano che li utilizzi (pagamento a consumo). Per i prezzi a pagamento a consumo, consulta i prezzi dei modelli Mistral AI nella pagina dei prezzi di Gemini Enterprise Agent Platform.

Modelli Mistral AI disponibili

I seguenti modelli sono disponibili da Mistral AI per l'utilizzo in Gemini Enterprise Agent Platform. Per accedere a un modello di Mistral AI, vai alla relativa scheda del modello Model Garden.

Mistral Medium 3 Un modello multimodale versatile progettato per ragionamento avanzato, programmazione, comprensione di documenti con contesto lungo, throughput elevato a nodo singolo e flussi di lavoro basati su agenti.
Mistral OCR (25.05) API Optical Character Recognition per la comprensione di documenti avanzati, l'estrazione di immagini, tabelle, grafici e formattazione LaTeX intercalati per pipeline RAG multimodali.
Mistral Small 3.1 (25/03) Un modello multimodale versatile e a bassa latenza con una finestra contestuale da 128.000 token, ottimizzato per chat, programmazione e istruzioni ad alta efficienza.
Codestral 2 Modello di generazione di codice specializzato creato per il completamento di tipo fill-in-the-middle (FIM) di alta precisione, la revisione del codice, il refactoring e gli strumenti per sviluppatori.

Utilizzare i modelli Mistral AI

Puoi utilizzare i comandi curl per inviare richieste all'endpoint Gemini Enterprise Agent Platform utilizzando i seguenti nomi di modelli:

  • Per Mistral Medium 3, utilizza mistral-medium-3
  • Per Mistral OCR (25.05), utilizza mistral-ocr-2505
  • Per Mistral Small 3.1 (25/03), utilizza mistral-small-2503
  • Per Codestral 2, utilizza codestral-2

Per saperne di più sull'utilizzo dell'SDK Mistral AI, consulta la documentazione di Mistral AI Gemini Enterprise Agent Platform.

Prima di iniziare

Per utilizzare i modelli Mistral AI con Gemini Enterprise Agent Platform, devi eseguire i seguenti passaggi. L'API Agent Platform (aiplatform.googleapis.com) deve essere abilitata per utilizzare Gemini Enterprise Agent Platform. Se hai già un progetto esistente con l'API Agent Platform abilitata, puoi utilizzare questo progetto anziché crearne uno nuovo.

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. Vai a una delle seguenti schede del modello Model Garden, poi fai clic su Abilita:

Effettua una chiamata di streaming a un modello Mistral AI

L'esempio seguente esegue una chiamata di streaming a un modello Mistral AI.

REST

Dopo aver configurato l'ambiente, puoi utilizzare REST per testare un prompt testuale. L'esempio seguente invia una richiesta all'endpoint del modello publisher.

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: una regione che supporta i modelli di Mistral AI.
  • MODEL: il nome del modello che vuoi utilizzare. Nel corpo della richiesta, escludi il numero di versione del modello @.
  • ROLE: Il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli funzionano con turni alternati user e assistant. Se il messaggio finale utilizza il ruolo assistant, i contenuti della risposta continuano immediatamente dai contenuti di quel messaggio. Puoi utilizzare questo parametro per vincolare una parte della risposta del modello.
  • STREAM: un valore booleano che specifica se la risposta viene trasmessa in streaming o meno. Trasmetti in streaming la risposta per ridurre la percezione della latenza di utilizzo finale. Imposta true per trasmettere in streaming la risposta e false per restituire la risposta tutta in una volta.
  • CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.
  • MAX_OUTPUT_TOKENS: Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa 3,5 caratteri. 100 token corrispondono a circa 60-80 parole.

    Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.

Metodo HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict

Corpo JSON della richiesta:

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

Per inviare la richiesta, scegli una di queste opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Fai una chiamata unaria a un modello Mistral AI

L'esempio seguente esegue una chiamata unaria a un modello Mistral AI.

REST

Dopo aver configurato l'ambiente, puoi utilizzare REST per testare un prompt testuale. L'esempio seguente invia una richiesta all'endpoint del modello publisher.

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: una regione che supporta i modelli di Mistral AI.
  • MODEL: il nome del modello che vuoi utilizzare. Nel corpo della richiesta, escludi il numero di versione del modello @.
  • ROLE: Il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli funzionano con turni alternati user e assistant. Se il messaggio finale utilizza il ruolo assistant, i contenuti della risposta continuano immediatamente dai contenuti di quel messaggio. Puoi utilizzare questo parametro per vincolare una parte della risposta del modello.
  • STREAM: un valore booleano che specifica se la risposta viene trasmessa in streaming o meno. Trasmetti in streaming la risposta per ridurre la percezione della latenza di utilizzo finale. Imposta true per trasmettere in streaming la risposta e false per restituire la risposta tutta in una volta.
  • CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.
  • MAX_OUTPUT_TOKENS: Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa 3,5 caratteri. 100 token corrispondono a circa 60-80 parole.

    Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.

Metodo HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

Corpo JSON della richiesta:

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

Per inviare la richiesta, scegli una di queste opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Disponibilità e quote per la regione del modello Mistral AI

Per i modelli Mistral AI, viene applicata una quota per ogni regione in cui il modello è disponibile. La quota è specificata in query al minuto (QPM) e token al minuto (TPM). Il TPM include sia i token di input che quelli di output.

Modello Regione Quote Finestra contestuale
Mistral Medium 3
us-central1
  • QPM: 90
  • TPM: 315.000
128.000
europe-west4
  • QPM: 90
  • TPM: 315.000
128.000
OCR Mistral (25/05)
us-central1
  • QPM: 30
  • Pagine per richiesta: 30 (1 pagina = 1 milione di token di input e 1 milione di token di output)
30 pagine
europe-west4
  • QPM: 30
  • Pagine per richiesta: 30 (1 pagina = 1 milione di token di input e 1 milione di token di output)
30 pagine
Mistral Small 3.1 (25/03)
us-central1
  • QPM: 60
  • TPM: 200.000
128.000
europe-west4
  • QPM: 60
  • TPM: 200.000
128.000
Codestral 2
us-central1
  • QPM: 1100
  • Input TPM: 1.100.000
  • TPM di output: 110.000
128.000 token
europe-west4
  • QPM: 1100
  • Input TPM: 1.100.000
  • TPM di output: 110.000
128.000 token

Se vuoi aumentare una delle quote per Agent Platform, puoi utilizzare la console Google Cloud per richiedere un aumento di quota. Per scoprire di più sulle quote, consulta la panoramica delle quote di Cloud.