Os modelos da Mistral AI na Gemini Enterprise Agent Platform oferecem modelos totalmente gerenciados e sem servidor modelos como APIs. Para usar um modelo de IA do Mistral AI na Agent Platform, envie uma solicitação diretamente ao endpoint de API da Agent Platform. Devido ao Os modelos de IA do Mistral usam uma API gerenciada. Não é necessário provisionar nem gerenciar a infraestrutura.
É possível transmitir as respostas para reduzir a percepção de latência do usuário final. Uma resposta transmitida usa eventos enviados pelo servidor (SSE) para transmitir a resposta de forma incremental.
Você paga pelos modelos de IA do Mistral conforme o uso (pagamento por utilização). Para pagamento por uso, consulte os preços do modelo de IA da Mistral na página de preços da Gemini Enterprise Agent Platform.
Modelos da Mistral AI disponíveis
Os modelos a seguir estão disponíveis na Mistral AI para uso na Gemini Enterprise Agent Platform. Para acessar um modelo da Mistral AI, acesse o card de modelo do Model Garden.
Usar modelos da Mistral AI
É possível usar comandos curl para enviar solicitações ao endpoint da Gemini Enterprise Agent Platform usando os seguintes nomes de modelos:
- Para o Mistral Medium 3, use
mistral-medium-3 - Para o OCR do Mistral (25.05), use
mistral-ocr-2505 - Para o Mistral Small 3.1 (25/03), use
mistral-small-2503 - Para o Codestral 2, use
codestral-2
Para mais informações sobre como usar o SDK da Mistral AI, consulte a documentação da Gemini Enterprise Agent Platform da Mistral AI.
Antes de começar
Para usar os modelos do Mistral AI com a Gemini Enterprise Agent Platform, siga as
etapas abaixo. A API Agent Platform
(aiplatform.googleapis.com) precisa estar ativada para usar
o Gemini Enterprise Agent Platform. Se você já tiver um projeto com a
API Agent Platform ativada, poderá usar esse projeto em vez de criar um
novo.
- Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- Acesse um dos seguintes cards de modelo do Model Garden e clique em Ativar:
Fazer uma chamada de streaming para um modelo da Mistral AI
O exemplo a seguir faz uma chamada de streaming para um modelo de IA do Mistral.
REST
Depois de configurar seu ambiente, use REST para testar um comando de texto. O exemplo a seguir envia uma solicitação ao endpoint do modelo de editor.
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- LOCATION: uma região compatível com modelos da Mistral AI.
- MODEL: o nome do modelo que você quer usar. No
corpo da solicitação, exclua o número da versão do modelo
@. - ROLE: o papel associado a uma mensagem. É possível especificar
userouassistant. A primeira mensagem precisa usar o papeluser. Os modelos funcionam com voltas alternadas deusereassistant. Se a mensagem final usar o papelassistant, o conteúdo da resposta continuará imediatamente a partir do conteúdo dessa mensagem. É possível usar isso para restringir parte da resposta do modelo. - STREAM: um booleano que especifica se a resposta será transmitida ou não. Transmita sua resposta para reduzir a percepção de latência do uso final. Defina como
truepara transmitir a resposta efalsepara retornar a resposta de uma só vez. - CONTENT: o conteúdo, como texto, da mensagem
userouassistant. - MAX_OUTPUT_TOKENS:
número máximo de tokens que podem ser gerados na resposta. Um token tem aproximadamente 3,5 caracteres. 100 tokens correspondem a cerca de 60 a 80 palavras.
Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas potencialmente mais longas.
Método HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict
Corpo JSON da solicitação:
{
"model": MODEL,
"messages": [
{
"role": "ROLE",
"content": "CONTENT"
}],
"max_tokens": MAX_TOKENS,
"stream": true
}
Para enviar a solicitação, escolha uma destas opções:
curl
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"
PowerShell
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content
Você receberá uma resposta JSON semelhante a seguinte.
Fazer uma chamada unária para um modelo de IA do Mistral
O exemplo a seguir faz uma chamada unária para um modelo de IA do Mistral.
REST
Depois de configurar seu ambiente, use REST para testar um comando de texto. O exemplo a seguir envia uma solicitação ao endpoint do modelo de editor.
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- LOCATION: uma região compatível com modelos da Mistral AI.
- MODEL: o nome do modelo que você quer usar. No
corpo da solicitação, exclua o número da versão do modelo
@. - ROLE: o papel associado a uma mensagem. É possível especificar
userouassistant. A primeira mensagem precisa usar o papeluser. Os modelos funcionam com voltas alternadas deusereassistant. Se a mensagem final usar o papelassistant, o conteúdo da resposta continuará imediatamente a partir do conteúdo dessa mensagem. É possível usar isso para restringir parte da resposta do modelo. - STREAM: um booleano que especifica se a resposta será transmitida ou não. Transmita sua resposta para reduzir a percepção de latência do uso final. Defina como
truepara transmitir a resposta efalsepara retornar a resposta de uma só vez. - CONTENT: o conteúdo, como texto, da mensagem
userouassistant. - MAX_OUTPUT_TOKENS:
número máximo de tokens que podem ser gerados na resposta. Um token tem aproximadamente 3,5 caracteres. 100 tokens correspondem a cerca de 60 a 80 palavras.
Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas potencialmente mais longas.
Método HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict
Corpo JSON da solicitação:
{
"model": MODEL,
"messages": [
{
"role": "ROLE",
"content": "CONTENT"
}],
"max_tokens": MAX_TOKENS,
"stream": false
}
Para enviar a solicitação, escolha uma destas opções:
curl
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"
PowerShell
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content
Você receberá uma resposta JSON semelhante a seguinte.
Disponibilidade e cotas das regiões do modelo de IA da Mistral
Para modelos de IA da Mistral, uma cota se aplica a cada região onde o modelo está disponível. A cota é especificada em consultas por minuto (QPM) e tokens por minuto (TPM). O TPM inclui tokens de entrada e saída.
| Modelo | Região | Cotas | Tamanho do contexto |
|---|---|---|---|
| Mistral Medium 3 | |||
us-central1 |
|
128.000 | |
europe-west4 |
|
128.000 | |
| OCR do Mistral (25/05) | |||
us-central1 |
|
30 páginas | |
europe-west4 |
|
30 páginas | |
| Mistral Small 3.1 (25/03) | |||
us-central1 |
|
128.000 | |
europe-west4 |
|
128.000 | |
| Codestral 2 | |||
us-central1 |
|
128.000 tokens | |
europe-west4 |
|
128.000 tokens |
Se você quiser aumentar alguma cota do Agent Platform, use o console Google Cloud para solicitar um aumento de cota. Para saber mais sobre cotas, consulte a Visão geral das cotas do Cloud.