Modelos de IA da Mistral

Os modelos da Mistral AI na Gemini Enterprise Agent Platform oferecem modelos totalmente gerenciados e sem servidor modelos como APIs. Para usar um modelo de IA do Mistral AI na Agent Platform, envie uma solicitação diretamente ao endpoint de API da Agent Platform. Devido ao Os modelos de IA do Mistral usam uma API gerenciada. Não é necessário provisionar nem gerenciar a infraestrutura.

É possível transmitir as respostas para reduzir a percepção de latência do usuário final. Uma resposta transmitida usa eventos enviados pelo servidor (SSE) para transmitir a resposta de forma incremental.

Você paga pelos modelos de IA do Mistral conforme o uso (pagamento por utilização). Para pagamento por uso, consulte os preços do modelo de IA da Mistral na página de preços da Gemini Enterprise Agent Platform.

Modelos da Mistral AI disponíveis

Os modelos a seguir estão disponíveis na Mistral AI para uso na Gemini Enterprise Agent Platform. Para acessar um modelo da Mistral AI, acesse o card de modelo do Model Garden.

Mistral Medium 3 Um modelo multimodal versátil projetado para raciocínio avançado, programação, compreensão de documentos de contexto longo, alta capacidade de processamento de nó único e fluxos de trabalho de agentes.
OCR do Mistral (25.05) API de reconhecimento óptico de caracteres para compreensão avançada de documentos, extração de imagens intercaladas, tabelas, gráficos e formatação LaTeX para pipelines de RAG multimodais.
Mistral Small 3.1 (25/03) Um modelo multimodal versátil e de baixa latência com uma janela de contexto de 128.000 tokens, otimizado para chat, programação e seguimento de instruções de alta eficiência.
Codestral 2 Modelo especializado de geração de código criado para preenchimento de alta precisão no meio (FIM), revisão de código, refatoração e ferramentas para desenvolvedores.

Usar modelos da Mistral AI

É possível usar comandos curl para enviar solicitações ao endpoint da Gemini Enterprise Agent Platform usando os seguintes nomes de modelos:

  • Para o Mistral Medium 3, use mistral-medium-3
  • Para o OCR do Mistral (25.05), use mistral-ocr-2505
  • Para o Mistral Small 3.1 (25/03), use mistral-small-2503
  • Para o Codestral 2, use codestral-2

Para mais informações sobre como usar o SDK da Mistral AI, consulte a documentação da Gemini Enterprise Agent Platform da Mistral AI.

Antes de começar

Para usar os modelos do Mistral AI com a Gemini Enterprise Agent Platform, siga as etapas abaixo. A API Agent Platform (aiplatform.googleapis.com) precisa estar ativada para usar o Gemini Enterprise Agent Platform. Se você já tiver um projeto com a API Agent Platform ativada, poderá usar esse projeto em vez de criar um novo.

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. Acesse um dos seguintes cards de modelo do Model Garden e clique em Ativar:

Fazer uma chamada de streaming para um modelo da Mistral AI

O exemplo a seguir faz uma chamada de streaming para um modelo de IA do Mistral.

REST

Depois de configurar seu ambiente, use REST para testar um comando de texto. O exemplo a seguir envia uma solicitação ao endpoint do modelo de editor.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • LOCATION: uma região compatível com modelos da Mistral AI.
  • MODEL: o nome do modelo que você quer usar. No corpo da solicitação, exclua o número da versão do modelo @.
  • ROLE: o papel associado a uma mensagem. É possível especificar user ou assistant. A primeira mensagem precisa usar o papel user. Os modelos funcionam com voltas alternadas de user e assistant. Se a mensagem final usar o papel assistant, o conteúdo da resposta continuará imediatamente a partir do conteúdo dessa mensagem. É possível usar isso para restringir parte da resposta do modelo.
  • STREAM: um booleano que especifica se a resposta será transmitida ou não. Transmita sua resposta para reduzir a percepção de latência do uso final. Defina como true para transmitir a resposta e false para retornar a resposta de uma só vez.
  • CONTENT: o conteúdo, como texto, da mensagem user ou assistant.
  • MAX_OUTPUT_TOKENS: número máximo de tokens que podem ser gerados na resposta. Um token tem aproximadamente 3,5 caracteres. 100 tokens correspondem a cerca de 60 a 80 palavras.

    Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas potencialmente mais longas.

Método HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict

Corpo JSON da solicitação:

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a seguinte.

Fazer uma chamada unária para um modelo de IA do Mistral

O exemplo a seguir faz uma chamada unária para um modelo de IA do Mistral.

REST

Depois de configurar seu ambiente, use REST para testar um comando de texto. O exemplo a seguir envia uma solicitação ao endpoint do modelo de editor.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • LOCATION: uma região compatível com modelos da Mistral AI.
  • MODEL: o nome do modelo que você quer usar. No corpo da solicitação, exclua o número da versão do modelo @.
  • ROLE: o papel associado a uma mensagem. É possível especificar user ou assistant. A primeira mensagem precisa usar o papel user. Os modelos funcionam com voltas alternadas de user e assistant. Se a mensagem final usar o papel assistant, o conteúdo da resposta continuará imediatamente a partir do conteúdo dessa mensagem. É possível usar isso para restringir parte da resposta do modelo.
  • STREAM: um booleano que especifica se a resposta será transmitida ou não. Transmita sua resposta para reduzir a percepção de latência do uso final. Defina como true para transmitir a resposta e false para retornar a resposta de uma só vez.
  • CONTENT: o conteúdo, como texto, da mensagem user ou assistant.
  • MAX_OUTPUT_TOKENS: número máximo de tokens que podem ser gerados na resposta. Um token tem aproximadamente 3,5 caracteres. 100 tokens correspondem a cerca de 60 a 80 palavras.

    Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas potencialmente mais longas.

Método HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

Corpo JSON da solicitação:

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a seguinte.

Disponibilidade e cotas das regiões do modelo de IA da Mistral

Para modelos de IA da Mistral, uma cota se aplica a cada região onde o modelo está disponível. A cota é especificada em consultas por minuto (QPM) e tokens por minuto (TPM). O TPM inclui tokens de entrada e saída.

Modelo Região Cotas Tamanho do contexto
Mistral Medium 3
us-central1
  • QPM: 90
  • TPM: 315.000
128.000
europe-west4
  • QPM: 90
  • TPM: 315.000
128.000
OCR do Mistral (25/05)
us-central1
  • QPM: 30
  • Páginas por solicitação: 30 (1 página = 1 milhão de tokens de entrada e 1 milhão de tokens de saída)
30 páginas
europe-west4
  • QPM: 30
  • Páginas por solicitação: 30 (1 página = 1 milhão de tokens de entrada e 1 milhão de tokens de saída)
30 páginas
Mistral Small 3.1 (25/03)
us-central1
  • QPM: 60
  • TPM: 200.000
128.000
europe-west4
  • QPM: 60
  • TPM: 200.000
128.000
Codestral 2
us-central1
  • QPM: 1.100
  • TPM de entrada: 1.100.000
  • Saída de TPM: 110.000
128.000 tokens
europe-west4
  • QPM: 1.100
  • TPM de entrada: 1.100.000
  • Saída de TPM: 110.000
128.000 tokens

Se você quiser aumentar alguma cota do Agent Platform, use o console Google Cloud para solicitar um aumento de cota. Para saber mais sobre cotas, consulte a Visão geral das cotas do Cloud.