Os modelos Kimi na Vertex AI oferecem modelos totalmente geridos e sem servidor como APIs. Para usar um modelo Kimi no Vertex AI, envie um pedido diretamente para o ponto final da API Vertex AI. Uma vez que os modelos Kimi usam uma API gerida, não é necessário aprovisionar nem gerir a infraestrutura.
Pode transmitir as suas respostas para reduzir a perceção de latência do utilizador final. Uma resposta em stream usa eventos enviados pelo servidor (SSE) para transmitir a resposta de forma incremental.
Modelos Kimi disponíveis
Os seguintes modelos estão disponíveis no Kimi para utilização no Vertex AI. Para aceder a um modelo do Kimi, aceda ao respetivo cartão do modelo do Model Garden.
Kimi K2 Thinking
O Kimi K2 Thinking é um modelo de raciocínio da Kimi que se destaca na resolução de problemas complexos e no raciocínio profundo.
Aceda ao cartão do modelo de raciocínio Kimi K2
Use os modelos Kimi
Pode usar comandos curl para enviar pedidos para o ponto final da Vertex AI usando os seguintes nomes de modelos:
- Para o Kimi K2 Thinking, use
kimi-k2-thinking-maas
Para saber como fazer chamadas de streaming e não streaming para os modelos Kimi, consulte o artigo Chame APIs de modelos abertos.
Disponibilidade regional e quotas do modelo Kimi
Para os modelos Kimi, aplica-se uma quota a cada região onde o modelo está disponível. A quota é especificada em consultas por minuto (QPM).
| Modelo | Região | Quotas | Comprimento do contexto |
|---|---|---|---|
| Kimi K2 Thinking | |||
global |
|
262144 |
Se quiser aumentar alguma das suas quotas para a IA generativa no Vertex AI, pode usar a Google Cloud consola para pedir um aumento da quota. Para saber mais sobre as quotas, consulte a vista geral das quotas do Google Cloud.
O que se segue?
- Saiba como chamar APIs de modelos abertos.