Os modelos Kimi estão disponíveis para utilização como APIs geridas e modelos implementados automaticamente no Vertex AI. Pode transmitir as suas respostas para reduzir a perceção de latência do utilizador final. Uma resposta transmitida usa eventos enviados pelo servidor (SSE) para transmitir a resposta de forma incremental.
Modelos Kimi geridos
Os modelos Kimi oferecem modelos totalmente geridos e sem servidor como APIs. Para usar um modelo Kimi no Vertex AI, envie um pedido diretamente para o ponto final da API Vertex AI. Quando usa os modelos Kimi como uma API gerida, não tem de aprovisionar nem gerir a infraestrutura.
Os seguintes modelos estão disponíveis no Kimi para utilização no Vertex AI. Para aceder a um modelo do Kimi, aceda ao respetivo cartão do modelo do Model Garden.
Kimi K2 Thinking
O Kimi K2 Thinking é um modelo de raciocínio da Kimi que se destaca na resolução de problemas complexos e no raciocínio profundo.
Aceda ao cartão do modelo de raciocínio Kimi K2
Use os modelos Kimi
Para modelos geridos, pode usar comandos curl para enviar pedidos para o endpoint do Vertex AI com os seguintes nomes de modelos:
- Para o Kimi K2 Thinking, use
kimi-k2-thinking-maas
Para saber como fazer chamadas de streaming e não streaming para os modelos Kimi, consulte o artigo Chame APIs de modelos abertos.
Para usar um modelo do Vertex AI implementado autonomamente:
- Navegue para a consola do Model Garden.
- Encontre o modelo do Vertex AI relevante.
- Clique em Ativar e preencha o formulário fornecido para obter as licenças de utilização comercial necessárias.
Para mais informações sobre a implementação e a utilização de modelos de parceiros, consulte o artigo Implemente um modelo de parceiro e faça pedidos de previsão.
Disponibilidade regional e quotas do modelo Kimi
Para os modelos Kimi, aplica-se uma quota a cada região onde o modelo está disponível. A quota é especificada em consultas por minuto (QPM).
| Modelo | Região | Quotas | Comprimento do contexto |
|---|---|---|---|
| Kimi K2 Thinking | |||
global |
|
262144 |
Se quiser aumentar alguma das suas quotas para a IA generativa no Vertex AI, pode usar a Google Cloud consola para pedir um aumento da quota. Para saber mais sobre as quotas, consulte a vista geral das quotas do Google Cloud.
O que se segue?
- Saiba como chamar APIs de modelos abertos.