A Gemini Enterprise Agent Platform oferece várias opções para receber e usar recursos de computação ao usar modelos generativos. Essas opções de consumo foram projetadas para atender às necessidades de qualquer carga de trabalho, desde a prototipagem inicial até as implantações de produção. Selecionar a opção certa é fundamental para equilibrar desempenho, confiabilidade e custo.
Este guia detalha as opções de consumo disponíveis, ajuda a mapeá-las para os requisitos específicos da sua carga de trabalho e fornece estratégias para otimizar a latência, a disponibilidade e o custo.
Opções de consumo
A Gemini Enterprise Agent Platform oferece cinco opções de consumo adaptadas a diferentes padrões de tráfego e necessidades de negócios:
| Opção de consumo | Descrição | Ideal para | Preços | |
|---|---|---|---|---|
| Capacidade de Processamento Provisionada | Oferece capacidade de processamento garantida por um período de fidelidade | Cargas de trabalho críticas, em estado estável e sempre ativas em que um SLA é necessário | Com base em compromisso (disponível em planos de 1 semana, 1 mês, 3 meses e 1 ano) | |
| PayGo | Padrão | Opção flexível de pagamento por uso sem compromisso inicial | Opção padrão para casos de uso diários com flexibilidade para demanda de tráfego variável | Por token (taxa padrão) |
| Prioridade | Oferece maior confiabilidade com o processamento prioritário, mantendo a flexibilidade do PayGo | Cargas de trabalho importantes que exigem maior confiabilidade e limites do que o PayGo padrão | Por token (tarifa premium) | |
| Flex | Opção econômica para cargas de trabalho tolerantes à latência | Tarefas que podem tolerar tempos de resposta mais lentos e maior limitação em troca de preços mais baixos | Por token (preço com desconto) | |
| Inferência em lote | Custo otimizado para processamento assíncrono de alto volume | Jobs em grande escala em que os resultados são necessários em um período mais longo | Por token (preço com desconto) | |
Para informações sobre preços, consulte a página de preços.
Escolha a opção certa para sua carga de trabalho
As seções a seguir dão orientações sobre como selecionar a opção de consumo mais adequada com base nos requisitos e nas características específicas da sua carga de trabalho.
Cargas de trabalho sensíveis à latência
As organizações geralmente precisam fazer concessões entre confiabilidade e custo ao escolher os modelos de consumo certos. Embora a Capacidade de Processamento Provisionada ofereça a maior confiabilidade, ela pode causar subutilização se o tráfego tiver picos. Da mesma forma, o PayGo pode oferecer a máxima flexibilidade, mas não pode garantir uma qualidade de serviço. A seção a seguir descreve como combinar esses mecanismos para alcançar o melhor resultado:
- Atenda ao tráfego de referência com a Capacidade de Processamento Provisionada. Isso melhora
a utilização da capacidade reservada, tornando-a econômica e, ao mesmo tempo, fornecendo
confiabilidade garantida para o núcleo do tráfego. Para fazer isso, siga estas
etapas:
- Analise os padrões de tráfego por minuto ou segundo.
- Determine a quantidade de tráfego que será coberta pela Capacidade de Processamento Provisionada. Ela deve cobrir o tráfego de maior prioridade.
- Gerenciar o tráfego excedente com o pagamento por uso padrão ou prioritário: por padrão, o tráfego que excede o valor de referência da capacidade de processamento provisionada (chamado de tráfego excedente) é processado pelo pagamento por uso padrão. Se você observar uma variação maior no desempenho das solicitações acima do limite de TPM, poderá mitigar essa variação com a otimização. O PayGo prioritário oferece a opção de alcançar um desempenho confiável a um preço premium, sujeito ao limite de taxa de rampa.
Cargas de trabalho assíncronas de alto volume
Se você tiver um grande backlog de solicitações (por exemplo, se tiver milhões de documentos para resumir) e a latência imediata não for uma preocupação, envie um job em lote formulando solicitações em um arquivo JSON ou planilha. Isso é útil para casos de uso como rotulagem de imagens, processamento de documentos em massa ou análise de sentimento em dados históricos.
Essa é a opção mais econômica para inferência de alto volume.
Cargas de trabalho tolerantes à latência e sensíveis ao custo
Se você precisar processar solicitações em que o aplicativo pode esperar por uma resposta, mas a redução de custos é uma prioridade, use o pagamento por uso flexível. O pagamento por uso flexível oferece preços reduzidos por token para solicitações que não exigem execução imediata. Essa opção é útil para casos de uso como análise off-line, anotação de dados, criação de catálogo de produtos ou tradução.
Estratégias de otimização
Depois de selecionar o modelo de consumo, use as estratégias a seguir para otimizar ainda mais a latência, a disponibilidade e o custo.
Latência
Quando você cria aplicativos interativos, a latência desempenha um papel crucial na experiência do usuário. Latência é o tempo que um modelo leva para processar o comando de entrada e gerar uma resposta de saída correspondente. Ao examinar a latência com um modelo, considere o seguinte:
- Tempo para o primeiro token (TTFT, na sigla em inglês): o tempo que o modelo leva para produzir o primeiro token da resposta depois de receber o comando. O TTFT é particularmente relevante para aplicativos de streaming, em que o fornecimento de feedback imediato é crucial.
- Tempo até o último token (TTLT): o tempo total que o modelo leva para processar o comando e gerar a resposta.
Para otimizar a latência:
- Selecione o modelo certo para seu caso de uso: a Gemini Enterprise Agent Platform oferece uma variedade de modelos com diferentes recursos e características de desempenho. Avalie cuidadosamente seus requisitos em relação à velocidade e à qualidade da saída para escolher o modelo que melhor se alinha ao seu caso de uso. Para uma lista de modelos disponíveis, consulte Model Garden da Gemini Enterprise Agent Platform.
- Reduza o tamanho do comando: crie comandos claros e concisos que transmitam com eficiência sua intenção sem detalhes desnecessários ou redundância. Comandos mais curtos reduzem o tempo para o primeiro token.
- Limitar tokens de saída:
- Use as instruções do sistema para controlar o tamanho da resposta. Instrua o modelo a fornecer respostas concisas ou limitar a saída a um número específico de sentenças ou parágrafos. Essa estratégia pode reduzir o tempo até o último token.
- Restrinja a saída definindo um limite. Use o parâmetro
max_output_tokenspara definir um limite máximo para o comprimento da resposta gerada, evitando saídas muito longas. A latência é diretamente proporcional ao número de tokens gerados. Gerar menos tokens resulta em respostas mais rápidas. No entanto, tenha cuidado, porque isso pode cortar as respostas no meio da frase.
- Use a capacidade de processamento provisionada: para um desempenho mais consistente, use a capacidade de processamento provisionada. Isso elimina a variabilidade causada por "inicializações a frio" ou filas que podem ocorrer ocasionalmente em modelos PayGo durante períodos de tráfego intenso.
- Limite o orçamento de raciocínio: se você estiver usando um modelo que oferece suporte ao Raciocínio, reduza a latência diminuindo o orçamento de raciocínio. Ao limitar os tokens de raciocínio interno que o modelo gera antes de responder, você reduz o tempo geral de processamento. No entanto, é preciso garantir que o orçamento permaneça suficiente para a complexidade da tarefa para evitar a degradação da qualidade da resposta.
- Use streaming para suas respostas: o streaming melhora a capacidade de resposta percebida e cria uma experiência do usuário mais interativa. Com o streaming, o modelo começa a enviar a resposta antes de gerar a saída completa. Isso permite o processamento em tempo real da saída, e você pode atualizar imediatamente sua interface do usuário e executar outras tarefas simultâneas.
Disponibilidade
Para otimizar a disponibilidade:
- Implemente a lógica de repetição: implemente a espera exponencial para erros 429, especialmente ao usar o PayGo Standard.
- Use uma implementação híbrida: conforme detalhado em Escolha a opção certa para sua carga de trabalho, não use apenas o PayGo para apps de produção críticos. Combinar a Capacidade de Processamento Provisionada e o PayGo oferece a maior garantia contra o esgotamento de recursos (erros 429).
- Gerencie sua cota de Capacidade de Processamento Provisionada: monitore regularmente seu consumo de TPM e aumente as GSUs de PT antes de eventos de tráfego previstos (como lançamentos de produtos). É possível usar uma política de alertas para automatizar o monitoramento.
- Use o endpoint global: use o endpoint global para utilizar o pool de capacidade global do Google e minimizar a limitação devido a restrições de capacidade regionais.
- Suavize o tráfego para reduzir picos sempre que possível: taxas de tráfego PayGo (TPM) mais altas tendem a estar associadas a taxas de limitação mais altas.
- Mudar o tráfego para horários de pico: o uso do modelo em geral segue um padrão diurno. Mudar o horário da carga de trabalho para horários de pico ou fins de semana pode melhorar significativamente a disponibilidade.
Custo
Para otimizar o custo:
- Dimensione corretamente sua Capacidade de Processamento Provisionada: geralmente, não é necessário provisionar a PT para cobrir o pico de demanda. O provisionamento para períodos de alta demanda reduz a utilização geral e aumenta os custos. Procure cobrir um percentil específico do seu tráfego, dependendo da sua tolerância ao risco, e deixe que o PayGo Standard e o PayGo Priority cuidem do resto.
- Compre Capacidade de Processamento Provisionada de longo prazo: um compromisso de PT de 1 ano tem um desconto de 26% em comparação com a PT de 1 mês, o que gera uma economia de custos significativa. É possível mudar o modelo associado às GSUs de Capacidade de Processamento Provisionada compradas para aproveitar os recursos mais recentes do modelo.
- Use o Flex PayGo: identifique qualquer parte do pipeline que não seja sensível à latência (por exemplo, resumo em segundo plano, extração de dados) e mova-a para o Flex PayGo para reduzir os custos em cerca de 50%.
- Use o processamento em lote: para jobs assíncronos, como o processamento de grandes conjuntos de dados, o processamento em lote é significativamente mais barato (50%) do que o processamento de solicitações sequencialmente usando o PayGo padrão.
- Usar o armazenamento em cache de contexto: o armazenamento em cache de contexto ajuda a reduzir o custo e a latência de solicitações que contêm conteúdo repetido. Aumente as taxas de ocorrência em cache colocando conteúdo grande e comum no início do comando e enviando solicitações com um prefixo semelhante em um curto período.
- Selecione um modelo mais barato: se o caso de uso permitir, use um dos nossos modelos menores, como o Flash-Lite, que tem uma faixa de preços por token mais baixa do que os modelos mais robustos e completos.