Gemini Enterprise Agent Platform offre diverse opzioni per ottenere e utilizzare le risorse di computing quando si utilizzano modelli generativi. Queste opzioni di consumo sono progettate per soddisfare le esigenze di qualsiasi workload, dalla prototipazione iniziale ai deployment di produzione. La scelta dell'opzione giusta è fondamentale per bilanciare prestazioni, affidabilità e costi.
Questa guida illustra in dettaglio le opzioni di consumo disponibili, ti aiuta a mapparle ai requisiti specifici del tuo workload e fornisce strategie per ottimizzare latenza, disponibilità e costi.
Opzioni di consumo
Gemini Enterprise Agent Platform offre cinque opzioni di consumo su misura per diversi pattern di traffico ed esigenze aziendali:
| Opzione di consumo | Descrizione | Ideale per | Prezzi | |
|---|---|---|---|---|
| Throughput riservato | Fornisce un throughput garantito per un periodo di impegno | Workload critici, in stato stabile e sempre attivi per i quali è necessario uno SLA | Basato sull'impegno (disponibile in piani di 1 settimana, 1 mese, 3 mesi e 1 anno) | |
| PayGo | Standard | Opzione flessibile con pagamento in base al consumo senza impegno iniziale | Opzione predefinita per i casi d'uso quotidiani con flessibilità per la domanda di traffico variabile | Per token (frequenza standard) |
| Priorità | Offre una maggiore affidabilità grazie all'elaborazione prioritaria, mantenendo al contempo la flessibilità di PayGo | Workload importanti che richiedono un'affidabilità e limiti più elevati rispetto a PayGo standard | Per token (tariffa premium) | |
| Flex | Opzione conveniente per workload con tolleranza alla latenza | Attività che possono tollerare tempi di risposta più lenti e una limitazione più elevata in cambio di prezzi più bassi | Per token (tariffa scontata) | |
| Inferenza batch | Ottimizzazione dei costi per l'elaborazione asincrona ad alto volume | Job su larga scala in cui i risultati sono necessari entro un periodo di tempo più lungo | Per token (tariffa scontata) | |
Per informazioni sui prezzi, consulta la pagina dei prezzi.
Scegli l'opzione giusta per il tuo workload
Le sezioni seguenti forniscono indicazioni sulla selezione dell'opzione di consumo più adatta in base ai requisiti e alle caratteristiche specifici del tuo workload.
Workload sensibili alla latenza
Le organizzazioni spesso devono scendere a compromessi tra affidabilità e costi quando scelgono i modelli di consumo giusti. Sebbene il throughput riservato offra la massima affidabilità, può causare un sottoutilizzo se il traffico presenta picchi. Analogamente, PayGo potrebbe offrire la massima flessibilità, ma non può garantire una qualità del servizio. La sezione seguente descrive come combinare al meglio questi meccanismi per ottenere il risultato ottimale:
- Copri il traffico di base con il throughput riservato. In questo modo, l'utilizzo della capacità prenotata viene ottimizzato, il che la rende economica e garantisce al contempo l'affidabilità del traffico principale. Per farlo, segui questi passaggi:
- Analizza i pattern di traffico a livello di minuti o secondi.
- Determina la quantità di traffico da coprire con il throughput riservato. Dovrebbe coprire il traffico con la priorità più alta.
- Gestisci il traffico in eccesso con il pagamento a consumo Standard o Priority: per impostazione predefinita, il traffico che supera la base di riferimento del throughput riservato (chiamato traffico in eccesso) viene gestito dal pagamento a consumo Standard. Se osservi una maggiore variazione delle prestazioni per le richieste che superano il limite di TPM, puoi mitigare questa variazione tramite l'ottimizzazione. PayGo prioritario ti offre la possibilità di ottenere prestazioni affidabili a un prezzo premium, soggetto al limite di incremento graduale.
Workload asincroni ad alto volume
Se hai un backlog di richieste di grandi dimensioni (ad esempio, se hai milioni di documenti da riassumere) e la latenza immediata non è un problema, devi inviare un job batch formulando le richieste in un file JSON o in un foglio di lavoro. Questo approccio è utile per casi d'uso come l'etichettatura delle immagini, l'elaborazione di documenti in blocco o l'analisi del sentiment sui dati storici.
Questa è l'opzione più conveniente per l'inferenza ad alto volume.
Workload tolleranti alla latenza e sensibili ai costi
Se devi elaborare richieste in cui l'applicazione può attendere una risposta, ma la riduzione dei costi è una priorità, devi utilizzare Flex con pagamento a consumo. Flex con pagamento a consumo offre prezzi per token ridotti per le richieste che non richiedono un'esecuzione immediata. Questa opzione è utile per casi d'uso come l'analisi offline, l'annotazione dei dati, la creazione di cataloghi dei prodotti o la traduzione.
Strategie di ottimizzazione
Una volta selezionato il modello di consumo, utilizza le seguenti strategie per ottimizzare ulteriormente latenza, disponibilità e costi.
Latenza
Quando crei applicazioni interattive, la latenza svolge un ruolo fondamentale nell'esperienza utente. La latenza si riferisce al tempo necessario a un modello per elaborare il prompt di input e generare una risposta di output corrispondente. Quando esamini la latenza con un modello, tieni presente quanto segue:
- Tempo al primo token (TTFT): il tempo necessario al modello per produrre il primo token della risposta dopo aver ricevuto il prompt. Il TTFT è particolarmente importante per le applicazioni di streaming, in cui è fondamentale fornire un feedback immediato.
- Tempo all'ultimo token (TTLT): il tempo complessivo impiegato dal modello per elaborare il prompt e generare la risposta.
Per ottimizzare la latenza:
- Seleziona il modello giusto per il tuo caso d'uso: Gemini Enterprise Agent Platform offre una gamma diversificata di modelli con funzionalità e caratteristiche di prestazioni diverse. Valuta attentamente i tuoi requisiti in termini di velocità e qualità dell'output per scegliere il modello più adatto al tuo caso d'uso. Per un elenco dei modelli disponibili, consulta Gemini Enterprise Agent Platform Model Garden.
- Riduci le dimensioni dei prompt: crea prompt chiari e concisi che trasmettano efficacemente la tua intenzione senza dettagli o ridondanze non necessari. I prompt più brevi riducono il tempo necessario per il primo token.
- Limita i token di output:
- Utilizza le istruzioni di sistema per controllare la lunghezza della risposta. Chiedi al modello di fornire risposte concise o limita l'output a un numero specifico di frasi o paragrafi. Questa strategia può ridurre il tempo fino all'ultimo token.
- Limita l'output impostando un limite. Utilizza il parametro
max_output_tokensper impostare un limite massimo per la lunghezza della risposta generata, evitando un output troppo lungo. La latenza è direttamente proporzionale al numero di token generati; la generazione di un numero inferiore di token comporta risposte più rapide. Tuttavia, fai attenzione perché questo potrebbe interrompere le risposte a metà frase.
- Utilizza il throughput riservato: per ottenere le prestazioni più coerenti, utilizza il throughput riservato. In questo modo si elimina la variabilità causata da "cold start" o code che possono verificarsi occasionalmente nei modelli PayGo durante i periodi di traffico elevato.
- Limita il budget di pensiero: se utilizzi un modello che supporta il ragionamento, puoi ridurre la latenza riducendo il budget di pensiero. Limitando i token di ragionamento interno generati dal modello prima di rispondere, riduci il tempo di elaborazione complessivo. Tuttavia, devi assicurarti che il budget rimanga sufficiente per la complessità dell'attività, in modo da evitare di compromettere la qualità della risposta.
- Utilizza lo streaming per le risposte: lo streaming migliora la reattività percepita e crea un'esperienza utente più interattiva. Con lo streaming, il modello inizia a inviare la risposta prima di generare l'output completo. In questo modo, l'output viene elaborato in tempo reale, così puoi aggiornare immediatamente l'interfaccia utente ed eseguire altre attività contemporaneamente.
Disponibilità
Per ottimizzare la disponibilità:
- Implementa la logica per i nuovi tentativi: implementa il backoff esponenziale per gli errori 429, in particolare quando utilizzi Standard PayGo.
- Utilizza un'implementazione ibrida: come descritto in Scegli l'opzione giusta per il tuo workload, non fare affidamento solo su PayGo per le app di produzione critiche. La combinazione di Throughput riservato e PayGo offre la massima garanzia contro l'esaurimento delle risorse (errori 429).
- Gestisci la quota di throughput riservato: monitora regolarmente il consumo di TPM e aumenta le GSU di PT prima di eventi di traffico previsti (come i lanci di prodotti). Puoi utilizzare una policy di avviso per automatizzare il monitoraggio.
- Utilizza l'endpoint globale: utilizza l'endpoint globale per sfruttare il pool di capacità globale di Google e ridurre al minimo la limitazione dovuta ai vincoli di capacità regionali.
- Se possibile, distribuisci il traffico per ridurre i picchi: tassi di traffico PayGo (TPM) più elevati tendono a essere associati a tassi di limitazione più elevati.
- Sposta il traffico nelle ore non di punta: l'utilizzo aggregato del modello segue generalmente un pattern diurno. Spostare il workload nelle ore non di punta o nei fine settimana può migliorare notevolmente la disponibilità.
Costo
Per ottimizzare i costi:
- Dimensiona correttamente il throughput riservato: in genere non è necessario eseguire il provisioning del PT per coprire la domanda di picco. Il provisioning per la domanda di picco riduce l'utilizzo complessivo e aumenta i costi. Cerca di coprire un percentile specifico del tuo traffico in base alla tua tolleranza al rischio e lascia che PayGo standard e PayGo prioritario gestiscano il resto.
- Acquista throughput riservato a lungo termine: un impegno di throughput riservato di 1 anno ha un prezzo scontato del 26% rispetto a un throughput riservato di 1 mese, il che comporta un notevole risparmio sui costi. Puoi sempre modificare il modello associato alle GSU di Throughput riservato acquistate per sfruttare le funzionalità dei nostri modelli più recenti.
- Utilizza Flex PayGo: identifica qualsiasi parte della pipeline che non è sensibile alla latenza (ad es. riassunto in background, estrazione dati) e spostala in Flex PayGo per ridurre i costi di circa il 50%.
- Utilizza l'elaborazione batch: per i job asincroni, come l'elaborazione di set di dati di grandi dimensioni, l'elaborazione batch è notevolmente più economica (50%) rispetto all'elaborazione sequenziale delle richieste utilizzando il pagamento a consumo standard.
- Utilizza la memorizzazione nella cache del contesto: la memorizzazione nella cache del contesto aiuta a ridurre i costi e la latenza delle richieste che contengono contenuti ripetuti. Aumenta le percentuali di successo della cache inserendo contenuti di grandi dimensioni e comuni all'inizio del prompt e inviando richieste con un prefisso simile in un breve periodo di tempo.
- Seleziona un modello con un prezzo inferiore: se il tuo caso d'uso lo consente, utilizza uno dei nostri modelli più piccoli, come Flash-Lite, che ha un prezzo per token inferiore rispetto ai nostri modelli completi e ad alte prestazioni.