PayGo standard

Il pagamento a consumo standard (PayGo standard) è un'opzione di consumo per l'utilizzo della suite di modelli di AI generativa di Gemini Enterprise Agent Platform, inclusa la famiglia di modelli Gemini.

PayGo standard ti consente di pagare solo le risorse che consumi, senza richiedere impegni finanziari iniziali. Per scalare i carichi di lavoro sulla capacità condivisa, PayGo standard incorpora un sistema di livelli di utilizzo. Agent Platform regola dinamicamente la soglia di throughput con priorità della tua organizzazione in base alla spesa totale per i servizi Agent Platform idonei in un periodo di 30 giorni consecutivi. Man mano che la spesa della tua organizzazione aumenta, viene automaticamente promossa a livelli più elevati con soglie di throughput con priorità più elevate all'interno del pool di capacità condivisa. PayGo standard viene eseguito su risorse condivise e non riserva capacità dedicata né fornisce throughput garantito durante i periodi di elevata contesa. Per i carichi di lavoro che richiedono prestazioni più coerenti rispetto a PayGo standard, valuta la possibilità di utilizzare PayGo prioritario. Per la capacità dedicata e garantita, consulta Throughput riservato.

Livelli di utilizzo e throughput

Ogni livello di utilizzo PayGo standard definisce una soglia di throughput con priorità a livello di organizzazione, misurata in token al minuto (TPM). Le richieste fino alla soglia TPM del tuo livello ricevono l'accesso prioritario alla capacità condivisa prima del traffico burst in eccesso, anche se il throughput e la disponibilità dipendono ancora dalla domanda in tempo reale nel pool condiviso e non sono garantiti. Le soglie di throughput si applicano alle richieste inviate all'endpoint global. L'utilizzo dell'endpoint global è una best practice perché fornisce l'accesso a un pool mondiale di capacità di throughput e indirizza dinamicamente le richieste alla località con la maggiore disponibilità.

Gli endpoint multi-regione (come us e eu su aiplatform.us.rep.googleapis.com e aiplatform.eu.rep.googleapis.com) limitano l'elaborazione di machine learning a confini giurisdizionali specifici. Sebbene gli endpoint multi-regione raggruppino la capacità in più data center all'interno di quella regione geografica, operano da pool di capacità regionali separati e non condividono la capacità di throughput mondiale dell'endpoint global. Gli endpoint a singola regione (ad esempio us-central1 o us-east5) sono limitati a un singolo cluster di data center e hanno la capacità di headroom più bassa. Se i tuoi carichi di lavoro non sono soggetti a requisiti di residenza dei dati rigorosi, utilizza l'endpoint global per utilizzare la soglia di throughput con priorità completa del tuo livello e massimizzare l'headroom. Per saperne di più sulla configurazione degli endpoint multi-regione, consulta Endpoint multi-regione.

Il traffico non è strettamente limitato alla soglia TPM del tuo livello. Quando è disponibile capacità condivisa di riserva, Agent Platform gestisce il traffico che supera questa soglia in modo opportunistico. Durante i periodi di elevata domanda su Agent Platform, il traffico burst in eccesso viene limitato prima del traffico all'interno delle soglie di livello e tutto il traffico del pool condiviso può subire una latenza maggiore o errori 429. Per ridurre al minimo la limitazione, uniforma il traffico il più possibile ogni minuto ed evita di inviare richieste in picchi acuti a livello di secondo. Un traffico istantaneo elevato può comportare la limitazione anche se l'utilizzo medio al minuto rientra nella soglia TPM del tuo livello.

I seguenti livelli sono disponibili in PayGo standard:

La famiglia di modelli Livello Spesa del cliente (30 giorni) TPM di traffico (a livello di organizzazione)
Modelli Gemini Pro e Argon
(include Gemini 4 Argon e Gemini 4 Argon Cyber Permissive)		 Livello 1 10-250 $ 500.000
Livello 2 250-2000 $ 1.000.000
Livello 3 2000-50.000 $ 2.000.000
Livello 4 > 50.000 $ 10.000.000
Livello personalizzato Contatta il team di vendita per maggiori informazioni
Modelli Gemini Flash e Flash-Lite Livello 1 10-250 $ 2.000.000
Livello 2 250-2000 $ 4.000.000
Livello 3 2000-50.000 $ 10.000.000
Livello 4 > 50.000 $ 50.000.000
Livello personalizzato Contatta il team di vendita per maggiori informazioni

La soglia di throughput mostrata per una famiglia di modelli si applica in modo indipendente a ogni modello all'interno di quella famiglia. Ad esempio, un'organizzazione di livello 3 ha una soglia di throughput con priorità di 10.000.000 TPM per Gemini 3.5 Flash. L'utilizzo rispetto alla soglia di un modello non influisce sul throughput di altri modelli. Non esiste un limite di richieste al minuto (RPM) separato per ogni livello. Le richieste di Gemini con input multimodali sono soggette ai limiti di frequenza di sistema corrispondenti.

Come funzionano i livelli di utilizzo

Il livello di utilizzo viene determinato automaticamente dalla spesa totale della tua organizzazione per i servizi Agent Platform idonei in un periodo di 30 giorni consecutivi. Man mano che la spesa della tua organizzazione aumenta, il sistema ti promuove a un livello superiore con soglie di throughput con priorità più elevate.

Calcolo della spesa

Questo calcolo include una vasta gamma di servizi, dalle previsioni su tutte le famiglie di modelli Gemini alle istanze CPU, GPU e TPU di Agent Platform, nonché gli SKU basati sull'impegno, come il throughput riservato.

Fai clic per scoprire di più sugli SKU inclusi nel calcolo della spesa.

La tabella seguente elenca le categorie di Google Cloud SKU incluse nel calcolo della spesa totale.

Categoria Descrizione degli SKU inclusi
Modelli Gemini Tutte le famiglie di modelli Gemini (come 2.0, 2.5 e 3.0 nelle versioni Pro, Flash e Lite) per le previsioni in tutte le modalità (testo, immagine, audio, video), incluse le varianti batch, contesto lungo, ottimizzate e "thinking"
Funzionalità dei modelli Gemini Tutti gli SKU Gemini correlati per funzionalità come la memorizzazione nella cache, lo spazio di archiviazione della cache e i livelli di priorità, in tutte le modalità e versioni dei modelli
CPU di Agent Platform Previsioni online e batch su tutte le famiglie di istanze basate su CPU (come C2, C3, E2, N1, N2 e le relative varianti)
GPU di Agent Platform Previsioni online e batch su tutte le istanze con accelerazione GPU NVIDIA (come le serie A100, H100, H200, B200, L4, T4, V100 e RTX)
TPU di Agent Platform Previsioni online e batch su tutte le istanze basate su TPU (come TPU-v5e e v6e)
Gestione e commissioni Tutti gli SKU "Commissione di gestione" associati a varie istanze di previsione di Agent Platform
Throughput riservato Tutti gli SKU basati sull'impegno per il throughput riservato
Altri servizi Servizi specializzati come "LLM Grounding for Gemini... con strumento della Ricerca Google"

Verificare il livello di utilizzo

Per verificare il livello di utilizzo della tua organizzazione, vai alla dashboard di Agent Platform nella Google Cloud console. Per visualizzare il livello di utilizzo nella dashboard, devi disporre del ruolo Visualizzatore di Agent Platform (roles/aiplatform.viewer) nel progetto e del ruolo Visualizzatore account di fatturazione (roles/billing.viewer) nell'account di fatturazione.

Vai alla dashboard di Agent Platform

Verificare la spesa

Per esaminare la spesa di Agent Platform, vai a Fatturazione cloud nella Google Cloud console. La spesa viene aggregata a livello di organizzazione.

Vai a Fatturazione cloud

Errori relativi all'esaurimento delle risorse (429)

Se ricevi un errore 429, non significa che hai raggiunto una quota fissa. Indica un'elevata contesa temporanea per una risorsa condivisa specifica. Implementa una strategia di ripetizione con backoff esponenziale per gestire questi errori, perché la disponibilità in questo ambiente dinamico può cambiare rapidamente.

Oltre a una strategia di ripetizione, valuta la scelta dell'endpoint:

  • Endpoint global (consigliato): l'endpoint global indirizza dinamicamente le richieste alla flotta di data center di Google in tutto il mondo, raggruppando la capacità di throughput globale e uniformando i picchi localizzati. In questo modo si ottiene la massima disponibilità e si riduce notevolmente la probabilità di errori 429.
  • Endpoint multi-regione (come us e eu): gli endpoint multi-regione raggruppano la capacità in più data center all'interno di un confine geografico specifico. Sebbene offrano una capacità maggiore rispetto a una singola regione, non accedono alla capacità mondiale. Se la tua applicazione utilizza un endpoint multi-regione e riscontra errori 429 durante i periodi di picco, valuta se le tue norme di governance dei dati consentono di indirizzare i carichi di lavoro non sensibili o generali all'endpoint global oppure valuta la possibilità di utilizzare PayGo prioritario o Throughput riservato.
  • Endpoint a singola regione (come us-central1): gli endpoint a singola regione sono vincolati a una località di cluster specifica e hanno la massima probabilità di riscontrare errori 429 in caso di contesa del carico. Evita di ancorare i carichi di lavoro PayGo standard a throughput elevato agli endpoint a singola regione, a meno che non sia necessario per la colocation con risorse di calcolo sensibili alla latenza.

Per risultati ottimali, combina l'utilizzo dell'endpoint global con l'uniformazione del traffico. Evita di inviare richieste in picchi acuti a livello di secondo, perché un traffico istantaneo elevato può comportare la limitazione, anche se l'utilizzo medio al minuto rientra nella soglia di throughput con priorità del tuo livello. La distribuzione più uniforme delle chiamate API aiuta il sistema a gestire il carico in modo prevedibile e migliora le prestazioni complessive. Per ulteriori informazioni su come gestire gli errori di esaurimento delle risorse, consulta Creare applicazioni LLM resilienti e ridurre gli errori 429 e Codice di errore 429.

Modelli supportati

I seguenti modelli Gemini in disponibilità generale (GA) e i modelli ottimizzati con supervisione corrispondenti supportano PayGo standard con livelli di utilizzo:

Fai clic per espandere i modelli supportati

Anche i seguenti modelli Gemini GA supportano PayGo standard, ma i livelli di utilizzo non si applicano a questi modelli:

Questi livelli non si applicano ai modelli in anteprima. Per informazioni più accurate e aggiornate, consulta la documentazione ufficiale specifica di ogni modello.

Monitorare il throughput e il rendimento

Per monitorare il consumo di token in tempo reale della tua organizzazione, vai a Metrics Explorer in Cloud Monitoring.

Vai a Esplora metriche

Per saperne di più sul monitoraggio del traffico degli endpoint dei modelli, consulta Monitorare i modelli.

I livelli di utilizzo si applicano a livello di organizzazione. Per informazioni su come impostare l'ambito di osservabilità per rappresentare graficamente il throughput in più progetti della tua organizzazione, consulta Configurare gli ambiti di osservabilità per le query multi-progetto.

Passaggi successivi

Risorsa

Quote e limiti relativi ad Agent Platform, escluse le limitazioni specifiche del prodotto.

Panoramica

Scopri come Google Cloud limita la quantità di una risorsa che il tuo Google Cloud progetto può utilizzare e come le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete.