Standard-PayGo

Standard Pay-as-you-go (Standard PayGo) ist eine Verbrauchsoption für die Nutzung der generativen KI-Modelle der Gemini Enterprise Agent Platform, einschließlich der Gemini-Modellfamilie.

Mit Standard-PayGo zahlen Sie nur für die Ressourcen, die Sie verbrauchen, ohne dass finanzielle Vorabzusicherungen erforderlich sind. Um Arbeitslasten auf gemeinsam genutzter Kapazität zu skalieren, enthält Standard PayGo ein Nutzungsstufensystem. Die Agent Platform passt den Schwellenwert für den priorisierten Durchsatz Ihrer Organisation dynamisch an. Dabei werden die Gesamtausgaben für berechtigte Agent Platform-Dienste über einen rollierenden Zeitraum von 30 Tagen berücksichtigt. Wenn die Ausgaben Ihrer Organisation steigen, wird sie automatisch in höhere Stufen mit höheren priorisierten Durchsatzgrenzwerten innerhalb des freigegebenen Kapazitätspools befördert. Standard-PayGo wird auf gemeinsam genutzten Ressourcen ausgeführt und reserviert keine dedizierte Kapazität oder bietet keinen garantierten Durchsatz in Zeiten hoher Auslastung. Für Arbeitslasten, die eine konsistentere Leistung als Standard-PayGo erfordern, sollten Sie priorisiertes PayGo in Betracht ziehen. Informationen zu dedizierter und zugesicherter Kapazität finden Sie unter Bereitgestellter Durchsatz.

Nutzungsstufen und Durchsatz

Jede Standard-PayGo-Nutzungsstufe definiert einen priorisierten Durchsatzgrenzwert auf Organisationsebene, gemessen in Tokens pro Minute (TPM). Anfragen bis zum TPM-Schwellenwert Ihrer Stufe erhalten priorisierten Zugriff auf die gemeinsam genutzte Kapazität vor übermäßigem Burst-Traffic. Durchsatz und Verfügbarkeit hängen jedoch weiterhin von der Echtzeitnachfrage im gemeinsam genutzten Pool ab und sind nicht garantiert. Die Durchsatzschwellenwerte gelten für Anfragen, die an den Endpunkt global gesendet werden. Die Verwendung des Endpunkts global ist eine Best Practice, da er Zugriff auf einen weltweiten Pool von Durchsatzkapazität bietet und Ihre Anfragen dynamisch an den Standort mit der höchsten Verfügbarkeit weiterleitet.

Multiregionale Endpunkte (z. B. us und eu auf aiplatform.us.rep.googleapis.com und aiplatform.eu.rep.googleapis.com) beschränken die Verarbeitung von maschinellem Lernen auf bestimmte rechtliche Grenzen. Multiregionale Endpunkte bündeln zwar die Kapazität mehrerer Rechenzentren innerhalb dieser Region, sie arbeiten jedoch mit separaten regionalen Kapazitätspools und teilen sich nicht die weltweite Durchsatzkapazität des Endpunkts global. Endpunkte für eine einzelne Region (z. B. us-central1 oder us-east5) sind auf einen einzelnen Rechenzentrumscluster beschränkt und haben die geringste Kapazitätsreserve. Wenn Ihre Arbeitslasten keinen strengen Anforderungen an den Datenstandort unterliegen, verwenden Sie den Endpunkt global, um den vollen priorisierten Durchsatzschwellenwert Ihrer Stufe zu nutzen und den Spielraum zu maximieren. Weitere Informationen zum Konfigurieren von multiregionalen Endpunkten finden Sie unter Multiregionale Endpunkte.

Ihr Traffic ist nicht strikt auf den TPM-Grenzwert Ihrer Stufe beschränkt. Wenn freie freigegebene Kapazität verfügbar ist, verarbeitet die Agent Platform Traffic, der diesen Schwellenwert überschreitet, opportunistisch. In Zeiten hoher Nachfrage auf der Agent Platform wird überschüssiger Burst-Traffic vor Traffic innerhalb der Stufenschwellenwerte gedrosselt. Außerdem kann es bei Traffic im gemeinsam genutzten Pool zu höheren Latenzen oder 429-Fehlern kommen. Um die Drosselung zu minimieren, sollten Sie den Traffic so gleichmäßig wie möglich über jede Minute verteilen und Anfragen nicht in starken, sekundenlangen Spitzen senden. Ein hohes Traffic-Aufkommen kann zu einer Drosselung führen, auch wenn Ihre durchschnittliche Nutzung pro Minute innerhalb des TPM-Schwellenwerts Ihrer Stufe liegt.

Die folgenden Stufen sind in Standard PayGo verfügbar:

Modellfamilie Stufe Kundenausgaben (30 Tage) Traffic-TPM (Organisationsebene)
Gemini Pro- und Argon-Modelle
(einschließlich Gemini 4 Argon und Gemini 4 Argon Cyber Permissive)		 Preisstufe 1 10–250 $ 500.000
Preisstufe 2 250–2.000 $ 1.000.000
Stufe 3 2.000–50.000 $ 2.000.000
Stufe 4 > 50.000 $ 10.000.000
Benutzerdefinierte Stufe Weitere Informationen erhalten Sie von Ihrem Vertriebsteam.
Gemini Flash- und Flash-Lite-Modelle Preisstufe 1 10–250 $ 2.000.000
Preisstufe 2 250–2.000 $ 4.000.000
Stufe 3 2.000–50.000 $ 10.000.000
Stufe 4 > 50.000 $ 50.000.000
Benutzerdefinierte Stufe Weitere Informationen erhalten Sie von Ihrem Vertriebsteam.

Der für eine Modellfamilie angezeigte Durchsatzgrenzwert gilt unabhängig für jedes Modell innerhalb dieser Familie. Beispielsweise hat eine Organisation in Stufe 3 einen priorisierten Durchsatzgrenzwert von 10.000.000 TPM für Gemini 3.5 Flash. Die Nutzung im Hinblick auf den Grenzwert eines Modells hat keinen Einfluss auf den Durchsatz für andere Modelle. Es gibt kein separates Limit für Anfragen pro Minute (RPM) für jede Stufe. Gemini-Anfragen mit multimodalen Eingaben unterliegen den entsprechenden Systemratenbegrenzungen.

Funktionsweise von Nutzungsstufen

Ihre Nutzungsstufe wird automatisch anhand der Gesamtausgaben Ihrer Organisation für berechtigte Agent Platform-Dienste in einem rollierenden Zeitraum von 30 Tagen ermittelt. Wenn die Ausgaben Ihrer Organisation steigen, werden Sie in eine höhere Stufe mit höheren priorisierten Durchsatzgrenzwerten befördert.

Berechnung der Ausgaben

Diese Berechnung umfasst eine Vielzahl von Diensten, von Vorhersagen für alle Gemini-Modellfamilien bis hin zu CPU-, GPU- und TPU-Instanzen der Agent Platform sowie Zusicherungs-SKUs wie „Bereitgestellter Durchsatz“.

Klicken Sie hier, um weitere Informationen zu den SKUs zu erhalten, die in die Ausgabenberechnung einbezogen werden.

In der folgenden Tabelle sind die Kategorien von Google Cloud -SKUs aufgeführt, die in die Berechnung der Gesamtausgaben einbezogen werden.

Kategorie Beschreibung der enthaltenen SKUs
Gemini-Modelle Alle Gemini-Modellfamilien (z. B. 2.0, 2.5 und 3.0 in den Versionen Pro, Flash und Lite) für Vorhersagen in allen Modalitäten (Text, Bild, Audio, Video), einschließlich Batch-, Long-Context-, abgestimmten und „Thinking“-Varianten
Gemini-Modellfunktionen Alle zugehörigen Gemini-SKUs für Funktionen wie Caching, Caching-Speicher und Prioritätsstufen für alle Modalitäten und Modellversionen
Agent Platform CPU Online- und Batchvorhersagen für alle CPU-basierten Instanzfamilien (z. B. C2, C3, E2, N1, N2 und deren Varianten)
Agent Platform GPU Online- und Batch-Vorhersagen auf allen NVIDIA-GPU-beschleunigten Instanzen (z. B. A100, H100, H200, B200, L4, T4, V100 und RTX-Serie)
Agent Platform TPU Online- und Batchvorhersagen auf allen TPU-basierten Instanzen (z. B. TPU-v5e und v6e)
Verwaltung und Gebühren Alle SKUs für „Verwaltungsgebühr“, die mit verschiedenen Agent Platform-Vorhersageinstanzen verknüpft sind
Bereitgestellter Durchsatz Alle zusicherungsbasierten SKUs für den bereitgestellten Durchsatz
Weitere Dienste Spezialisierte Dienste wie „LLM-Fundierung für Gemini… mit Google-Suchtool“

Nutzungsstufe prüfen

Wenn Sie die Nutzungsstufe für Ihre Organisation prüfen möchten, rufen Sie in der Google Cloud Console das Agent Platform-Dashboard auf. Wenn Sie die Nutzungsstufe im Dashboard sehen möchten, benötigen Sie die Rolle Agent Platform Viewer (roles/aiplatform.viewer) für das Projekt und die Rolle Billing Account Viewer (roles/billing.viewer) für das Rechnungskonto.

Zum Agent Platform-Dashboard

Ausgaben überprüfen

Wenn Sie Ihre Ausgaben für die Agent Platform einsehen möchten, rufen Sie in derGoogle Cloud Console „Cloud Billing“ auf. Die Ausgaben werden auf Organisationsebene zusammengefasst.

Zu Cloud Billing

Fehler vom Typ „Ressource erschöpft“ (429)

Wenn Sie den Fehler 429 erhalten, bedeutet das nicht, dass Sie ein festes Kontingent erreicht haben. Er weist auf eine vorübergehend hohe Konfliktrate für eine bestimmte freigegebene Ressource hin. Implementieren Sie eine Wiederholungsstrategie mit exponentiellem Backoff, um diese Fehler zu beheben, da sich die Verfügbarkeit in dieser dynamischen Umgebung schnell ändern kann.

Zusätzlich zu einer Wiederholungsstrategie sollten Sie Ihre Endpunktauswahl prüfen:

  • global-Endpunkt (empfohlen): Der global-Endpunkt leitet Anfragen dynamisch über die weltweiten Rechenzentren von Google weiter, bündelt die globale Durchsatzkapazität und gleicht lokale Spitzen aus. Dies bietet die höchste Verfügbarkeit und reduziert die Wahrscheinlichkeit von 429-Fehlern erheblich.
  • Multiregionale Endpunkte (z. B. us und eu): Multiregionale Endpunkte bündeln die Kapazität über mehrere Rechenzentren innerhalb einer bestimmten geografischen Grenze. Sie bieten zwar mehr Kapazität als eine einzelne Region, greifen aber nicht auf die weltweite Kapazität zu. Wenn Ihre Anwendung einen multiregionalen Endpunkt verwendet und während Spitzenzeiten 429-Fehler auftreten, sollten Sie prüfen, ob Ihre Data-Governance-Richtlinien das Weiterleiten von nicht sensiblen oder allgemeinen Arbeitslasten an den global-Endpunkt zulassen. Alternativ können Sie Priority PayGo oder Bereitgestellter Durchsatz in Betracht ziehen.
  • Endpunkte für eine einzelne Region (z. B. us-central1): Endpunkte für eine einzelne Region sind auf einen bestimmten Clusterstandort beschränkt. Bei ihnen ist die Wahrscheinlichkeit am höchsten, dass bei Lastkonflikten 429-Fehler auftreten. Vermeiden Sie es, Standard-PayGo-Arbeitslasten mit hohem Durchsatz an Endpunkte in einer einzelnen Region zu binden, es sei denn, dies ist für die Zusammenstellung mit latenzempfindlichen Rechenressourcen erforderlich.

Die besten Ergebnisse erzielen Sie, wenn Sie den Endpunkt global mit der Traffic-Glättung kombinieren. Vermeiden Sie es, Anfragen in starken, sekundengenauen Spitzen zu senden, da hoher sofortiger Traffic zu einer Drosselung führen kann, selbst wenn Ihre durchschnittliche Nutzung pro Minute innerhalb des priorisierten Durchsatzschwellenwerts Ihrer Stufe liegt. Wenn Sie Ihre API-Aufrufe gleichmäßiger verteilen, kann das System die Last besser verwalten und die Gesamtleistung wird verbessert. Weitere Informationen zum Umgang mit Fehlern aufgrund von Ressourcenerschöpfung finden Sie unter Ausfallsichere LLM-Anwendungen erstellen und 429-Fehler reduzieren und Fehlercode 429.

Unterstützte Modelle

Die folgenden allgemein verfügbaren Gemini-Modelle und alle entsprechenden überwachten, feinabgestimmten Modelle unterstützen Standard-PayGo mit Nutzungsstufen:

Klicken, um unterstützte Modelle einzublenden

Die folgenden GA-Gemini-Modelle unterstützen ebenfalls Standard-PayGo, die Nutzungsstufen gelten jedoch nicht für diese Modelle:

Diese Stufen gelten nicht für Vorschaumodelle. Die genauesten und aktuellsten Informationen finden Sie in der offiziellen Dokumentation des jeweiligen Modells.

Durchsatz und Leistung überwachen

Wenn Sie den Echtzeit-Tokenverbrauch Ihrer Organisation im Blick behalten möchten, rufen Sie in Cloud Monitoring den Metrics Explorer auf.

Zum Metrics Explorer

Weitere Informationen zum Monitoring des Traffics von Modellendpunkten finden Sie unter Modelle überwachen.

Nutzungsstufen gelten auf Organisationsebene. Informationen zum Festlegen des Beobachtbarkeitsbereichs, um den Durchsatz über mehrere Projekte in Ihrer Organisation hinweg darzustellen, finden Sie unter Beobachtbarkeitsbereiche für Abfragen über mehrere Projekte hinweg konfigurieren.

Nächste Schritte

Ressource

Kontingente und Limits für die Agent Platform, ausgenommen produktspezifische Einschränkungen.

Übersicht

Hier erfahren Sie, wie Google Cloud einschränkt, wie viel von einer Ressource Ihr Google Cloud -Projekt nutzen kann, und wie Kontingente für eine Reihe von Ressourcentypen gelten, einschließlich Hardware, Software und Netzwerkkomponenten.