Standard-PayGo

Standard „Pay as you go“ (Standard-PayGo) ist eine Verbrauchsoption für die Verwendung der Suite von generativen KI-Modellen der Gemini Enterprise Agent Platform, einschließlich der Gemini-Modellfamilie.

Mit Standard-PayGo zahlen Sie nur für die verbrauchten Ressourcen, ohne dass finanzielle Vorabzusicherungen erforderlich sind. Um die Skalierung von Arbeitslasten mit gemeinsam genutzter Kapazität zu erleichtern, umfasst Standard-PayGo ein System mit Nutzungsstufen. Die Agent Platform passt den priorisierten Durchsatzschwellenwert Ihrer Organisation dynamisch an die Gesamtausgaben für berechtigte Agent Platform-Dienste über einen rollierenden Zeitraum von 30 Tagen an. Wenn die Ausgaben Ihrer Organisation steigen, wird sie automatisch in höhere Stufen mit höheren priorisierten Durchsatzschwellenwerten innerhalb des gemeinsam genutzten Kapazitätspools eingestuft. Standard-PayGo wird auf gemeinsam genutzten Ressourcen ausgeführt und reserviert keine dedizierte Kapazität oder bietet keinen garantierten Durchsatz in Zeiten hoher Auslastung. Für Arbeitslasten, die eine konsistentere Leistung als Standard-PayGo erfordern, sollten Sie Priority-PayGo in Betracht ziehen. Informationen zu dedizierter und garantierter Kapazität finden Sie unter Bereitgestellter Durchsatz.

Nutzungsstufen und Durchsatz

Jede Standard-PayGo-Nutzungsstufe definiert einen priorisierten Durchsatzschwellenwert auf Organisationsebene, gemessen in Tokens pro Minute (TPM). Anfragen bis zum TPM-Schwellenwert Ihrer Stufe erhalten vorrangigen Zugriff auf die gemeinsam genutzte Kapazität vor dem überschüssigen Burst-Traffic. Durchsatz und Verfügbarkeit hängen jedoch weiterhin von der Echtzeitnachfrage im gesamten gemeinsam genutzten Pool ab und sind nicht garantiert. Die Durchsatzschwellenwerte gelten für Anfragen, die an den global-Endpunkt gesendet werden. Die Verwendung des global-Endpunkts ist eine Best Practice, da er Zugriff auf einen weltweiten Pool von Durchsatzkapazität bietet und Ihre Anfragen dynamisch an den Standort mit der höchsten Verfügbarkeit weiterleitet.

Multiregionale Endpunkte wie us und eu auf aiplatform.us.rep.googleapis.com und aiplatform.eu.rep.googleapis.com) beschränken die Verarbeitung von maschinellem Lernen auf bestimmte Gerichtsbarkeiten. Obwohl multiregionale Endpunkte die Kapazität über mehrere Rechenzentren innerhalb dieser geografischen Einheit hinweg bündeln, werden sie aus separaten regionalen Kapazitätspools betrieben und teilen nicht die weltweite Durchsatzkapazität des global-Endpunkts. Endpunkte für einzelne Regionen (z. B. us-central1 oder us-east5) sind auf einen einzelnen Rechenzentrumscluster beschränkt und haben den geringsten Kapazitätsspielraum. Wenn für Ihre Arbeitslasten keine strengen Anforderungen an den Datenstandort gelten, verwenden Sie den global-Endpunkt, um den priorisierten Durchsatzschwellenwert Ihrer Stufe vollständig zu nutzen und den Spielraum zu maximieren. Weitere Informationen zum Konfigurieren multiregionaler Endpunkte finden Sie unter Multiregionale Endpunkte.

Ihr Traffic ist nicht streng auf den TPM-Schwellenwert Ihrer Stufe begrenzt. Wenn zusätzliche gemeinsam genutzte Kapazität verfügbar ist, verarbeitet die Agent Platform Traffic, der diesen Schwellenwert überschreitet. In Zeiten hoher Nachfrage in der Agent Platform wird überschüssiger Burst-Traffic vor Traffic innerhalb der Stufenschwellenwerte gedrosselt. Bei allen gemeinsam genutzten Pool-Traffic kann es zu einer höheren Latenz oder zu 429-Fehlern kommen. Um die Drosselung zu minimieren, sollten Sie Ihren Traffic so gleichmäßig wie möglich über jede Minute verteilen und vermeiden, Anfragen in scharfen, sekundenschnellen Spitzen zu senden. Hoher sofortiger Traffic kann zu einer Drosselung führen, auch wenn Ihre durchschnittliche Nutzung pro Minute innerhalb des TPM-Schwellenwerts Ihrer Stufe liegt.

Die folgenden Stufen sind in Standard-PayGo verfügbar:

Modellfamilie Stufe Kundenausgaben (30 Tage) Traffic-TPM (Organisationsebene)
Gemini Pro- und Argon-Modelle
(einschließlich Gemini 4 Argon und Gemini 4 Argon Cyber Permissive)		 Stufe 1 10 $ bis 250 $ 500.000
Stufe 2 250 $ bis 2.000 $ 1.000.000
Stufe 3 2.000 $ bis 50.000 $ 2.000.000
Stufe 4 Über 50.000 $ 10.000.000
Benutzerdefinierte Stufe Weitere Informationen erhalten Sie von Ihrem Vertriebsteam.
Gemini Flash- und Flash-Lite-Modelle Stufe 1 10 $ bis 250 $ 2.000.000
Stufe 2 250 $ bis 2.000 $ 4.000.000
Stufe 3 2.000 $ bis 50.000 $ 10.000.000
Stufe 4 Über 50.000 $ 50.000.000
Benutzerdefinierte Stufe Weitere Informationen erhalten Sie von Ihrem Vertriebsteam.

Der für eine Modellfamilie angegebene Durchsatzschwellenwert gilt unabhängig für jedes Modell innerhalb dieser Familie. Eine Organisation der Stufe 3 hat beispielsweise einen priorisierten Durchsatzschwellenwert von 10.000.000 TPM für Gemini 3.5 Flash. Die Nutzung des Schwellenwerts eines Modells wirkt sich nicht auf den Durchsatz anderer Modelle aus. Für jede Stufe gibt es kein separates Limit für Anfragen pro Minute (RPM). Für Gemini-Anfragen mit multimodalen Eingaben gelten die entsprechenden Systemratenlimits.

Funktionsweise von Nutzungsstufen

Ihre Nutzungsstufe wird automatisch anhand der Gesamtausgaben Ihrer Organisation für berechtigte Agent Platform-Dienste über einen rollierenden Zeitraum von 30 Tagen bestimmt. Wenn die Ausgaben Ihrer Organisation steigen, wird sie in eine höhere Stufe mit höheren priorisierten Durchsatzschwellenwerten eingestuft.

Ausgabenberechnung

Diese Berechnung umfasst eine Vielzahl von Diensten, von Vorhersagen für alle Gemini-Modellfamilien bis hin zu Agent Platform-CPU-, GPU- und TPU-Instanzen sowie zusicherungsbasierten SKUs wie dem bereitgestellten Durchsatz.

Klicken Sie hier, um mehr über die in der Ausgabenberechnung enthaltenen SKUs zu erfahren.

In der folgenden Tabelle sind die Kategorien von Google Cloud SKUs aufgeführt, die in die Berechnung der Gesamtausgaben einfließen.

Kategorie Beschreibung der enthaltenen SKUs
Gemini-Modelle Alle Gemini-Modellfamilien (z. B. 2.0, 2.5 und 3.0 in den Versionen Pro, Flash und Lite) für Vorhersagen in allen Modalitäten (Text, Bild, Audio, Video), einschließlich Batch-, Long-Context-, abgestimmter und „Denk“-Variationen
Gemini-Modellfunktionen Alle zugehörigen Gemini-SKUs für Funktionen wie Caching, Caching-Speicher und Prioritätsstufen in allen Modalitäten und Modellversionen
Agent Platform-CPU Online- und Batch-Vorhersagen für alle CPU-basierten Instanzfamilien (z. B. C2, C3, E2, N1, N2 und ihre Varianten)
Agent Platform-GPU Online- und Batch-Vorhersagen für alle NVIDIA-GPU-beschleunigten Instanzen (z. B. A100, H100, H200, B200, L4, T4, V100 und RTX-Serie)
Agent Platform-TPU Online- und Batchvorhersagen für alle TPU-basierten Instanzen (z. B. TPU-v5e und v6e)
Verwaltung und Gebühren Alle SKUs für die Verwaltungsgebühr, die mit verschiedenen Agent Platform-Vorhersageinstanzen verknüpft sind
Bereitgestellter Durchsatz Alle zusicherungsbasierten SKUs für den bereitgestellten Durchsatz
Weitere Dienste Spezialisierte Dienste wie „LLM Grounding for Gemini... with Google-Suchtool“

Nutzungsstufe prüfen

Wenn Sie die Nutzungsstufe für Ihre Organisation prüfen möchten, rufen Sie in der Google Cloud Console das Agent Platform-Dashboard auf. Um die Nutzungsstufe im Dashboard zu sehen, benötigen Sie die Rolle „Agent Platform Viewer“ (roles/aiplatform.viewer) für das Projekt und die Rolle „Billing Account Viewer“ (roles/billing.viewer) für das Rechnungskonto.

Zum Agent Platform-Dashboard

Ausgaben prüfen

Wenn Sie Ihre Agent Platform-Ausgaben prüfen möchten, rufen Sie in der Google Cloud Console Cloud Billing auf. Die Ausgaben werden auf Organisationsebene zusammengefasst.

Zu Cloud Billing

Fehler vom Typ „Ressource erschöpft“ (429)

Wenn Sie einen 429-Fehler erhalten, bedeutet das nicht, dass Sie ein festes Kontingent erreicht haben. Es weist auf eine vorübergehend hohe Auslastung einer bestimmten gemeinsam genutzten Ressource hin. Implementieren Sie eine Strategie für exponentiellen Backoff, um diese Fehler zu beheben, da sich die Verfügbarkeit in dieser dynamischen Umgebung schnell ändern kann.

Zusätzlich zu einer Wiederholungsstrategie sollten Sie Ihre Endpunktauswahl prüfen:

  • global -Endpunkt (empfohlen): Der global-Endpunkt leitet Anfragen dynamisch über die weltweite Flotte von Rechenzentren von Google weiter, bündelt die globale Durchsatzkapazität und gleicht lokale Spitzen aus. Dies bietet die höchste Verfügbarkeit und verringert die Wahrscheinlichkeit von 429-Fehlern erheblich.
  • Multiregionale Endpunkte (z. B. us und eu): Multiregionale Endpunkte bündeln die Kapazität über mehrere Rechenzentren innerhalb einer bestimmten geografischen Einheit. Sie bieten zwar mehr Kapazität als eine einzelne Region, greifen aber nicht auf die weltweite Kapazität zu. Wenn Ihre Anwendung einen multiregionalen Endpunkt verwendet und in Spitzenzeiten 429 Fehler auftreten, prüfen Sie, ob Ihre Richtlinien zur Datenverwaltung das Weiterleiten nicht vertraulicher oder allgemeiner Arbeitslasten an den global Endpunkt zulassen. Alternativ können Sie Priority-PayGo oder den bereitgestellten Durchsatz in Betracht ziehen.
  • Endpunkte für einzelne Regionen (z. B. us-central1): Endpunkte für einzelne Regionen sind auf einen bestimmten Clusterstandort beschränkt und haben die höchste Wahrscheinlichkeit, dass bei hoher Auslastung 429 Fehler auftreten. Vermeiden Sie es, Standard-PayGo-Arbeitslasten mit hohem Durchsatz an Endpunkte für einzelne Regionen zu binden, es sei denn, dies ist für die Colocation mit latenzempfindlichen Rechenressourcen erforderlich.

Die besten Ergebnisse erzielen Sie, wenn Sie den global-Endpunkt mit der Traffic-Glättung kombinieren. Vermeiden Sie es, Anfragen in scharfen, sekundenschnellen Spitzen zu senden, da hoher sofortiger Traffic zu einer Drosselung führen kann, auch wenn Ihre durchschnittliche Nutzung pro Minute innerhalb des priorisierten Durchsatzschwellenwerts Ihrer Stufe liegt. Wenn Sie Ihre API-Aufrufe gleichmäßiger verteilen, kann das System Ihre Last vorhersehbar verwalten und die Gesamtleistung verbessern. Weitere Informationen zur Behandlung von Fehlern vom Typ „Ressource erschöpft“ finden Sie unter Resiliente LLM-Anwendungen entwickeln und 429-Fehler reduzieren und Fehlercode 429.

Unterstützte Modelle

Die folgenden allgemein verfügbaren (GA) Gemini-Modelle und alle entsprechenden überwacht feinabgestimmten Modelle unterstützen Standard-PayGo mit Nutzungsstufen:

Klicken Sie hier, um die unterstützten Modelle zu maximieren.

Die folgenden GA Gemini-Modelle unterstützen ebenfalls Standard-PayGo, aber die Nutzungsstufen gelten nicht für diese Modelle:

Diese Stufen gelten nicht für Vorschaumodelle. Die genauesten und aktuellsten Informationen finden Sie in der offiziellen Dokumentation des jeweiligen Modells.

Durchsatz und Leistung überwachen

Wenn Sie den Tokenverbrauch Ihrer Organisation in Echtzeit überwachen möchten, rufen Sie in Cloud Monitoring den Metrics Explorer auf.

Zum Metrics Explorer

Weitere Informationen zum Überwachen des Traffics von Modellendpunkten finden Sie unter Modelle überwachen.

Nutzungsstufen gelten auf Organisationsebene. Informationen zum Festlegen des Bereichs für die Beobachtbarkeit, um den Durchsatz für mehrere Projekte in Ihrer Organisation zu erfassen, finden Sie unter Bereiche für die Beobachtbarkeit für Abfragen für mehrere Projekte konfigurieren.

Nächste Schritte

Ressource

Kontingente und Limits im Zusammenhang mit der Agent Platform, mit Ausnahme produktspezifischer Einschränkungen.

Übersicht

Informationen dazu, wie Google Cloud die Nutzung einer Ressource durch Ihr Google Cloud Projekt eingeschränkt wird und wie Kontingente für eine Reihe von Ressourcentypen gelten, einschließlich Hardware, Software und Netzwerkkomponenten.