Standard-PayGo

Das Standard-Pay-as-you-go-Modell (Standard PayGo) ist eine Verbrauchsoption für die Nutzung der Suite generativer KI-Modelle der Gemini Enterprise Agent Platform, einschließlich der Gemini-Modellfamilie.

Mit Standard-PayGo zahlen Sie nur für die Ressourcen, die Sie verbrauchen, ohne dass finanzielle Vorabzusicherungen erforderlich sind. Um die Skalierung von Arbeitslasten mit gemeinsam genutzter Kapazität zu unterstützen, wird bei Standard PayGo ein Nutzungsstufensystem verwendet. Die Agent Platform passt den priorisierten Durchsatzschwellenwert Ihrer Organisation dynamisch an die Gesamtausgaben für berechtigte Agent Platform-Dienste in einem fortlaufenden Zeitraum von 30 Tagen an. Wenn die Ausgaben Ihrer Organisation steigen, wird sie automatisch in höhere Stufen mit höher priorisierten Durchsatzschwellenwerten im gemeinsamen Kapazitätspool eingestuft. Standard-Pay-as-you-go-Tarife werden auf gemeinsam genutzten Ressourcen ausgeführt und reservieren keine dedizierte Kapazität oder bieten keinen garantierten Durchsatz in Zeiten hoher Auslastung. Für Arbeitslasten, die eine konsistentere Leistung als Standard-PayGo erfordern, sollten Sie priorisiertes PayGo in Betracht ziehen. Informationen zu dedizierter und garantierter Kapazität finden Sie unter Bereitgestellter Durchsatz.

Nutzungsstufen und Durchsatz

Jede PayGo-Standardnutzungsstufe definiert einen priorisierten Durchsatzschwellenwert auf Organisationsebene, der in Tokens pro Minute (TPM) gemessen wird. Anfragen bis zum TPM-Schwellenwert Ihres Tiers erhalten vorrangigen Zugriff auf die gemeinsame Kapazität vor überschüssigem Burst-Traffic. Durchsatz und Verfügbarkeit hängen jedoch weiterhin von der Echtzeitnachfrage im gesamten gemeinsamen Pool ab und sind nicht garantiert. Die Durchsatzschwellenwerte gelten für Anfragen, die an den global-Endpunkt gesendet werden. Die Verwendung des global-Endpunkts ist eine Best Practice, da er Zugriff auf einen weltweiten Pool von Durchsatzkapazität bietet und Ihre Anfragen dynamisch an den Standort mit der höchsten Verfügbarkeit weiterleitet.

Multiregionale Endpunkte (z. B. us und eu auf aiplatform.us.rep.googleapis.com und aiplatform.eu.rep.googleapis.com) beschränken die Verarbeitung von maschinellem Lernen auf bestimmte Gerichtsbarkeiten. Multiregionale Endpunkte bündeln zwar die Kapazität über mehrere Rechenzentren innerhalb der jeweiligen geografischen Einheit hinweg, sie werden jedoch über separate regionale Kapazitätspools betrieben und nutzen nicht die weltweite Durchsatzkapazität des global-Endpunkts. Endpunkte für einzelne Regionen (z. B. us-central1 oder us-east5) sind auf einen einzelnen Rechenzentrum-Cluster beschränkt und haben den geringsten Kapazitätsspielraum. Wenn für Ihre Arbeitslasten keine strengen Anforderungen an den Datenstandort gelten, verwenden Sie den global-Endpunkt, um den vollständigen priorisierten Durchsatzschwellenwert Ihres Tarifs zu nutzen und den Headroom zu maximieren. Weitere Informationen zum Konfigurieren von multiregionalen Endpunkten finden Sie unter Multiregionale Endpunkte.

Ihr Traffic ist nicht streng auf den TPM-Grenzwert Ihres Tiers begrenzt. Wenn zusätzliche freigegebene Kapazität verfügbar ist, verarbeitet die Agent Platform Traffic, der diesen Grenzwert überschreitet, opportunistisch. Bei hoher Nachfrage auf der gesamten Agent-Plattform wird überschüssiger Burst-Traffic vor Traffic innerhalb der Stufenschwellen gedrosselt. Bei allen Shared-Pool-Traffic kann es zu einer höheren Latenz oder zu 429-Fehlern kommen. Um die Drosselung zu minimieren, sollten Sie Ihren Traffic so gleichmäßig wie möglich über jede Minute verteilen und vermeiden, Anfragen in scharfen, sekundenschnellen Spitzen zu senden. Hoher sofortiger Traffic kann zu einer Drosselung führen, auch wenn die durchschnittliche Nutzung pro Minute innerhalb des TPM-Schwellenwerts Ihres Tarifs liegt.

Die folgenden Stufen sind in Standard PayGo verfügbar:

Modellfamilie Stufe Kundenausgaben (30 Tage) Traffic-TPM (Organisationsebene)
Gemini Pro-Modelle Preisstufe 1 10 $ bis 250 $ 500.000
Preisstufe 2 250–2.000 $ 1.000.000
Stufe 3 2.000–50.000 $ 2.000.000
Stufe 4 > 50.000 $ 10.000.000
Benutzerdefinierte Stufe Weitere Informationen erhalten Sie von Ihrem Vertriebsteam.
Gemini Flash- und Flash-Lite-Modelle Preisstufe 1 10 $ bis 250 $ 2.000.000
Preisstufe 2 250–2.000 $ 4.000.000
Stufe 3 2.000–50.000 $ 10.000.000
Stufe 4 > 50.000 $ 50.000.000
Benutzerdefinierte Stufe Weitere Informationen erhalten Sie von Ihrem Vertriebsteam.

Der für eine Modellfamilie angegebene Durchsatzschwellenwert gilt unabhängig für jedes Modell in dieser Familie. Eine Organisation in Stufe 3 hat beispielsweise einen priorisierten Durchsatzschwellenwert von 10.000.000 TPM für Gemini 3.5 Flash. Die Nutzung eines Modells, die den Schwellenwert überschreitet, hat keine Auswirkungen auf den Durchsatz anderer Modelle. Es gibt kein separates Limit für Anfragen pro Minute für die einzelnen Stufen. Für Gemini-Anfragen mit multimodalen Eingaben gelten die entsprechenden Systemratenlimits.

So funktionieren Nutzungsebenen

Ihre Nutzungsstufe wird automatisch anhand der Gesamtausgaben Ihrer Organisation für berechtigte Agent Platform-Dienste in einem fortlaufenden Zeitraum von 30 Tagen bestimmt. Wenn die Ausgaben Ihrer Organisation steigen, werden Sie in eine höhere Stufe mit höher priorisierten Durchsatzgrenzwerten eingestuft.

Berechnung der Ausgaben

Diese Berechnung umfasst eine Vielzahl von Diensten, von Vorhersagen für alle Gemini-Modellfamilien bis hin zu CPU-, GPU- und TPU-Instanzen der Agent Platform sowie SKUs auf Commitment-Basis wie Bereitgestellter Durchsatz.

Klicken Sie hier, um mehr über die in die Ausgabenberechnung einbezogenen Artikelnummern zu erfahren.

In der folgenden Tabelle sind die Kategorien von Google Cloud SKUs aufgeführt, die in die Berechnung der Gesamtausgaben einbezogen werden.

Kategorie Beschreibung der enthaltenen SKUs
Gemini-Modelle Alle Gemini-Modellfamilien (z. B. 2.0, 2.5 und 3.0 in den Versionen Pro, Flash und Lite) für Vorhersagen in allen Modalitäten (Text, Bild, Audio, Video), einschließlich Batch-, Langkontext-, optimierter und „Thinking“-Varianten
Funktionen von Gemini-Modellen Alle zugehörigen Gemini-SKUs für Funktionen wie Caching, Caching-Speicher und Priority Tiers für alle Modalitäten und Modellversionen
Agent Platform CPU Online- und Batch-Vorhersagen für alle CPU-basierten Instanzfamilien (z. B. C2, C3, E2, N1, N2 und ihre Varianten)
Agent Platform GPU Online- und Batchvorhersagen auf allen NVIDIA-GPU-beschleunigten Instanzen (z. B. A100, H100, H200, B200, L4, T4, V100 und RTX-Serie)
Agent Platform TPU Online- und Batch-Vorhersagen für alle TPU-basierten Instanzen (z. B. TPU-v5e und v6e)
Verwaltung und Gebühren Alle SKUs für die Verwaltungsgebühr, die verschiedenen Agent Platform-Vorhersageinstanzen zugeordnet sind
Bereitgestellter Durchsatz Alle zusicherungsbasierten SKUs für bereitgestellten Durchsatz
Weitere Dienste Spezialisierte Dienste wie „LLM Grounding for Gemini… mit Google-Suchtool“

Nutzungsstufe prüfen

Wenn Sie die Nutzungsebene für Ihre Organisation prüfen möchten, rufen Sie das Agent Platform-Dashboard in der Google Cloud -Konsole auf. Damit Sie die Nutzungsstufe im Dashboard aufrufen können, benötigen Sie die Rolle Agent Platform Viewer (roles/aiplatform.viewer) für das Projekt und die Rolle Billing Account Viewer (roles/billing.viewer) für das Rechnungskonto.

Zum Agent Platform-Dashboard

Ausgaben überprüfen

Wenn Sie Ihre Ausgaben für die Agent Platform ansehen möchten, rufen Sie in derGoogle Cloud Console die Cloud Billing auf. Die Ausgaben werden auf Organisationsebene zusammengefasst.

Zu Cloud Billing

Fehler vom Typ „Ressource erschöpft“ (429)

Wenn Sie den Fehler 429 erhalten, bedeutet das nicht, dass Sie ein festes Kontingent erreicht haben. Er weist auf eine vorübergehende hohe Auslastung einer bestimmten gemeinsam genutzten Ressource hin. Implementieren Sie eine Wiederholungsstrategie mit exponentiellem Backoff, um diese Fehler zu beheben, da sich die Verfügbarkeit in dieser dynamischen Umgebung schnell ändern kann.

Neben einer Wiederholungsstrategie sollten Sie auch Ihre Endpunktauswahl prüfen:

  • global-Endpunkt (empfohlen): Der global-Endpunkt leitet Anfragen dynamisch über die weltweit verteilten Rechenzentren von Google weiter. So wird die globale Durchsatzkapazität gebündelt und lokale Spitzen werden ausgeglichen. Dies bietet die höchste Verfügbarkeit und verringert die Wahrscheinlichkeit von 429-Fehlern erheblich.
  • Multiregionale Endpunkte (z. B. us und eu): Bei multiregionalen Endpunkten wird die Kapazität über mehrere Rechenzentren innerhalb einer bestimmten geografischen Grenze hinweg gebündelt. Sie bieten zwar eine höhere Kapazität als eine einzelne Region, greifen aber nicht auf die weltweite Kapazität zu. Wenn Ihre Anwendung einen multiregionalen Endpunkt verwendet und in Spitzenzeiten 429-Fehler auftreten, prüfen Sie, ob Ihre Richtlinien zur Data Governance das Weiterleiten nicht vertraulicher oder allgemeiner Arbeitslasten an den global-Endpunkt zulassen. Alternativ können Sie Priority PayGo oder Bereitgestellter Durchsatz in Betracht ziehen.
  • Endpunkte für einzelne Regionen (z. B. us-central1): Endpunkte für einzelne Regionen sind auf einen bestimmten Clusterstandort beschränkt und weisen die höchste Wahrscheinlichkeit für 429-Fehler bei Lastkonflikten auf. Vermeiden Sie es, Standard-Pay-as-you-go-Arbeitslasten mit hohem Durchsatz an Endpunkte in einer einzelnen Region anzuhängen, es sei denn, dies ist für die Colocation mit latenzsensitiven Rechenressourcen erforderlich.

Die besten Ergebnisse erzielen Sie, wenn Sie den global-Endpunkt mit der Funktion zur Glättung von Traffic kombinieren. Vermeiden Sie es, Anfragen in scharfen, sekundenschnellen Spitzen zu senden, da ein hoher sofortiger Traffic zu einer Drosselung führen kann, auch wenn Ihre durchschnittliche Nutzung pro Minute innerhalb des priorisierten Durchsatzschwellenwerts Ihres Tarifs liegt. Wenn Sie Ihre API-Aufrufe gleichmäßiger verteilen, kann das System Ihre Last vorhersagbar verwalten und die Gesamtleistung verbessern. Weitere Informationen zum Beheben von Fehlern aufgrund von Ressourcenerschöpfung finden Sie unter Resiliente LLM-Anwendungen entwickeln und 429-Fehler reduzieren und Fehlercode 429.

Unterstützte Modelle

Die folgenden allgemein verfügbaren (GA) Gemini-Modelle und alle entsprechenden überwachten feinabgestimmten Modelle unterstützen Standard PayGo mit Nutzungsebenen:

Klicken Sie, um unterstützte Modelle zu maximieren.

Die folgenden GA-Gemini-Modelle unterstützen auch Standard PayGo, aber die Nutzungsebenen gelten nicht für diese Modelle:

Diese Stufen gelten nicht für Vorschaumodelle. Die genauesten und aktuellsten Informationen finden Sie in der offiziellen Dokumentation der einzelnen Modelle.

Durchsatz und Leistung überwachen

Wenn Sie den Echtzeit-Tokenverbrauch Ihrer Organisation im Blick behalten möchten, rufen Sie den Metrics Explorer in Cloud Monitoring auf.

Zum Metrics Explorer

Weitere Informationen zum Überwachen des Traffics von Modellendpunkten finden Sie unter Modelle überwachen.

Nutzungsstufen gelten auf Organisationsebene. Informationen zum Festlegen des Beobachtbarkeitsbereichs zum Erstellen von Diagrammen für den Durchsatz in mehreren Projekten in Ihrer Organisation finden Sie unter Beobachtbarkeitsbereiche für Abfragen mit mehreren Projekten konfigurieren.

Nächste Schritte

Ressource

Kontingente und Limits für die Agent Platform, mit Ausnahme produktspezifischer Einschränkungen.

Übersicht

Hier erfahren Sie, wie Google Cloud einschränkt, wie viel von einer Ressource Ihr Google Cloud Projekt nutzen kann, und wie Kontingente für eine Reihe von Ressourcentypen gelten, einschließlich Hardware, Software und Netzwerkkomponenten.