Bereitgestellter Durchsatz für Gemini Omni-Modelle

In diesem Abschnitt wird erläutert, wie der bereitgestellte Durchsatz für Gemini Omni-Modelle funktioniert, einschließlich der Durchsetzung von Kontingenten und der Mindestschritte für den Kauf von Maßeinheiten für generative KI.

Bei Gemini Omni-Modellen variieren die Zeitfenster für die Kontingenterzwingung je nach Anzahl der GSUs, die Sie für das Modell erwerben, und können sich ändern. In den folgenden Abschnitten sind die Zeitfenster für die Kontingenterzwingung für verschiedene GSU-Größen aufgeführt.

Gemini Omni-Modelle: Zeitfenster für die Kontingentdurchsetzung

Im Folgenden finden Sie die Zeitfenster für die Kontingentdurchsetzung für verschiedene GSU-Größen für Gemini Omni-Modelle:

  • 1–9 GSUs: 2.000 Sekunden
  • 10–19 GSUs: 200 Sekunden
  • 20–39 GSUs: 100 Sekunden
  • 40–66 GSUs: 50 Sekunden
  • 67+ GSUs: 30 Sekunden

Die aufgeführten Werte sind unabhängig von der Anfragelatenz. Die Zeit, die für die Bearbeitung Ihrer Anfrage benötigt wird, ist nicht mit dem Zeitfenster für die Kontingentdurchsetzung identisch.

Die Zeitfenster für die Durchsetzung sind bei kleineren GSU-Mengen größer, damit kleinere Anfragen innerhalb des Zeitfensters erfolgreich verarbeitet werden können. Wenn die Anzahl der GSUs für ein Modell steigt, sind keine längeren Zeitfenster für die Verarbeitung einer Anfrage erforderlich. Wenn Sie Ausgaben auf Gemini Omni-Modellen häufiger mit bereitgestelltem Durchsatz verarbeiten müssen, erhöhen Sie die Anzahl der gekauften GSUs und prüfen Sie das entsprechende Erzwingungsfenster.

Angenommen, Sie haben 1 GSU von Omni 1.2 Flash für eine Arbeitslast gekauft, für die ein einzelnes 10-sekündiges 1080p-Video generiert werden muss. In diesem Fall können Sie dieses Video normalerweise innerhalb von 60 Sekunden generieren und der Traffic wird als bereitgestellter Durchsatz verarbeitet. Wenn Sie jedoch ein weiteres Video mit derselben Dauer generieren möchten, müssen Sie warten, bis das Zeitfenster für die Kontingentdurchsetzung endet (2.000 Sekunden für 1 GSU). Die Zeit dieses Erzwingungsfensters wird durch die Uhrzeit der Gemini Enterprise Agent Platform bestimmt und nicht durch den Zeitpunkt, zu dem die Anfrage gestellt wird. Die Zeitfenster für die Durchsetzung hängen von Backend-Algorithmen ab und können sich ändern.

Legen Sie bei einer Anfrage die API-Parameter für Dauer und Auflösung fest. Wenn Sie den bereitgestellten Durchsatz angeben, kann dies zu einer genaueren Ausgabe führen. Wenn diese Parameter nicht angegeben werden, wird bei der Schätzung der Anfragegröße für den bereitgestellten Durchsatz die Standarddauer und ‑auflösung angenommen. Dies kann zu einem vorzeitigen, vermeidbaren Überlauf auf das „Pay as you go“-Modell führen und die Nutzung des erworbenen bereitgestellten Durchsatzes verringern.

GSU-Anforderungen schätzen

Verwenden Sie das Schätzungstool auf der Seite „Bereitgestellter Durchsatz“, um die Anzahl der für Ihre Arbeitslast erforderlichen GSUs zu schätzen. Das Tool erfordert die Eingabe der Gesamtzahl der Eingabetokens und der geschätzten Ausgabetokens für ein bestimmtes Häufigkeitsfenster. Weitere Informationen zur Verwendung des Schätzungstools finden Sie unter Standardbestellung für bereitgestellten Durchsatz aufgeben.

Verwenden Sie die folgenden Methoden, um die Tokenanzahl zu schätzen:

  • Eingabetext-Tokens: Verwenden Sie den SDK-Tokenizer oder die countTokens API.
  • Eingabetokens anderer Modalitäten: Verwenden Sie Schätzungen, die auf den Annahmen auf der Preisseite basieren.
  • Vorhandene Arbeitslasten: Summieren Sie die Tokennutzung aus Antworten, die innerhalb eines bestimmten Zeitfensters generiert wurden.

Angenommen, Sie haben eine Arbeitslast, die alle 30 Sekunden fünf 10-sekündige 720p-Videos und fünf 10-sekündige 1080p-Videos generiert (insgesamt 10 Anfragen). Angenommen, jede Anfrage hat 20 Eingabetext-Tokens, ein Bild (1.120 Tokens) und 100 Thinking-Tokens für die Antwort. Die Eingaben für den GSU-Schätzer sind:

  • Häufigkeit: 30 Sek.
  • Eingabetexttokens insgesamt: 20 × 10 (Anfragen) = 200
  • Bildtokens insgesamt: 1.120 × 10 (Anfragen) = 11.200
  • Tokens für Ausgabebegründung insgesamt: 100 × 10 (Anfragen) = 1.000
  • Ausgabevideotokens insgesamt: 10 s (Dauer) × 5.792 (Tokens/s) × 5 Videos (720p) + 10 s (Dauer) × 8.688 (Tokens/s) × 5 Videos (1080p) = 724.000
  • Geschätzte GSUs: 283 (für gemini-omni-1.2-flash) oder 434 (für gemini-omni-1.1-flash-preview)

Szenarien mit hoher Auflösung und Dauer

Eine einzelne, große Anfrage kann nicht auf zwei Erzwingungsfenster aufgeteilt werden. Wenn eine Anfrage mehr benötigt, als Ihr Erzwingungsfenster enthält, wird sie jedes Mal als PayGo bereitgestellt, unabhängig davon, wie selten Sie sie senden und wie viel ungenutztes Kontingent für den bereitgestellten Durchsatz in nachfolgenden Fenstern vorhanden ist.

Gemini Omni

Bei gemini-omni-1.2-flash betrifft dies nur 4K-Videos mit einer Länge von mindestens 10 Sekunden. Bei 360p, 720p und 1080p passt jede unterstützte Dauer (bis zu 15 Sekunden) bei jeder Kaufgröße in ein Fenster, ebenso wie 4K-Videos mit einer Länge von 9 Sekunden oder weniger (vorausgesetzt, die typischen Eingabe- und Reasoning-Tokens sind kleiner als 118.000 Tokens).

Wenn Sie 4K-Videos mit einer Länge von mindestens 10 Sekunden generieren, vergleichen Sie das Ergebnis des Schätzungstools mit der folgenden Tabelle und bestellen Sie die größere Anzahl:

Längstes 4K-Video 1–9 GSUs 10–19 GSUs 20–39 GSUs 40–66 GSUs 67+ GSUs
10 Sekunden 2 11 22 43 71
11 Sekunden 2 12 24 47 78
12 Sekunden 2 13 26 51 85
13 Sekunden 2 14 28 55 92
14 Sekunden 2 15 30 59 98
15 Sekunden 2 16 32 63 105

Lesen Sie die Spalte, die Ihrer geschätzten Anzahl von GSU entspricht. Angenommen, Sie generieren alle 2.000 Sekunden sechs 15-sekündige 4K-Videos. Der Schätzer gibt 10 GSUs zurück, was für den durchschnittlichen Durchsatz ausreicht. Bei 10 GSUs beträgt das Erzwingungsfenster jedoch 200 Sekunden und keines Ihrer 15-sekündigen Videos passt in ein einzelnes Fenster. Wenn Sie die sechs Anfragen weiter auseinander legen, wird dieses Problem nicht behoben. Damit die Anfragen ohne PayGo-Spillover verarbeitet werden können, bestellen Sie 16 GSUs.

Diese Zahlen gehen von typischen Prompt- und Reasoning-Tokens aus, z. B. einem Text- oder Bild-Prompt oder einem Video von bis zu 10 Sekunden, das bearbeitet werden soll. Wenn Sie ein 15-sekündiges Eingabevideo mit mehr als 40 GSUs bearbeiten, fügen Sie 1 GSU in den Spalten „40–66 GSUs“ und „67+ GSUs“ hinzu.

Gemini Omni

Bei gemini-omni-1.1-flash-preview betrifft dies nur 4K-Videos mit einer Länge von mindestens 7 Sekunden. Bei 360p, 720p und 1080p passt jede unterstützte Dauer in ein Fenster, unabhängig von der Kaufgröße. Das gilt auch für 4K-Videos mit einer Länge von maximal 6 Sekunden (unter der Annahme, dass die typischen Eingabe- und Reasoning-Tokens weniger als 88.000 Tokens betragen).

Wenn Sie 4K-Videos mit einer Länge von mindestens 7 Sekunden generieren, vergleichen Sie das Ergebnis des Schätzungstools mit der folgenden Tabelle und bestellen Sie die größere Anzahl:

Längstes 4K-Video 1–9 GSUs 10–19 GSUs 20–39 GSUs 40–66 GSUs 67+ GSUs
7 Sekunden 2 12 23 46 76
8 Sekunden 2 13 26 52 87
9 Sekunden 2 15 29 58 97
10 Sekunden 2 17 33 65 107

Lesen Sie die Spalte, die Ihrer geschätzten Anzahl von GSU entspricht. Angenommen, Sie generieren alle 2.000 Sekunden sechs 10-sekündige 4K-Videos. Der Schätzer gibt 10 GSUs zurück, was für den durchschnittlichen Durchsatz ausreicht. Bei 10 GSUs beträgt das Erzwingungsfenster jedoch 200 Sekunden und keines Ihrer 10-Sekunden-Videos passt in ein einzelnes Fenster. Wenn Sie die sechs Anfragen weiter auseinander legen, wird dieses Problem nicht behoben. Wenn Sie die Anfragen ohne PayGo-Spillover verarbeiten möchten, bestellen Sie 17 GSUs.

Diese Zahlen gehen von typischen Prompt- und Reasoning-Tokens aus, z. B. einem Text- oder Bild-Prompt oder einem Video von bis zu 10 Sekunden, das bearbeitet werden soll.

Nächste Schritte