Kontext-Caching – Übersicht

Das Kontext-Caching trägt dazu bei, die Kosten und Latenz von Anfragen an Gemini zu reduzieren, die wiederholte Inhalte enthalten. Die Gemini Enterprise Agent Platform bietet zwei Arten von Caching:

  • Implizites Caching:Das automatische Caching ist standardmäßig aktiviert und bietet Kosteneinsparungen bei Cache-Treffern.
  • Explizites Caching:Manuelles Caching, das über die Gemini Enterprise API aktiviert wird. Dabei deklarieren Sie explizit die Inhalte, die Sie im Cache speichern möchten, und geben an, ob sich Ihre Prompts auf die Inhalte im Cache beziehen sollen.

Sowohl beim impliziten als auch beim expliziten Caching gibt das Feld cachedContentTokenCount in den Metadaten Ihrer Antwort die Anzahl der Tokens im zwischengespeicherten Teil Ihrer Eingabe an.

Speicherkosten für Caching

Sowohl beim impliziten als auch beim expliziten Caching werden Ihnen die Eingabetokens, die zum Erstellen des Cache verwendet wurden, zum Standardpreis für Eingabetokens in Rechnung gestellt. Beim expliziten Caching fallen auch Speicherkosten an, die davon abhängen, wie lange Caches gespeichert werden. Für das implizite Caching fallen keine Speicherkosten an. Weitere Informationen finden Sie unter Preise für die Agent Platform.

Implizites Caching

Für alle Google Cloud Projekte ist das implizite Caching standardmäßig aktiviert. Durch das implizite Caching erhalten Sie einen Rabatt von 90% auf gecachte Tokens im Vergleich zu Standard-Eingabetokens.

Wenn diese Option aktiviert ist, werden die Kosteneinsparungen durch implizite Cache-Treffer automatisch an Sie weitergegeben. So erhöhen Sie die Wahrscheinlichkeit eines impliziten Cache-Treffers:

  • Platzieren Sie große und allgemeine Inhalte am Anfang Ihres Prompts.
  • Anfragen mit einem ähnlichen Präfix innerhalb kurzer Zeit senden.

Unterstützte Modelle

Implizites Caching wird bei Verwendung der folgenden Modelle unterstützt:

Klicken Sie, um unterstützte Modelle zu maximieren.

Implizites Caching wird auch für offene Modelle unterstützt. Weitere Informationen finden Sie unter Offene Modelle der Agent Platform für MaaS.

Explizites Caching

Explizites Caching bietet mehr Kontrolle und sorgt für einen Rabatt auf Eingabetokens, die auf einen vorhandenen Kontext-Cache verweisen. Bei Gemini 2.5-Modellen oder höher beträgt dieser Rabatt 90 %, bei Gemini 2.0-Modellen 75%.

Mit der Gemini Enterprise API können Sie:

Sie können die Gemini Enterprise API auch verwenden, um Informationen zu einem Kontextcache abzurufen.

Explizite Caches interagieren mit dem impliziten Caching, was beim Erstellen eines Caches möglicherweise zu zusätzlichem Caching über die angegebenen Inhalte hinaus führt. Wenn Sie die Aufbewahrung von Cache-Daten verhindern möchten, deaktivieren Sie das implizite Caching und vermeiden Sie das Erstellen expliziter Caches. Weitere Informationen finden Sie unter Caching aktivieren und deaktivieren.

Unterstützte Modelle

Explizites Caching wird bei den folgenden Modellen unterstützt:

Klicken Sie, um unterstützte Modelle zu maximieren.

Wann Kontext-Caching verwendet werden sollte

Kontext-Caching eignet sich besonders für Szenarien, bei denen in nachfolgenden Anfragen wiederholt auf eine hohe anfängliche Kontextmenge verwiesen wird.

Im Cache gespeicherte Kontextelemente, z. B. große Textmengen, Audio- oder Videodateien, können in Prompt-Anfragen an die Gemini API genutzt werden, um Ausgaben zu generieren. Anfragen, die im Prompt denselben Cache verwenden, weisen auch den für Prompts einmaligen Text auf. Zum Beispiel kann jede Promptanfrage, die eine Chatunterhaltung bildet, denselben Kontext-Cache enthalten, der auf ein Video verweist, zusammen mit einzigartigem Text, der jede Runde im Chat bildet.

Ziehen Sie die Verwendung von Kontext-Caching für Anwendungsfälle wie diese in Betracht:

  • Chatbots mit ausführlichen Systemanweisungen
  • Wiederholte Analyse langer Videodateien
  • Wiederkehrende Abfragen großer Dokumentgruppen
  • Häufige Analyse des Code-Repositorys oder Fehlerbehebung

Implizites und explizites Caching werden mit bereitgestelltem Durchsatz in der Vorabversion unterstützt. Weitere Informationen finden Sie im Leitfaden zum bereitgestellten Durchsatz. Caches funktionieren für alle Traffic-Typen. Ein Cache, der mit bereitgestelltem Durchsatz erstellt wurde, funktioniert beispielsweise auch mit Pay-as-you-go.

Verfügbarkeit

Kontext-Caching ist in Regionen verfügbar, in denen generative KI auf der Gemini Enterprise Agent Platform verfügbar ist. Weitere Informationen finden Sie unter Standorte für generative KI auf der Gemini Enterprise Agent Platform.

Limits

Die Inhalte, die Sie explizit im Cache speichern, müssen den in der folgenden Tabelle aufgeführten Beschränkungen entsprechen:

Limits für Kontext-Caching

Mindestanzahl von Cache-Tokens für implizites und explizites Caching
  • Modelle der Gemini 3-Familie:4.096 Tokens
  • Gemini 3.0 Flash (Vorabversion), 3.1 Pro (Vorabversion), 3.7 Flash und 3.8 Flash (nur implizites Caching): 6.144 Tokens
  • Modelle der Gemini 2-Familie:2.048 Tokens

Maximale Größe von Inhalten, die Sie mit einem Blob oder Text zwischenspeichern können

 10 MB

Mindestzeit, bevor ein Cache nach dessen Erstellung abläuft

 1 Minute

Maximale Zeit, bevor ein Cache nach dessen Erstellung abläuft

 Es gibt keine maximale Cache-Dauer.

Unterstützung durch VPC Service Controls

Das Zwischenspeichern von Kontexten unterstützt VPC Service Controls. Das bedeutet, dass Ihr Cache nicht über Ihren Dienstperimeter hinaus exfiltriert werden kann. Wenn Sie Cloud Storage zum Erstellen Ihres Cache verwenden, fügen Sie Ihren Bucket auch in Ihren Dienstperimeter ein, um die Cacheinhalte zu schützen.

Weitere Informationen finden Sie in der Dokumentation zur Gemini Enterprise Agent Platform unter VPC Service Controls mit der Gemini Enterprise Agent Platform.

Nächste Schritte