Kontext-Caching – Übersicht

Das Kontext-Caching trägt dazu bei, die Kosten und Latenz von Anfragen an Gemini zu reduzieren, die wiederholte Inhalte enthalten. Die Gemini Enterprise Agent Platform bietet zwei Arten von Caching:

  • Implizites Caching:Standardmäßig aktiviertes automatisches Caching, das bei Cache-Treffern Kosteneinsparungen ermöglicht.
  • Explizites Caching:Manuelles Caching, das über die Gemini Enterprise API aktiviert wird. Dabei deklarieren Sie explizit die Inhalte, die Sie im Cache speichern möchten, und geben an, ob sich Ihre Prompts auf die Inhalte im Cache beziehen sollen.

Sowohl beim impliziten als auch beim expliziten Caching gibt das Feld cachedContentTokenCount in den Metadaten Ihrer Antwort die Anzahl der Tokens im zwischengespeicherten Teil Ihrer Eingabe an.

Speicherkosten für das Caching

Sowohl beim impliziten als auch beim expliziten Caching werden Ihnen die Eingabetokens, die zum Erstellen des Cache verwendet werden, zum Standardpreis für Eingabetokens in Rechnung gestellt. Beim expliziten Caching fallen auch Speicherkosten an, die davon abhängen, wie lange Caches gespeichert werden. Für das implizite Caching fallen keine Speicherkosten an. Weitere Informationen finden Sie unter Preise für die Agent-Plattform.

Implizites Caching

Für alle Google Cloud Projekte ist das implizite Caching standardmäßig aktiviert. Durch implizites Caching erhalten Sie einen Rabatt von 90% auf gecachte Tokens im Vergleich zu Standard-Eingabetokens.

Wenn diese Option aktiviert ist, werden die Kosteneinsparungen durch implizite Cache-Treffer automatisch an Sie weitergegeben. So erhöhen Sie die Wahrscheinlichkeit eines impliziten Cache-Treffers:

  • Platzieren Sie große und allgemeine Inhalte am Anfang Ihres Prompts.
  • Anfragen mit einem ähnlichen Präfix werden innerhalb kurzer Zeit gesendet.

Unterstützte Modelle

Implizites Caching wird bei Verwendung der folgenden Modelle unterstützt:

Das implizite Caching unterstützt auch die neuesten Aliase, darunter:

  • gemini-flash-latest
  • gemini-flash-lite-latest

Implizites Caching wird auch für offene Modelle unterstützt. Weitere Informationen finden Sie unter Offene Modelle der Agent Platform für MaaS.

Explizites Caching

Explizites Caching bietet mehr Kontrolle und sorgt für einen Rabatt auf Eingabetokens, die auf einen vorhandenen Kontextcache verweisen. Bei Gemini 2.5-Modellen oder höher beträgt dieser Rabatt 90 %, bei Gemini 2.0-Modellen 75%.

Mit der Gemini Enterprise API haben Sie folgende Möglichkeiten:

Sie können die Gemini Enterprise API auch verwenden, um Informationen zu einem Kontext-Cache abzurufen.

Explizite Caches interagieren mit dem impliziten Caching, was beim Erstellen eines Caches möglicherweise zu zusätzlichem Caching über die angegebenen Inhalte hinaus führt. Um die Aufbewahrung von Cache-Daten zu verhindern, deaktivieren Sie das implizite Caching und vermeiden Sie das Erstellen expliziter Caches. Weitere Informationen finden Sie unter Caching aktivieren und deaktivieren.

Unterstützte Modelle

Explizites Caching wird bei den folgenden Modellen unterstützt:

Das explizite Caching unterstützt auch die neuesten Aliase, darunter:

  • gemini-flash-latest
  • gemini-flash-lite-latest

Wann Kontext-Caching verwendet werden sollte

Kontext-Caching eignet sich besonders für Szenarien, bei denen in nachfolgenden Anfragen wiederholt auf eine hohe anfängliche Kontextmenge verwiesen wird.

Im Cache gespeicherte Kontextelemente, z. B. große Textmengen, Audio- oder Videodateien, können in Prompt-Anfragen an die Gemini API genutzt werden, um Ausgaben zu generieren. Anfragen, die im Prompt denselben Cache verwenden, weisen auch den für Prompts einmaligen Text auf. Zum Beispiel kann jede Promptanfrage, die eine Chatunterhaltung bildet, denselben Kontext-Cache enthalten, der auf ein Video verweist, zusammen mit einzigartigem Text, der jede Runde im Chat bildet.

Ziehen Sie die Verwendung von Kontext-Caching für Anwendungsfälle wie diese in Betracht:

  • Chatbots mit ausführlichen Systemanweisungen
  • Wiederholte Analyse langer Videodateien
  • Wiederkehrende Abfragen großer Dokumentgruppen
  • Häufige Analyse des Code-Repositorys oder Fehlerbehebung

Implizites und explizites Caching werden mit bereitgestelltem Durchsatz in der Vorabversion unterstützt. Weitere Informationen finden Sie im Leitfaden zum bereitgestellten Durchsatz. Caches funktionieren für alle Arten von Traffic. Ein Cache, der mit „Bereitgestellter Durchsatz“ erstellt wurde, kann beispielsweise auch mit „Pay-as-you-go“ verwendet werden.

Verfügbarkeit

Kontext-Caching ist in Regionen verfügbar, in denen generative KI in der Gemini Enterprise Agent Platform verfügbar ist. Weitere Informationen finden Sie unter Standorte für generative KI auf der Gemini Enterprise Agent Platform.

Limits

Die Inhalte, die Sie explizit im Cache speichern, müssen den in der folgenden Tabelle aufgeführten Beschränkungen entsprechen:

Limits für Kontext-Caching

Mindestanzahl von Cache-Tokens für implizites und explizites Caching
  • Gemini 3- und Gemini 3.1-Modelle:4.096 Tokens
  • Gemini 2.0- und 2.5-Modelle:2.048 Tokens

Maximale Größe von Inhalten, die Sie mit einem Blob oder Text im Cache speichern können

 10 MB

Mindestzeit, bevor ein Cache nach dessen Erstellung abläuft

 1 Minute

Maximale Zeit, bevor ein Cache nach dessen Erstellung abläuft

 Es gibt keine maximale Cache-Dauer.

Unterstützung durch VPC Service Controls

Das Zwischenspeichern von Kontexten unterstützt VPC Service Controls. Das bedeutet, dass Ihr Cache nicht über Ihren Dienstperimeter hinaus exfiltriert werden kann. Wenn Sie Cloud Storage zum Erstellen Ihres Cache verwenden, fügen Sie Ihren Bucket auch in Ihren Dienstperimeter ein, um Ihre Cache-Inhalte zu schützen.

Weitere Informationen finden Sie in der Dokumentation zur Gemini Enterprise Agent Platform unter VPC Service Controls mit der Gemini Enterprise Agent Platform.

Nächste Schritte