Kontext-Caching – Übersicht

Mit Kontext-Caching können Sie die Kosten und Latenz von Anfragen an Gemini reduzieren, die wiederholte Inhalte enthalten. Die Gemini Enterprise Agent Platform bietet zwei Arten von Caching:

  • Implizites Caching:Standardmäßig aktiviertes automatisches Caching, mit dem Sie bei Cache-Treffern Kosten sparen. Implizites Caching umfasst In-Memory-Caching und dauerhaftes Caching.
  • Explizites Caching:Manuelles Caching, das mit der Gemini Enterprise API aktiviert wird. Dabei deklarieren Sie explizit die Inhalte, die Sie im Cache speichern möchten, und ob Ihre Prompts auf die im Cache gespeicherten Inhalte verweisen sollen.

Sowohl beim impliziten als auch beim expliziten Caching gibt das cachedContentTokenCount Feld in den Metadaten Ihrer Antwort die Anzahl der Tokens im im Cache gespeicherten Teil Ihrer Eingabe an.

Speicherkosten für Caching

Sowohl beim impliziten als auch beim expliziten Caching werden Ihnen die Eingabe-Tokens, die zum Erstellen des Caches verwendet wurden, zum Standardpreis für Eingabe-Tokens in Rechnung gestellt. Beim expliziten Caching fallen außerdem Speicherkosten an, die davon abhängen, wie lange Caches gespeichert werden. Beim impliziten Caching fallen keine Speicherkosten an. Weitere Informationen finden Sie unter Preise für die Agent Platform.

Implizites Caching

In allen Google Cloud Projekten ist das implizite Caching standardmäßig aktiviert. Beim impliziten Caching erhalten Sie im Vergleich zu Standard-Eingabe-Tokens einen Rabatt von 90% auf im Cache gespeicherte Tokens. Wenn das implizite Caching aktiviert ist, werden die Kosteneinsparungen durch Cache-Treffer automatisch an Sie weitergegeben.

Beim impliziten Caching werden Präfixe in zwei Speicherebenen gespeichert:

  • In-Memory-Caching:Im Cache gespeicherte Präfixe werden im Arbeitsspeicher aufbewahrt. Die Speicherkapazität ist begrenzt. Daher werden Präfixe entfernt, wenn Kapazität freigegeben wird.
  • Dauerhaftes Caching:Wenn ein Präfix aus dem In-Memory-Speicher entfernt wird, wird es nicht verworfen, sondern in den dauerhaften Speicher verschoben. Bei einer späteren Anfrage, in der das Präfix wiederverwendet wird, kann es trotzdem zu einem Cache-Treffer kommen. Dadurch erhöht sich die Cache-Trefferrate für Arbeitslasten, bei denen derselbe Kontext über längere Zeiträume hinweg wiederverwendet wird.

Beide Ebenen sind standardmäßig aktiviert. Ein im Cache gespeichertes Präfix läuft spätestens 24 Stunden nach der Erstellung ab. Die meisten Einträge werden früher entfernt. Sie können das dauerhafte Caching deaktivieren und das In-Memory-Caching beibehalten oder das implizite Caching vollständig deaktivieren. Wenn Sie Bedenken hinsichtlich der Datenaufbewahrung haben, lesen Sie den Abschnitt Keine Datenaufbewahrung, dort wird beschrieben, wie mit im Cache gespeicherten Daten umgegangen wird und wie Sie die einzelnen Ebenen deaktivieren.

So erhöhen Sie die Wahrscheinlichkeit eines impliziten Cache-Treffers:

  • Platzieren Sie große und häufig verwendete Inhalte am Anfang Ihres Prompts.
  • Senden Sie Anfragen mit einem ähnlichen Präfix innerhalb kurzer Zeit.

Unterstützte Modelle

Implizites Caching ist für unterstützte Gemini-Modelle verfügbar. Dauerhaftes Caching ist für eine Teilmenge dieser Modelle verfügbar.

In-Memory-Caching

In-Memory-Caching wird bei Verwendung der folgenden Modelle unterstützt:

Klicken Sie, um die unterstützten Modelle zu maximieren.

Dauerhaftes Caching

Dauerhaftes Caching wird bei Verwendung der folgenden Modelle unterstützt:

  • Gemini 4 Argon
  • Gemini 4 Argon Cyber Permissive

Implizites Caching unterstützt auch offene Modelle. Weitere Informationen finden Sie unter Offene Modelle der Agent Platform für MaaS.

Explizites Caching

Explizites Caching bietet mehr Kontrolle und einen Rabatt auf Eingabe-Tokens, die auf einen vorhandenen Kontext-Cache verweisen. Bei Gemini 2.5-Modellen oder höher beträgt dieser Rabatt 90 %, bei Gemini 2.0-Modellen 75%.

Mit der Gemini Enterprise API können Sie die folgenden Aufgaben ausführen:

Sie können die Gemini Enterprise API auch verwenden, um Informationen zu einem Kontext-Cache abzurufen.

Explizite Caches interagieren mit dem impliziten Caching. Dies kann dazu führen, dass beim Erstellen eines Caches zusätzlich zu den angegebenen Inhalten weitere Inhalte im Cache gespeichert werden. Wenn Sie die Datenaufbewahrung im Cache verhindern möchten, deaktivieren Sie das implizite Caching und erstellen Sie keine expliziten Caches. Weitere Informationen finden Sie unter Caching aktivieren und deaktivieren.

Unterstützte Modelle

Explizites Caching wird bei Verwendung der folgenden Modelle unterstützt:

Klicken Sie, um die unterstützten Modelle zu maximieren.

Wann Kontext-Caching verwendet werden sollte

Kontext-Caching eignet sich besonders für Szenarien, bei denen in nachfolgenden Anfragen wiederholt auf eine hohe anfängliche Kontextmenge verwiesen wird.

Im Cache gespeicherte Kontextelemente, z. B. große Textmengen, Audio- oder Videodateien, können in Prompt-Anfragen an die Gemini API genutzt werden, um Ausgaben zu generieren. Anfragen, die im Prompt denselben Cache verwenden, weisen auch den für Prompts einmaligen Text auf. Zum Beispiel können Prompts zum Erstellen von Chatunterhaltungen denselben Kontext-Cache enthalten, der z. B. auf ein Video verweist, das einmaligen Text enthält, der die einzelnen Chat-Runden umfasst.

Ziehen Sie die Verwendung von Kontext-Caching für die folgenden Anwendungsfälle in Betracht:

  • Chatbots mit ausführlichen Systemanweisungen
  • Wiederholte Analyse langer Videodateien
  • Wiederkehrende Abfragen großer Dokumentgruppen
  • Häufige Analyse von Code-Repositories oder Fehlerkorrektur

Implizites und explizites Caching werden mit bereitgestelltem Durchsatz in der Vorabversion unterstützt. Weitere Informationen finden Sie im Leitfaden zum bereitgestellten Durchsatz. Caches funktionieren für alle Arten von Traffic. Ein Cache, der bei Verwendung des bereitgestellten Durchsatzes erstellt wurde, funktioniert beispielsweise auch mit der nutzungsabhängigen Bezahlung.

Verfügbarkeit

Kontext-Caching ist in Regionen verfügbar, in denen generative KI auf der Agent Platform verfügbar ist. Weitere Informationen finden Sie unter Standorte für generative KI auf der Agent Platform.

Limits

Beim Kontext-Caching gelten die Limits in der folgenden Tabelle:

Limits für Kontext-Caching

Mindestanzahl von Cache-Tokens für implizites und explizites Caching
  • Gemini 3-Modelle:4.096 Tokens
  • Gemini 3.0 Flash (Vorabversion), 3.1 Pro (Vorabversion), 3.7 Flash, 3.8 Flash und 4 Argon-Modelle (nur implizites Caching) : 6.144 Tokens
  • Modelle der Gemini 2-Familie:2.048 Tokens

Maximale Größe von Inhalten, die Sie mit einem Blob oder Text im Cache speichern können

 10 MB

Mindestzeit, bevor ein Cache nach dessen Erstellung abläuft

 1 Minute

Maximale Zeit, bevor ein Cache nach dessen Erstellung abläuft

 Es gibt keine maximale Cache-Dauer.

Maximale Lebensdauer eines implizit im Cache gespeicherten Präfixes

 Bis zu 24 Stunden

Isolation und Sicherheit von Cache-Daten für agentenbasierte Arbeitslasten

Google Cloud In wird Ihre Projektnummer verwendet, um im Cache gespeicherte Daten zu isolieren. Im Cache gespeicherte Inhalte werden niemals projektübergreifend freigegeben.

Um Datenlecks zwischen Nutzern bei agentenbasierten Arbeitslasten zu verhindern, beschränken Sie im Cache gespeicherte Prompt-Daten und Ausgaben auf die jeweilige Nutzersitzung. Wenn Sie Hintergrund-KI-Agenten oder Multi-Tenant-Proxys ausführen, richten Sie die Cache-Grenzen an den Endnutzerberechtigungen aus, damit ein KI-Agent im Cache gespeicherte Anmeldedaten oder Daten nicht nutzerübergreifend wiederverwenden kann.

Unterstützung durch VPC Service Controls

Kontext-Caching unterstützt VPC Service Controls. Das bedeutet, dass Ihr Cache nicht über Ihren Dienstperimeter hinaus exfiltriert werden kann. Wenn Sie Cloud Storage verwenden, um Ihren Cache zu erstellen, fügen Sie auch Ihren Bucket in Ihren Dienstperimeter ein, um die Cache-Inhalte zu schützen.

Weitere Informationen finden Sie in der Dokumentation zur Agent Platform unter VPC Service Controls mit der Agent Platform.

Nächste Schritte