Kontext-Caching – Übersicht

Mit dem Kontext-Caching können Sie die Kosten und die Latenz von Anfragen an Gemini reduzieren, die wiederkehrende Inhalte enthalten. Die Gemini Enterprise Agent Platform bietet zwei Arten von Caching:

  • Implizites Caching: Automatisches Caching, das standardmäßig aktiviert ist und Kosteneinsparungen ermöglicht, wenn Cache-Treffer auftreten. Implizites Caching umfasst In-Memory-Caching und langlebiges Caching.
  • Explizites Caching: Manuelles Caching, das über die Gemini Enterprise API aktiviert wird. Dabei deklarieren Sie explizit, welche Inhalte im Cache gespeichert werden sollen und ob sich Ihre Prompts auf die im Cache gespeicherten Inhalte beziehen sollen oder nicht.

Sowohl beim impliziten als auch beim expliziten Caching gibt das Feld cachedContentTokenCount in den Metadaten der Antwort die Anzahl der Tokens im im Cache gespeicherten Teil der Eingabe an.

Caching-Speicherkosten

Sowohl für das implizite als auch für das explizite Caching werden Ihnen die Eingabetokens, die zum Erstellen des Cache verwendet wurden, zum Standardeingabepreis in Rechnung gestellt. Beim expliziten Caching fallen außerdem Speicherkosten an, die davon abhängen, wie lange Caches gespeichert werden. Für das implizite Caching fallen keine Speicherkosten an. Weitere Informationen finden Sie unter Agent Platform – Preise.

Implizites Caching

Für alle Google Cloud -Projekte ist das implizite Caching standardmäßig aktiviert. Das implizite Caching bietet einen Rabatt von 90 % auf im Cache gespeicherte Tokens im Vergleich zu Standard-Eingabetokens. Wenn diese Option aktiviert ist, werden die impliziten Kosteneinsparungen durch Cache-Treffer automatisch an Sie weitergegeben.

Beim impliziten Caching werden Präfixe in zwei Speicherebenen gespeichert:

  • In-Memory-Caching: Im Cache gespeicherte Präfixe werden im Arbeitsspeicher aufbewahrt. Die Speicherkapazität ist begrenzt, daher werden Präfixe entfernt, wenn Kapazität freigegeben wird.
  • Langlebiges Caching: Wenn ein Präfix aus dem In-Memory-Speicher entfernt wird, wird es in den langlebigen Speicher verschoben, anstatt verworfen zu werden. Eine spätere Anfrage, die das Präfix wiederverwendet, kann weiterhin einen Cache-Treffer erzielen. Dadurch werden die Cache-Trefferraten für Arbeitslasten erhöht, die denselben Kontext über längere Intervalle wiederverwenden.

Beide Stufen sind standardmäßig aktiviert. Ein im Cache gespeichertes Präfix läuft spätestens 24 Stunden nach seiner Erstellung ab. Die meisten Einträge werden früher entfernt. Sie können das langlebige Caching deaktivieren und das In-Memory-Caching beibehalten oder das implizite Caching vollständig deaktivieren. Wenn Sie Bedenken hinsichtlich der Datenaufbewahrung haben, lesen Sie den Abschnitt Keine Datenaufbewahrung. Dort wird beschrieben, wie im Cache gespeicherte Daten verarbeitet werden und wie Sie die einzelnen Stufen deaktivieren.

So erhöhen Sie die Wahrscheinlichkeit eines impliziten Cache-Treffers:

  • Platzieren Sie große und allgemeine Inhalte am Anfang des Prompts.
  • Senden Sie Anfragen mit einem ähnlichen Präfix in kurzer Zeit.

Unterstützte Modelle

Implizites Caching ist für unterstützte Gemini-Modelle verfügbar, langlebiges Caching für eine Teilmenge dieser Modelle.

In-Memory-Caching

In-Memory-Caching wird bei Verwendung der folgenden Modelle unterstützt:

Klicken, um unterstützte Modelle einzublenden

Dauerhaftes Caching

Durable Caching wird bei Verwendung der folgenden Modelle unterstützt:

Implizites Caching unterstützt auch offene Modelle. Weitere Informationen finden Sie unter Offene Modelle der Agent Platform für MaaS.

Explizites Caching

Explizites Caching bietet mehr Kontrolle und sorgt für einen Rabatt auf Eingabe-Tokens, die auf einen vorhandenen Kontext-Cache verweisen. Bei Gemini 2.5- oder höheren Modellen beträgt dieser Rabatt 90 %, bei Gemini 2.0-Modellen 75 %.

Mit der Gemini Enterprise API können Sie die folgenden Aufgaben ausführen:

Sie können die Gemini Enterprise API auch verwenden, um Informationen zu einem Kontext-Cache abzurufen.

Explizite Caches interagieren mit implizitem Caching, was beim Erstellen eines Cache zu zusätzlichem Caching über die angegebenen Inhalte hinaus führen kann. Wenn Sie die Datenaufbewahrung im Cache verhindern möchten, deaktivieren Sie das implizite Caching und erstellen Sie keine expliziten Caches. Weitere Informationen finden Sie unter Caching aktivieren und deaktivieren.

Unterstützte Modelle

Explizites Caching wird bei Verwendung der folgenden Modelle unterstützt:

Klicken, um unterstützte Modelle einzublenden

Wann Kontext-Caching verwendet werden sollte

Kontext-Caching eignet sich besonders für Szenarien, bei denen in nachfolgenden Anfragen wiederholt auf eine hohe anfängliche Kontextmenge verwiesen wird.

Im Cache gespeicherte Kontextelemente, z. B. große Textmengen, Audio- oder Videodateien, können in Prompt-Anfragen an die Gemini API genutzt werden, um Ausgaben zu generieren. Anfragen, die im Prompt denselben Cache verwenden, weisen auch den für Prompts einmaligen Text auf. Zum Beispiel können Promptanfragen zum Erstellen von Chatunterhaltungen denselben Kontext-Cache enthalten, der z. B. auf ein Video verweist und zusätzlich einmaligen Text enthält, der die einzelnen Chat-Runden umfasst.

Ziehen Sie die Verwendung von Kontext-Caching für die folgenden Anwendungsfälle in Betracht:

  • Chatbots mit ausführlichen Systemanweisungen
  • Wiederholte Analyse langer Videodateien
  • Wiederkehrende Abfragen großer Dokumentgruppen
  • Häufige Analyse von Code-Repositories oder Fehlerkorrektur

Implizites und explizites Caching werden mit dem bereitgestellten Durchsatz in der Vorabversion unterstützt. Weitere Informationen finden Sie im Leitfaden zum bereitgestellten Durchsatz. Caches funktionieren für alle Traffic-Typen. Ein Cache, der bei Verwendung des bereitgestellten Durchsatzes erstellt wurde, funktioniert beispielsweise auch mit PayGo.

Verfügbarkeit

Kontext-Caching ist in Regionen verfügbar, in denen Generative AI in der Agent Platform verfügbar ist. Weitere Informationen finden Sie unter Generative KI auf der Agent Platform – Standorte.

Limits

Für das Kontext-Caching gelten die Limits in der folgenden Tabelle:

Limits für Kontext-Caching

Mindestanzahl von Cache-Tokens für implizites und explizites Caching
  • Gemini 3-Modelle (mit Ausnahmen) und Gemini 4-Modelle: 4.096 Tokens
  • Gemini 3.0 Flash (Vorabversion), 3.1 Pro (Vorabversion), 3.7 Flash und 3.8 Flash (nur implizites Caching): 6.144 Tokens
  • Modelle der Gemini 2-Familie: 2.048 Tokens

Maximale Größe von Inhalten, die Sie mit einem Blob oder Text im Cache speichern können

 10 MB

Mindestzeit, bevor ein Cache nach dessen Erstellung abläuft

 1 Minute

Maximale Zeit, bevor ein Cache nach dessen Erstellung abläuft

 Es gibt keine maximale Cache-Dauer.

Maximale Lebensdauer eines implizit im Cache gespeicherten Präfixes

 Bis zu 24 Stunden

Cache-Datenisolation und Sicherheit für agentische Arbeitslasten

Google Cloud verwendet Ihre Projektnummer, um im Cache gespeicherte Daten zu isolieren. Im Cache gespeicherte Inhalte werden nie projektübergreifend freigegeben.

Um Datenlecks zwischen Nutzern in agentischen Arbeitslasten zu verhindern, sollten Sie im Cache gespeicherte Prompt-Daten und Ausgaben auf die jeweilige Nutzersitzung beschränken. Wenn Sie Hintergrund-Agents oder mandantenfähige Proxys ausführen, sollten Sie die Cache-Grenzen an die Nutzerberechtigungen anpassen, damit ein Agent im Cache gespeicherte Anmeldedaten oder Daten nicht für mehrere Nutzer wiederverwenden kann.

Unterstützung durch VPC Service Controls

Das Kontext-Caching unterstützt VPC Service Controls. Das bedeutet, dass Ihr Cache nicht über Ihren Dienstperimeter hinaus exfiltriert werden kann. Wenn Sie Cloud Storage zum Erstellen des Cache verwenden, fügen Sie den Bucket ebenfalls dem Dienstperimeter hinzu, um den Cache-Inhalt zu schützen.

Weitere Informationen finden Sie in der Dokumentation zur Agent Platform unter VPC Service Controls mit Agent Platform.

Nächste Schritte