שמירת הקשר במטמון עוזרת להפחית את העלות ואת זמן האחזור של בקשות ל-Gemini שמכילות תוכן חוזר. בפלטפורמת הסוכנים של Gemini Enterprise יש שני סוגים של שמירה במטמון:
- שמירה במטמון באופן מרומז: שמירה אוטומטית במטמון שמופעלת כברירת מחדל ומאפשרת לחסוך בעלויות כשמתרחשים היטים במטמון. שמירה במטמון באופן מרומז כוללת שמירה במטמון בזיכרון ושמירה במטמון לטווח ארוך.
- שמירת נתונים במטמון באופן מפורש: שמירת נתונים במטמון באופן ידני באמצעות Gemini Enterprise API, שבו מציינים במפורש את התוכן שרוצים לשמור במטמון ואם ההנחיות צריכות להתייחס לתוכן שנשמר במטמון.
גם במקרים של שמירה במטמון באופן מרומז וגם במקרים של שמירה במטמון באופן מפורש, השדה cachedContentTokenCount במטא-נתונים של התגובה מציין את מספר הטוקנים בחלק של הקלט שנשמר במטמון.
עלויות אחסון במטמון
גם במקרים של שמירת מטמון מרומזת וגם במקרים של שמירת מטמון מפורשת, אתם מחויבים על אסימוני הקלט ששימשו ליצירת המטמון במחיר הרגיל של אסימוני קלט. במקרה של שמירה מפורשת במטמון, יש גם עלויות אחסון שמבוססות על משך הזמן שבו המטמון נשמר. אין עלויות אחסון לשמירה במטמון משתמע. למידע נוסף על התמחור של Agent Platform
שמירה במטמון משתמעת
כברירת מחדל, בכל Google Cloud הפרויקטים מופעלת שמירה במטמון באופן מרומז. שמירה במטמון באופן משתמע מספקת הנחה של 90% על טוקנים שנשמרו במטמון בהשוואה לטוקנים רגילים של קלט. כשהתכונה מופעלת, החיסכון בעלויות של מציאה במטמון (cache hit) מועבר אליכם באופן אוטומטי.
במנגנון ה-caching המרומז, הקידומות מאוחסנות בשתי רמות אחסון:
- שמירת נתונים במטמון בזיכרון: תחיליות שנשמרו במטמון נשמרות בזיכרון. קיבולת הזיכרון מוגבלת, ולכן התחיליות נמחקות כשהקיבולת מתפנה.
- שמירה עמידה במטמון: כשקידומת נמחקת מהאחסון בזיכרון, היא עוברת לאחסון עמיד במקום להימחק. בקשה מאוחרת יותר שעושה שימוש חוזר בקידומת עדיין יכולה לקבל מציאה במטמון, מה שמעלה את שיעורי המציאה במטמון לעומסי עבודה שעושים שימוש חוזר באותו הקשר במרווחי זמן ארוכים יותר.
שתי הרמות מופעלות כברירת מחדל. התוקף של תחילית במטמון פג תוך 24 שעות לכל היותר מרגע היצירה שלה, ורוב הרשומות נמחקות מוקדם יותר. אפשר להשבית את השמירה במטמון לטווח ארוך ולהמשיך להשתמש בשמירה במטמון בזיכרון, או להשבית לגמרי את השמירה במטמון המרומז. אם יש לכם חששות לגבי שמירת נתונים, כדאי לעיין במאמר בנושא שמירת נתונים אפסית. במאמר הזה מוסבר איך המערכת מטפלת בנתונים שנשמרים במטמון ואיך משביתים כל רמה.
כדי להגדיל את הסיכוי למציאה במטמון (cache hit) באופן משתמע:
- הציבו תוכן ארוך ונפוץ בתחילת ההנחיה.
- שליחת בקשות עם קידומת דומה בפרק זמן קצר.
מודלים נתמכים
אפשר להשתמש בשמירה במטמון משתמע במודלים נתמכים של Gemini, ובשמירה במטמון עמיד בחלק מהמודלים האלה.
שמירה במטמון בזיכרון
כשמשתמשים במודלים הבאים, יש תמיכה בשמירת נתונים במטמון בזיכרון:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
- Gemini Nano Banana 2.1
- Gemini 4 Argon Cyber Permissive
- Gemini 4 Argon
- Gemini 3.8 Flash Cyber
- Gemini 3.8 Flash
- Gemini 3.7 Flash
- Gemini 3.6 Flash
- Gemini 3.5 Flash-Lite
- Gemini 3.5 Flash
- Gemini 3.1 Pro
- תמונה של Gemini 3.1 Flash-Lite (Nano Banana 2 Lite)
- Gemini 3.1 Flash-Lite
- Gemini 3.1 Flash Image
- תמונה של Gemini 3 Pro
- Gemini 3 Flash
- Gemini 2.5 Pro
- Gemini 2.5 Flash-Lite
- Gemini 2.5 Flash
שמירה במטמון שלא מושפעת משינויים
יש תמיכה בשמירת נתונים במטמון לטווח ארוך כשמשתמשים במודלים הבאים:
- Gemini 4 Argon
- Gemini 4 Argon Cyber Permissive
שמירה במטמון באופן משתמע נתמכת גם במודלים פתוחים. מידע נוסף זמין במאמר בנושא מודלים פתוחים של Agent Platform ל-MaaS.
שמירה מפורשת במטמון
שמירה מפורשת במטמון מאפשרת יותר שליטה ומבטיחה הנחה על טוקנים של קלט שמפנים לשמירת הקשר קיימת במטמון. במודלים של Gemini 2.5 ואילך, ההנחה היא 90%. במודלים של Gemini 2.0, ההנחה היא 75%.
באמצעות Gemini Enterprise API, אפשר לבצע את המשימות הבאות:
- יצירת מטמוני הקשר ושליטה בהם בצורה יעילה יותר.
- שימוש בשמירת הקשר במטמון על ידי הפניה לתוכן שלו בבקשת פרומפט עם שם המשאב שלו.
- עדכון של זמן התפוגה (אורך החיים, או TTL) של מטמון הקשר מעבר ל-60 הדקות שמוגדרות כברירת מחדל.
- מוחקים מטמון הקשר כשאין בו יותר צורך.
אפשר גם להשתמש ב-Gemini Enterprise API כדי לאחזר מידע על מטמון הקשר.
מטמונים מפורשים פועלים באינטראקציה עם מטמונים מרומזים, ולכן יכול להיות שכשיוצרים מטמון, המערכת תאחסן במטמון תוכן נוסף מעבר לתוכן שצוין. כדי למנוע שמירת נתונים במטמון, צריך להשבית את השמירה המשתמעת במטמון ולהימנע מיצירת מטמונים מפורשים. מידע נוסף מופיע במאמר הפעלה והשבתה של שמירה במטמון.
מודלים נתמכים
אפשר להשתמש במודלים הבאים כדי להגדיר שמירה במטמון:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
מתי כדאי להשתמש בשמירת נתונים במטמון של ההקשר
שמירת הקשר במטמון מתאימה במיוחד לתרחישים שבהם הקשר ראשוני משמעותי נשלף שוב ושוב על ידי בקשות עוקבות.
אפשר להשתמש בפריטי הקשר שנשמרו במטמון, כמו כמות גדולה של טקסט, קובץ אודיו או קובץ וידאו, בבקשות של הנחיות ל-Gemini API כדי ליצור פלט. בקשות שמשתמשות באותו מטמון בהנחיה כוללות גם טקסט ייחודי לכל הנחיה. לדוגמה, כל בקשה של הנחיה שמרכיבה שיחה יכולה לכלול את אותו מטמון הקשר שמפנה לסרטון, יחד עם טקסט ייחודי שמרכיב כל שלב בשיחה.
כדאי להשתמש בשמירת הקשר במטמון בתרחישים הבאים:
- צ'אט בוטים עם הוראות מערכת נרחבות
- ניתוח חוזר של קובצי וידאו ארוכים
- שאילתות חוזרות על קבוצות גדולות של מסמכים
- ניתוח תכוף של מאגר המקורות של הקוד או תיקון באגים
שמירה במטמון באופן משתמע ובאופן מפורש נתמכת בהקצאת משאבים לפי התפוקה שנקבעה בתצוגה מקדימה. פרטים נוספים זמינים במדריך להקצאת משאבים לפי התפוקה שנקבעה. מטמון פועל בכל סוגי התנועה. לדוגמה, מטמון שנוצר בזמן השימוש ב-הקצאת משאבים לפי התפוקה שנקבעה פועל גם עם PayGo.
זמינות
אפשר להשתמש בשמירת הקשר במטמון באזורים שבהם יש גישה ל-AI גנרטיבי ב-Agent Platform. מידע נוסף זמין במאמר בנושא מיקומי AI גנרטיבי בפלטפורמת הסוכנים.
מגבלות
שמירת ההקשר במטמון כפופה למגבלות שמפורטות בטבלה הבאה:
| מגבלות על שמירת נתונים במטמון לפי הקשר | |
|---|---|
כמות טוקנים מינימלית במטמון עבור שמירה במטמון באופן מרומז וגלוי |
|
הגודל המקסימלי של תוכן שאפשר לשמור במטמון באמצעות blob או טקסט |
10MB |
הזמן המינימלי לפני שתוקף המטמון פג אחרי שהוא נוצר |
דקה אחת |
משך הזמן המקסימלי עד שתוקף המטמון יפוג אחרי שהוא נוצר |
אין משך זמן מקסימלי לשמירה במטמון |
משך החיים המקסימלי של תחילית ששמורה במטמון באופן משתמע |
עד 24 שעות |
בידוד ואבטחה של נתונים במטמון בעומסי עבודה של סוכנים
Google Cloud משתמש במספר הפרויקט כדי לבודד את הנתונים שנשמרו במטמון, והתוכן שנשמר במטמון אף פעם לא משותף בין פרויקטים.
כדי למנוע דליפת נתונים בין משתמשים בעומסי עבודה של סוכנים, צריך להגדיר את היקף הנתונים והפלט של ההנחיות שנשמרו במטמון לכל סשן משתמש. כשמריצים סוכני רקע או שרתי proxy עם כמה דיירים, צריך להתאים את גבולות המטמון להרשאות של משתמשי הקצה, כדי שסוכן לא יוכל לעשות שימוש חוזר בפרטי כניסה או בנתונים שנשמרו במטמון של משתמשים שונים.
תמיכה ב-VPC Service Controls
שמירת ההקשר במטמון תומכת ב-VPC Service Controls, כך שאי אפשר להוציא את המטמון אל מחוץ לגבולות הגזרה לשירות. אם אתם משתמשים ב-Cloud Storage כדי ליצור את המטמון, כדאי לכלול את הקטגוריה בגבולות גזרה לשירות גם כדי להגן על תוכן המטמון.
מידע נוסף זמין במאמר VPC Service Controls עם Agent Platform במסמכי התיעוד של Agent Platform.