מטמון בכל מקום

בדף הזה מתוארת התכונה Anywhere Cache, שמספקת מטמון קריאה אזורי שמגובה על ידי SSD לקטגוריות של Cloud Storage, ומאפשרת לכם לקבל תפוקה גבוהה יותר וזמן אחזור נמוך יותר של הנתונים המאוחסנים. ‫Anywhere Cache מספק נפח אחסון ורוחב פס שגדלים או קטנים אוטומטית בהתאם לצרכים שלכם.

בגלל היתרונות שלו, Anywhere Cache עוזר לשפר את הביצועים ולצמצם את העלויות של הרשת שקשורות לעומסי עבודה שכוללים הרבה פעולות קריאה.

במאמר יצירה וניהול של מטמונים מוסבר איך ליצור ולנהל מטמונים ב-Anywhere Cache.

איך זה עובד?

‫Anywhere Cache מאפשר ליצור מטמונים באותו אזור שבו נמצאות עומסי העבודה. כשיוצרים מטמון באזור, בקשות לקריאת נתונים שמגיעות מהאזור הזה מעובדות על ידי המטמון במקום על ידי הקטגוריה. כל מטמון משרת לקוחות באותו אזור כמו המטמון. הנתונים יוזנו למטמון מהקטגוריה רק כשהם ייקראו על ידי VM שנמצא באותו אזור כמו המטמון. המטא-נתונים לא נשמרים במטמון, והבקשות למטא-נתונים של אובייקטים מעובדות על ידי הקטגוריה ולא על ידי המטמון.

‫Anywhere Cache הוא שירות שמנוהל במלואו שתמיד מחזיר נתונים עקביים.

התאמה אוטומטית לעומס של גודל המטמון ומגבלת רוחב הפס

‫Anywhere Cache מספק קיבולת אחסון זמנית ורוחב פס שגדלים או קטנים באופן אוטומטי בהתאם לכמות הנתונים שמאוחסנים במטמון.

ההגבלה על רוחב הפס של המטמון מתחילה ב-‎100 Gbps וגדלה בקצב של ‎20 Gbps לכל ‎1 TiB של נתונים מאוחסנים. כדי להגדיל את רוחב הפס ההתחלתי או את המגבלה הכוללת של רוחב הפס, אפשר להגדיל את כמות הנתונים שמאוחסנים במטמון, ליצור עוד מטמונים באזור או לפנות למנהל החשבון הטכני או לנציג Google.

מידע נוסף על מגבלות הגודל ורוחב הפס של Anywhere Cache זמין במאמר מכסות ומגבלות ב-Cloud Storage.

מדיניות הטמעת נתונים

נתונים מוזנים למטמון בקריאה הראשונה.

שמירת נתונים במטמון באזורים

כשיוצרים מטמון לקטגוריה, המטמון צריך להיווצר באזור בתוך המיקום של הקטגוריה. לדוגמה, אם הקטגוריה שלכם נמצאת באזור us-east1, אתם יכולים ליצור מטמון באזור us-east1-b אבל לא באזור us-central1-c. אם הקטגוריה שלכם נמצאת בשני האזורים ASIA, אתם יכולים ליצור מטמון בכל האזורים שמרכיבים את האזורים asia-east1 ו-asia-southeast1.

לכל קטגוריה אפשר ליצור עד מטמון אחד לכל אזור. לדוגמה, אם קטגוריה נמצאת באזור us-east1, אפשר ליצור מטמון ב-us-east1-b ומטמון נוסף ב-us-east1-c. אם קטגוריה נמצאת באזור רב-אזורי שכולל את us-central1 ואת us-east1, אפשר ליצור מטמון ב-us-central1-a ומטמון נוסף ב-us-east1-b.

אפשר ליצור מטמונים באזורים כל עוד יש קיבולת זמינה לאזור. אם אין קיבולת ליצירת מטמון, Anywhere Cache ממשיך לנסות ליצור מטמון עד שהקיבולת תהיה זמינה או עד שהמשתמש יבטל את תהליך היצירה. יכול להיות שהקיבולת לא תהיה זמינה במשך תקופה ארוכה.

אפשר להשתמש ב-Anywhere Cache באזורים הבאים. אפשר להשתמש באזורים האלה בהתאם לסוג המיקום של הקטגוריה.

אזור גיאוגרפי מיקום
שם האזור אזור שני אזורים במספר אזורים שני אזורים מותאמים אישית
אסיה
asia-east1-a
asia-east1-b
asia-east1-c
asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
asia-south1-a
asia-south1-b
asia-south1-c
asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
אירופה
europe-north1-a
europe-north1-b
europe-north1-c
europe-west1-b
europe-west1-c
europe-west1-d
europe-west4-a
europe-west4-b
europe-west4-c
europe-west6-a
europe-west6-b
ארצות הברית
us-central1-a
us-central1-b
us-central1-c
us-central1-f
us-central1-ai1a (אזור AI)
us-east1-b
us-east1-c
us-east1-d
us-east4-a
us-east4-b
us-east4-c
us-east5-a
us-east5-b
us-east5-c
us-south1-a
us-south1-b
us-south1-c
us-south1-ai1b (אזור AI)
us-west1-a
us-west1-b
us-west1-c
us-west3-a
us-west3-b
us-west3-c
us-west4-a
us-west4-b
us-west4-c

הטמעת נתונים מבוססת-מקטעים

כשמבצעים העברה של נתונים למטמון, Anywhere Cache מפצל אובייקטים לחלקים קטנים בגודל קבוע. פיצול אובייקטים לחלקים מאפשר שמירה במטמון ברמת פירוט גבוהה יותר, במיוחד בקבצים גדולים שרק לחלקים ספציפיים מהם יש גישה.

מקטע הוא בלוק נתונים בגודל 2MB. כשמתקבלת בקשה לאובייקט, מערכת Anywhere Cache מזהה אילו נתחים של 2MB מכסים את טווח הבייטים המבוקש ומנהלת את הנתחים האלה באופן עצמאי.

ההתנהגות של הכנסת הנתונים שונה בהתאם לגודל האובייקט שמוכנס למטמון:

  • בבקשות קריאה לאובייקטים גדולים מ-2MB, רק נתחי הנתונים שמכילים את טווח הבייטים המבוקש נקלטים. לדוגמה, אם קוראים את ה-1MB הראשון של קובץ בגודל 100MB, המערכת תעכל רק את הנתח הראשון בגודל 2MB.

  • בבקשות קריאה לאובייקטים קטנים מ-2MB (לדוגמה, תמונה בגודל 500KB), המערכת מטמיעה את האובייקט כולו במטמון.

שיקולי ביצועים

  • פספוסים של חלקי נתונים: אם בקשה מכסה כמה חלקי נתונים וחלק מהם נמצאים במטמון וחלק לא, Anywhere Cache מאחזר באופן שקוף את חלקי הנתונים החסרים ממאגר המקור.

  • אורך חיים (TTL) ופינוי: גם מדיניות הפינוי של אורך החיים (TTL) ושל Least Recently Used (LRU) פועלת על חלקי נתונים. יכול להיות שחלקים בשימוש תדיר בקובץ גדול יישארו במטמון, וחלקים בשימוש לא תדיר יוסרו ממנו.

תמחור

מידע על התמחור של Anywhere Cache מופיע במאמר תמחור של Anywhere Cache.

אמצעי בקרה על עלויות

כדאי להרחיב את הטיפים הבאים כדי ללמוד איך אפשר לצמצם את העלויות של הפעלת מטמונים:

בחירת קטגוריה

מומלץ ליצור מטמון רק לקטגוריות שמכילות נתונים שרוצים לשמור במטמון.

בחירת אזור

מומלץ ליצור מטמונים רק באזורים שבהם עומס העבודה ירוויח משימוש במטמון.

הגדרת TTL

צריך לציין את ה-TTL המינימלי שנדרש לאחסון נתונים במטמון. אפשר לשנות את ה-TTL בלי לגרום להפרעה. ברירת המחדל היא יום אחד.

השבתת המטמון

אפשר להשבית מטמון כדי להסיר אותו לצמיתות מהשירות ולהפסיק את הצבירה של כל העמלות שקשורות למטמון.

יתרונות

כשמטמנים את הנתונים באמצעות Anywhere Cache, נהנים מהיתרונות הבאים:

  • גישה מהירה יותר לנתונים: Anywhere Cache ממקם את הנתונים באותו אזור כמו משאבי המחשוב, והוא מגובה באופן מלא על ידי SSD. כך עומסי העבודה יכולים להגיע לקצב העברה של עד 2.5TB/s, וזמן האחזור קצר יותר לקריאות מהירות יותר.

  • הפחתת עמלות על העברת נתונים בין אזורים: על נתונים שנקראים מהמטמון נגבות עמלות מופחתות על העברת נתונים בהשוואה לנתונים שנקראים ישירות מקטגוריה של מספר אזורים.

  • צמצום עמלות האחזור: עמלות האחזור של קטגוריות ב-Nearline Storage,‏ Coldline Storage ו-Archive Storage לא חלות על קריאות נתונים מהמטמון.

  • עלויות נמוכות יותר על פעולות קריאה: המחיר של פעולות קריאה שמוגשות מ-Anywhere Cache נמוך יותר מהמחיר של פעולות Class B שמוגשות ממאגר אחסון ב-Standard Storage.

  • התאמה אוטומטית של גודל המטמון: המטמון הדינמי של Anywhere Cache מבוסס על SSD ומשנה את הגודל שלו באופן אוטומטי בהתאם לשימוש, בלי שתצטרכו לציין גודל מטמון.

  • שימוש יעיל במטמון: אפשר להפעיל את Anywhere Cache בדליים קיימים בלי לבצע שינויים באפליקציות או בממשקי ה-API הקיימים. הנתונים שמאוחסנים ב-Anywhere Cache הם עקביים מאוד.

פרטים על התמחור מופיעים במאמר תמחור של Anywhere Cache. מידע על מכסות זמין במאמר מכסות של Anywhere Cache.

מתי כדאי להשתמש ב-Anywhere Cache?

כדי להאיץ את קריאת הנתונים עבור עומסי עבודה של ניתוח נתונים, אימון מודלים של AI/ML וטעינה שלהם, כדאי להשתמש ב-Anywhere Cache לנתונים שמשתנים לעיתים רחוקות ונקראים לעיתים קרובות.

נניח שאתם מאמנים מודל AI באמצעות הרבה צמתים של Google Kubernetes Engine, שכולם קוראים שוב ושוב נתונים שמאוחסנים בקטגוריות של Cloud Storage ופועלים באותו אזור. כשיוצרים מטמון באזור שבו עומס העבודה פועל, המטמון מספק רוחב פס נוסף ועוזר לצמצם את עמלות העברת הנתונים שקשורות לקריאת נתונים בדליים במספר אזורים, וכך מאפשר להריץ עומסי עבודה גדולים יותר ומותאמים יותר בצורה יעילה יותר.

שימוש ב-Anywhere Cache כדי להאיץ קריאות ב-BigQuery

אפשר להשתמש ב-Anywhere Cache כדי להציג נתונים לבקשות קריאה של אובייקטים שנשלחות על ידי BigQuery. באמצעות Anywhere Cache, אתם יכולים להאיץ את קריאת הנתונים באפליקציות שלכם ולבצע אופטימיזציה של היעילות בעלויות.

למרות ש-BigQuery הוא שירות אזורי, יכול להיות שמשאבי המחשוב הבסיסיים שלו יעברו מדי פעם בין אזורים לצורך איזון עומסים. מומלץ להפעיל את Anywhere Cache לעומס עבודה ב-BigQuery בכל האזורים של אזור מסוים, כדי לוודא שיש מטמון זמין לשימוש במקרה שמשאבי המחשוב הבסיסיים משנים אזורים. אם לא נעשה שימוש במטמון באזור מסוים, לא תחויבו בעלות נוספת, כי Anywhere Cache הוא שירות בתשלום לפי שימוש. הערה: אם המשאבים של עומס עבודה משנים אזורים, המטמון באזור החדש יצטרך להטמיע מחדש את הנתונים, מה שעלול לגרום לעלייה חד-פעמית בעלויות של הטמעת הנתונים.

שירות ההמלצות לשימוש במטמון בכל מקום

שירות ההמלצות בנושא מטמון בכל מקום מספק המלצות ותובנות לגבי יצירת מטמון בזוגות של אזורים וקטגוריות, על ידי ניתוח השימוש בחבילת הגלישה ובאחסון. מידע כללי והוראות לשימוש בשירות המלצות Anywhere Cache זמינים במאמר שירות המלצות Anywhere Cache.

פעולות במטמון

בקטע הזה מתוארות פעולות שאפשר לבצע במטמון של Anywhere Cache. חלק מהפעולות הן אסינכרוניות ומחזירות פעולה ממושכת, בעוד שפעולות אחרות הן סינכרוניות, כלומר הפעולות מתבצעות באופן מיידי ומחזירות משאב AnywhereCache.

יצירת מטמון

כשיוצרים מטמון, אפשר להגדיר את אורך החיים (TTL) של המטמון. ה-TTL הוא משך הזמן הארוך ביותר שחלק מהנתונים יישאר במטמון מהקריאה האחרונה. לדוגמה, אם ה-TTL מוגדר ל-24 שעות, נתח נתונים שנקרא לאחרונה ביום שני בשעה 11:00 ולא נקרא שוב יסולק מהמטמון ביום שלישי בשעה 11:00.

אפשר להגדיר TTL בין 24 שעות ל-7 ימים. אם לא מציינים ערך, ערך ברירת המחדל של ה-TTL הוא 24 שעות.

כשיוצרים מטמון, הוא עובר למצב CREATING (יצירה) בזמן היצירה, ולמצב RUNNING (פועל) כשהוא מתחיל לפעול באופן פעיל. יצירת מטמון יכולה להימשך עד 48 שעות, ולאחר מכן הפעולה מסתיימת בטיימ-אאוט.

ה-API ליצירת AnywhereCaches הוא אסינכרוני. פעולת יצירה גורמת להחזרת פעולה ממושכת. הפעולה הממושכת מספקת סטטוס של פעולת היצירה ומאפשרת לבטל את הפעולה לפני שהיא מסתיימת.

עדכון מטמון

אפשר לעדכן את ה-TTL של מטמון במצב RUNNING. במהלך עדכון של מטמון, הערך של השדה pending_update הוא true. בזמן שהשדה pending_update מקבל את הערך true, אי אפשר לעדכן את המטמון שוב.

אי אפשר לעדכן מטמון במצב CREATING או DISABLED. ה-API לעדכון של AnywhereCaches הוא אסינכרוני ומחזיר פעולה ממושכת.

כשעדכון ה-TTL של מטמון מסתיים, ה-TTL החדש חל באופן מיידי על נתונים חדשים שמוזנים למערכת, והוא חל על נתונים קיימים רק כשקוראים את הנתונים האלה. כלומר, נתונים קיימים במטמון ישמרו עם ה-TTL הישן עד שהמערכת תקרא את הנתונים האלה, או עד שהם יוסרו מהמטמון בגלל שה-TTL שלהם פג.

איך מקבלים מטמון

כשמקבלים מטמון, Anywhere Cache מחזיר את המצב ואת ההגדרה של מופע המטמון. ה-API של AnywhereCaches Get הוא סינכרוני ומחזיר משאב AnywhereCache.

הצגת רשימה של מטמונים

אפשר להחזיר רשימה של מטמונים משויכים לדלי נתון. ‫AnywhereCaches List API הוא סינכרוני ותומך בעימוד.

השבתת מטמון

אתם יכולים להשבית מטמון כדי להסיר אותו באופן סופי מההגדרה של הדלי. כשמשביתים מטמון, הוא עובר למצב DISABLED. במהלך המצב הזה, עדיין אפשר לקרוא נתונים קיימים מהמטמון, אבל אי אפשר להזין נתונים חדשים למטמון.

אחרי שמשביתים מטמון, יש תקופת חסד של שעה שבמהלכה אפשר לבטל את ההשבתה על ידי הפעלת המטמון מחדש. אחרי תקופת החסד של שעה, המטמון נמחק. כשמחקתם את המטמון, כל הנתונים שבמטמון נמחקים והמטמון מוסר מהמאגר.

במהלך השעה שלפני מחיקת המטמון, אפשר להחזיר את המטמון למצב DISABLED (מושבת) על ידי חידוש המטמון, ובשלב זה המטמון חוזר למצב RUNNING (פועל).

ה-API להשבתת AnywhereCaches הוא סינכרוני ומחזיר משאב AnywhereCache.

המשך של מטמון

אתם יכולים להפעיל מחדש מטמונים שנמצאים במצב DISABLED, כל עוד המטמון המושבת נמצא בתוך תקופת החסד של שעה אחת. אחרי תקופת החסד של שעה, פעולת ההמשך מתבצעת כמיטב היכולת, כי יכול להיות שהמטמון יימחק בכל שלב אחרי תקופת החסד. אחרי שממשיכים את השימוש במטמון, הוא עובר למצב RUNNING.

ממשק ה-API של AnywhereCaches Resume הוא סינכרוני ומחזיר משאב AnywhereCache.

מגבלות

  • כדי למחוק מאגר, צריך קודם למחוק את כל המטמונים שמשויכים אליו. היוצא מן הכלל היחיד הוא כשמוחקים קטגוריה באמצעות מסוף Google Cloud , שמוחק את כל המטמונים המשויכים יחד עם הקטגוריה.

  • כשמבצעים פעולות של יצירה, השבתה, הפעלה מחדש או עדכון של מטמון, צריך להגביל את קצב הפעולות לפעולה אחת לשנייה לכל היותר. ביצוע יותר מפעולה אחת בשנייה עלול לגרום לכשלים.

  • ‫Anywhere Cache הוא לא אחסון עמיד, ויכול להיות שהנתונים יוסרו מהמטמון בתרחישים שונים. תרחיש אחד הוא שהמטמון משנה את הגודל שלו באופן אוטומטי כדי לוודא שיש מספיק משאבים לעומסי העבודה. בתרחיש הזה, יכול להיות שחלק מהנתונים יסולקו בהתאם לאלגוריתם של least-recently-used (LRU)‎ עד שהשירות Anywhere Cache יסיים להגדיל את גודל המטמון.

    בכל מקרה, הנתונים שלכם נשארים מאוחסנים בבטחה בדלי המקור. אם נתונים נמחקים מהמטמון מסיבות אחרות ולא בגלל שחלף הזמן שמוגדר לנתונים (TTL), שירות Anywhere Cache ינסה להחדיר מחדש את הנתונים למטמון באופן שקוף וללא עלות. אם אי אפשר להחדיר מחדש את הנתונים באופן שקוף או שהם נמחקו בגלל תפוגה של TTL, שירות Anywhere Cache יחדיר מחדש את הנתונים בקריאה הראשונה.

  • אי אפשר לקרוא באמצעות BigQuery המלצות ותובנות שנוצרו על ידי הכלי להמלצות של Anywhere Cache.

פתרון בעיות של מחסור זמני במשאבים

בקטעים הבאים מוסבר איך לפתור בעיות שמתרחשות כשחסרים משאבים זמניים, כלומר אין מספיק נפח אחסון בכונן SSD או יכולת שירות באזור מסוים כדי ליצור מטמון, להגדיל את הגודל של מטמון או להגדיל את מגבלת רוחב הפס של מטמון.

היצירה של מטמון חדש נכשלה

יכול להיות ש-Anywhere Cache לא יצליח ליצור מטמון חדש באזור מסוים בגלל מחסור בקיבולת SSD או במשאבי רוחב פס להעברת נתונים, מה שיוביל למחסור זמני במשאבים. במהלך התקופה הזו, מערכת Anywhere Cache תנסה ליצור את המטמון החדש למשך עד 48 שעות. אם משאבים יהיו זמינים תוך 48 שעות, Anywhere Cache ישלים את הבקשה ליצירת מטמון בהצלחה. אם המשאבים לא יהיו זמינים תוך 48 שעות, הבקשה ליצירת מטמון תיכשל.

איך לפתור את הבעיה: כדי למנוע שיבושים בשמירת הנתונים במטמון, אפשר לבטל ידנית את פעולת יצירת המטמון וליצור מטמון חדש באזור אחר שבו יכול להיות שיש קיבולת זמינה. כדי לעקוב אחרי פעולה של יצירת מטמון או לבטל אותה, אפשר לעיין במאמר בנושא שימוש בפעולות ממושכות.

הגדלת גודל המטמון נכשלה

יכול להיות שמערכת Anywhere Cache לא תצליח להגדיל את הגודל של המטמון אם כמות הקיבולת הנדרשת של ה-SSD לא זמינה באזור של המטמון.

למרות ש-Anywhere Cache מציע הגדלות אוטומטיות של גודל המטמון לפי דרישה, הגדלות של גודל המטמון תלויות בזמינות של קיבולת SSD. אם קיבולת ה-SSD לא זמינה כשמתבצעת בקשה להגדלה אוטומטית של גודל המטמון, Anywhere Cache ממשיך לשלוח את הבקשה עד שמחסור המשאבים הזמני מסתיים או עד שאין יותר צורך בהגדלת גודל המטמון.

במהלך מחסור זמני במשאבים, נתונים חדשים מוזנים למערכת ונתונים קיימים במטמון נמחקים על סמך השימוש האחרון בהם. למטמון שגדול מספיק כדי לאחסן את רוב הנתונים החמים יש השפעה קטנה מאוד על מדדי המטמון, אם בכלל. במטמון עם קיבולת נמוכה יותר מכמות הנתונים הפעילים, יכול להיות שהמערכת תמחק נתונים ותבצע הטמעה מחדש של אותם נתונים בתדירות גבוהה יותר מאשר במטמון שלא מושפע ממחסור במשאבים. אם הגודל בפועל של המטמון קטן בהרבה מהקיבולת הנדרשת, יכול להיות שתיתקלו בהתנהגות הבאה שקשורה למחסור במשאבים:

  • הגבלה נמוכה יותר של רוחב הפס של המטמון, תפוקה נמוכה יותר של המטמון, צריכה גבוהה יותר של מכסת רוחב הפס של העברת הנתונים והשפעה אפשרית על מדדים אחרים
  • יכול להיות שהחיוב יושפע בדרכים הבאות:
    • עלויות מוגדלות מדמי ההעברה של נתונים למטמון
    • העלויות ירדו בגלל עמלת אחסון המטמון
    • הפחתת העלויות מעמלת העברת נתונים מהמטמון
    • הפחתת העלויות של עמלות על פעולות העברת נתונים מחוץ למטמון
    • עלויות מוגדלות מדמי העברת נתונים בין אזורים
    • עלויות מוגדלות משימוש בפעולות Class B

מידע על העמלות האלה מופיע במאמר בנושא תמחור של Anywhere Cache.

איך לפתור את הבעיה: כדי לקבל את התוצאות הכי טובות בזמן מחסור זמני במשאבים, מומלץ לעקוב אחרי המטמון ולהשבית מטמון או עומסי עבודה מיותרים בהתאם לצרכים שלכם.

כשל בהגדלת מגבלת רוחב הפס של מטמון

מחסור זמני במגבלת רוחב הפס של מטמון יכול להתרחש במהלך הגדלה של גודל המטמון, אם משאבי התפוקה באזור מסוים לא מספיקים כדי להגדיל את מגבלת רוחב הפס של מטמונים קיימים ב-‎20 Gbps לכל ‎TiB. במהלך מחסור ברוחב הפס של המטמון, Anywhere Cache לא מאפשר להגדיל את מגבלת רוחב הפס של המטמון ב-20Gbps לכל TiB של נתונים, אבל המטמון ממשיך לטפל בבקשות קריאה. כדי לבקש רוחב פס גדול יותר למטמון, אפשר לפנות למנהל החשבונות הטכני או לנציג Google. במקרה של מחסור ברוחב פס זמין של מטמון, יכול להיות שתהיה עלייה בשימוש בתעבורת נתונים יוצאת (egress) מהדלי.

איך לפתור בעיות: כדי לקבל את התוצאות הכי טובות בזמן מחסור זמני במשאבים, מומלץ לעקוב אחרי המטמון ולהשבית מטמון או עומסי עבודה מיותרים בהתאם לצרכים שלכם.

המאמרים הבאים