שכפול של הקטלוג הייעודי לזמן ריצה של Lakehouse באזורים שונים מאפשר לגבות את המטא-נתונים של הקטלוג ולהגן על עומסי העבודה מפני הפסקות זמניות בשירות באזור. כחלק מ-Lakehouse ללא גבולות, אתם יכולים להשתמש בתוכנית התאוששות מאסון כדי להעביר טבלאות שמשתמשות בנקודת הקצה של קטלוג Apache Iceberg REST.
כשמנהלים מעבר לגיבוי בעת כשל, אפשר לבחור בין מעבר רך לגיבוי בעת כשל לבדיקות מתוכננות, לבין מעבר קשיח לגיבוי בעת כשל כדי לשחזר את השירות.
איך זה עובד
הקטלוג הייעודי לזמן ריצה של Lakehouse בוחר באופן אוטומטי אזורים ראשיים ומשניים למטא-נתונים של הקטלוג. האזור הראשי מעבד את כל המטא-נתונים של ה-commit בטבלה, ואז משכפל אותם לאזור המשני לצורך גיבוי.
בכל שלב, ובמיוחד בזמן אסון, אתם יכולים להחליף בין האזור הראשי לאזור המשני של הקטלוג באמצעות פעולת יתירות כשל. הפעולה הזו מחליפה את המופע הראשי של הקטלוג ושל כל מרחבי השמות והטבלאות שהוא מכיל.
רפליקציה בין אזורים
רפליקציה בין אזורים כוללת שני רכיבים עיקריים: רפליקציה של נתונים ורפליקציה של מטא-נתונים. התכונה "תוכנית התאוששות מאסון" מבוססת על רפליקציה חוצת-אזורים כדי לאפשר יתירות כשל.
שכפול נתונים: כשמשתמשים בקטגוריה של שני אזורים או של מספר אזורים, Cloud Storage משכפל באופן אוטומטי את נתוני הקטלוג במספר אזורים. אם יש הפסקה אזורית, הנתונים שלכם נשארים נגישים בלי שינויים בנתיבי האחסון.
שכפול מאגר מטא-נתונים: בנקודות קצה של קטלוג Iceberg REST, הקטלוג הייעודי לזמן ריצה של Lakehouse משכפל באופן אוטומטי את מאגר המטא-נתונים כשמשתמשים בקטגוריה של שני אזורים (או בקטגוריה בהתאמה אישית של שני אזורים). הרפליקציה של המטא-נתונים מתחילה כשיוצרים את הקטלוג. הקטלוג הייעודי לזמן ריצה של Lakehouse בוחר אזור ראשי ואזור משני מתוך האזורים שהוגדרו ב-Cloud Storage. האזור הראשי משרת את כל המטא-נתונים של ה-commit בטבלה ומשכפל אותם לאזור המשני לצורך גיבוי.
תוכנית התאוששות מאסון (DR) עם יתירות כשל
התכונה "תוכנית התאוששות מאסון" מאפשרת להחליף בין האזור הראשי לאזור המשני של הקטלוג. פעולת יתירות הכשל מחליפה את האזור הראשי של הקטלוג ושל כל מרחבי השמות והטבלאות שלו. יש שני מצבים של יתירות כשל: יתירות כשל קלה ויתירות כשל קשה.
מעבר חלקי למצב כשל: מעבר חלקי למצב כשל מונע אובדן נתונים. במצב הזה, האזור הראשי החדש מתחיל לקבל כתיבות רק אחרי שכל הנתונים הקודמים מסונכרנים מהאזור הראשי הקודם. השתמשו ביתירות כשל קלה לבדיקה של תוכנית התאוששות מאסון (DR) או לתרחישים מתוכננים אחרים.
יתירות כשל קשיחה: ביתירות כשל קשיחה, הזמינות מקבלת עדיפות על פני עקביות הנתונים, והיא נועדה לשחזר את השירות. במצב הזה, האזור הראשי תמיד משתלט ומקבל תנועת כתיבה, בלי קשר למצב הנוכחי של האזור הראשי. לדוגמה, כשמשתמשים ביתירות כשל קשיחה, האזור הראשי החדש יכול להשתלט גם אם אי אפשר להגיע לאזור הראשי הקודם.
מגבלות
בזמן שהתכונה הזו נמצאת בגרסת טרום-השקה (Preview), REPLICATION_TIMESTAMP עוקב רק אחרי המטא-נתונים של הקטלוג, ולא אחרי קובצי Cloud Storage. כדי לשמור על אובדן נתונים עם גבול תחתון, קראו את המאמר זמינות ועמידות של נתונים ב-Cloud Storage.
המאמרים הבאים
- להשתמש ברפליקציה בין אזורים ובתוכנית התאוששות מאסון (DR) עם נקודת הקצה של הקטלוג הייעודי לזמן ריצה של Lakehouse.