מידע על שכפול בין אזורים ותוכנית התאוששות מאסון (DR)

שכפול באזורים שונים ותוכנית התאוששות מאסון (DR) עבור קטלוג זמן הריצה של Lakehouse מספקים הגנה מפני הפסקות חשמל אזוריות. היכולת הזו היא חלק מ-Lakehouse for Apache Iceberg, והיא מאפשרת מעבר לגיבוי (failover) לטבלאות שמשתמשות בנקודת הקצה של קטלוג REST של Apache Iceberg.

כשמנהלים מעברים אוטומטיים לגיבוי, אפשר לבחור בין מעברים רכים לגיבוי לבדיקות מתוכננות לבין מעברים קשיחים לגיבוי כדי לשחזר במהירות את השירות.

איך זה עובד

הקטלוג של Lakehouse runtime בוחר באופן אוטומטי אזורים ראשיים ומשניים למטא-נתונים של הקטלוג. האזור הראשי מעבד את כל המטא-נתונים של טבלאות ה-commit ואז משכפל אותם לאזור המשני לצורך גיבוי.

בכל שלב, במיוחד בזמן אסון, אפשר להחליף בין האזורים הראשיים והמשניים של הקטלוג באמצעות פעולת המעבר לגיבוי. הפעולה הזו מחליפה את הראשי בקטלוג ובכל מרחבי השמות והטבלאות שכלולים בו.

שכפול בין אזורים

שכפול בין אזורים כולל שני רכיבים עיקריים: שכפול נתונים ושכפול של מאגר המטא-נתונים. תכונת ההתאוששות מאסון מבוססת על רפליקציה בין אזורים כדי לאפשר מעבר לגיבוי בעת כשל.

  • שכפול נתונים: כשמשתמשים בקטגוריה בשני אזורים או במספר אזורים, Cloud Storage משכפל אוטומטית את נתוני הקטלוג במספר אזורים. אם מתרחש שיבוש אזורי, הנתונים שלכם נשארים נגישים ללא שינויים בנתיבי האחסון.

  • שכפול של Metastore: בנקודות קצה של קטלוג REST של Iceberg, הקטלוג של זמן הריצה של Lakehouse משכפל באופן אוטומטי את Metastore כשמשתמשים בקטגוריה של שני אזורים (או בקטגוריה מותאמת אישית של שני אזורים). השכפול של Metastore מתחיל כשיוצרים את הקטלוג. הקטלוג של Lakehouse runtime בוחר אזור ראשי ואזור משני מתוך האזורים שמוגדרים בהגדרות של Cloud Storage. האזור הראשי משמש לאחסון כל המטא-נתונים של אישור הטבלה, והוא משכפל אותם לאזור המשני לצורך גיבוי.

תוכנית התאוששות מאסון (DR) עם מעבר לגיבוי בעת כשל

התכונה 'שחזור מאסון' מאפשרת להחליף בין האזורים הראשי והמשני של קטלוג. פעולת היתירות כשל מחליפה את האזור הראשי עבור הקטלוג וכל מרחבי השמות והטבלאות שלו. יש שני מצבים למעבר לגיבוי: מעבר רך לגיבוי ומעבר קשיח לגיבוי.

  • מעבר גיבוי אוטומטי רך: מעבר גיבוי אוטומטי רך מונע אובדן נתונים. במצב הזה, האזור הראשי החדש מתחיל לקבל פעולות כתיבה רק אחרי שכל הנתונים הקודמים מסונכרנים מהאזור הראשי הקודם. משתמשים במעבר גיבוי אוטומטי רך לבדיקות שחזור אחרי אסון או לתרחישים מתוכננים אחרים.

  • יתירות כשל מלאה: יתירות כשל מלאה נותנת עדיפות לזמינות על פני עקביות הנתונים, והיא מיועדת לשחזור השירות. במצב הזה, האזור הראשי תמיד משתלט על התנועה ומקבל תנועת כתיבה, ללא קשר למצב הנוכחי של האזור הראשי. לדוגמה, כשמשתמשים במעבר גיבוי אוטומטי קשיח, האזור הראשי החדש יכול להשתלט גם אם אי אפשר להגיע לאזור הראשי הקודם.

מגבלות

במהלך תקופת התצוגה המקדימה של התכונה הזו, REPLICATION_TIMESTAMP עוקב רק אחרי המטא-נתונים של הקטלוג, ולא אחרי קבצים ב-Cloud Storage. כדי למנוע אובדן נתונים, כדאי לעיין במסמכי התיעוד של Cloud Storage בנושא זמינות ועמידות של נתונים.

המאמרים הבאים