ניהול זמינות גבוהה ב-Kubernetes

בוחרים גרסת תיעוד:

בדף הזה מוסבר איך להפעיל ולבדוק זמינות גבוהה (HA) באשכול מסדי הנתונים של AlloyDB Omni שמבוסס על Kubernetes. במסמך הזה אנחנו מניחים שיש לכם ידע בסיסי ביישום קובצי מניפסט של Kubernetes ובשימוש בכלי שורת הפקודה kubectl.

סקירה כללית

כדי להפעיל זמינות גבוהה באשכול של מסד הנתונים, מגדירים את מפעיל AlloyDB Omni Kubernetes כך שייצור עותקים משוכפלים במצב המתנה של המכונה הראשית של מסד הנתונים. אופרטור AlloyDB Omni מגדיר את אשכול מסד הנתונים כך שיעדכן באופן רציף את הנתונים ברפליקה הזו, ויתאים לכל השינויים בנתונים במכונה הראשית.

הפעלת זמינות גבוהה (HA)

לפני שמפעילים זמינות גבוהה באשכול מסד הנתונים, צריך לוודא שבאשכול Kubernetes יש:

  • נפח אחסון לשני עותקים מלאים של הנתונים שלכם

  • משאבי מחשוב לשני מופעים של מסדי נתונים שפועלים במקביל

כדי להפעיל את HA:

  1. משנים את המניפסט של אשכול מסד הנתונים כך שיכלול קטע availability בקטע spec. בקטע הזה משתמשים בפרמטר numberOfStandbys כדי לציין את מספר השרתים החלופיים שצריך להוסיף.

    spec:
      availability:
        numberOfStandbys: NUMBER_OF_STANDBYS
    

    מחליפים את NUMBER_OF_STANDBYS במספר המאגרים החלופיים שרוצים להוסיף. הערך המקסימלי הוא 5. אם אתם לא בטוחים כמה מכונות גיבוי אתם צריכים, התחילו בהגדרת הערך ל-1 או ל-2.

  2. מחילים מחדש את המניפסט.

השבתת HA

כדי להשבית את הזמינות הגבוהה:

  1. מגדירים את numberOfStandbys ל-0 במניפסט של האשכול:

    spec:
      availability:
        numberOfStandbys: 0
    
  2. מחילים מחדש את המניפסט.

אימות זמינות גבוהה באשכול של מסד נתונים

כדי לבדוק את סטטוס הזמינות הגבוהה באשכול של מסד נתונים, בודקים את הסטטוס של HAReady. אם הסטטוס של HAReady הוא True, סימן ש-HA מופעל ופועל באשכול. אם הערך הוא False, המדיניות מופעלת אבל לא מוכנה כי היא בתהליך הגדרה.

כדי לבדוק את הסטטוס של HAReady באמצעות שורת הפקודה של kubectl, מריצים את הפקודה הבאה:

kubectl get dbcluster.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -o jsonpath={.status.conditions[?(@.type == \'HAReady\')]} -n NAMESPACE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DB_CLUSTER_NAME: שם אשכול מסד הנתונים.

  • ‫NAMESPACE: מרחב השמות של אשכול מסד הנתונים.

מעבר למצב כשל במכונה במצב המתנה

אם המכונה הראשית לא זמינה למשך פרק זמן שניתן להגדרה, אופרטור AlloyDB Omni מעביר באופן אוטומטי את המכונה של מסד הנתונים הראשי למכונה במצב המתנה. הפרמטרים הבאים קובעים מתי להתחיל מעבר אוטומטי לגיבוי במקרה של כשל:

  • הזמן בין בדיקות התקינות (ברירת המחדל היא 30 שניות)

  • מספר בדיקות התקינות הרצופות שנכשלו (ברירת המחדל היא 3)

מעבר אוטומטי לגיבוי בעת כשל מתחיל אחרי מספר מסוים של בדיקות תקינות שנכשלו ברצף, עם מרווח זמן מסוים בין כל בדיקת תקינות שנכשלה. אם משאירים את ערכי ברירת המחדל, מתרחש מעבר אוטומטי לגיבוי אחרי 3 כשלים רצופים בבדיקות תקינות, שכל אחד מהם מתרחש בהפרש של 30 שניות.

ביצוע ידני של יתירות כשל הוא אפשרות טובה כשרוצים להתאושש במהירות מכשל בלתי צפוי ולצמצם את זמן ההשבתה.

אופרטור AlloyDB Omni תומך ביתירות כשל אוטומטית וידנית. מעבר אוטומטי לגיבוי במקרה של כשל מופעל כברירת מחדל.

מעבר לגיבוי בעת כשל גורם לרצף האירועים הבא:

  1. אופרטור AlloyDB Omni מעביר את המכונה של מסד הנתונים הראשי למצב אופליין.

  2. אופרטור AlloyDB Omni מקדם את הרפליקה במצב המתנה להיות מסד הנתונים הראשי החדש.

  3. אופרטור AlloyDB Omni מוחק את המכונה הקודמת של מסד הנתונים הראשי.

  4. אופרטור AlloyDB Omni יוצר רפליקה חדשה במצב המתנה.

השבתת יתירות כשל אוטומטית

מעבר אוטומטי לגיבוי במקרה של כשל מופעל כברירת מחדל באשכולות של מסדי נתונים.

כדי להשבית את יתירות הכשל האוטומטית:

  1. מגדירים את enableAutoFailover ל-false במניפסט של האשכול:

    spec:
      availability:
        enableAutoFailover: false
    

שינוי ההגדרות של הטריגרים למעבר אוטומטי לגיבוי במקרה של כשל

אתם יכולים להשתמש בהגדרות כדי להתאים את יתירות הכשל האוטומטית לכל אשכול מסדי נתונים.

אופרטור AlloyDB Omni מנפיק בדיקות תקינות קבועות למכונה של מסד הנתונים הראשי ולכל הרפליקות במצב המתנה. תדירות ברירת המחדל לבדיקות תקינות היא 30 שניות. אם מכונה מגיעה לסף הטריגר של יתירות כשל אוטומטית, אופרטור AlloyDB Omni מפעיל יתירות כשל אוטומטית.

ערך הסף הוא מספר הכשלים הרצופים בבדיקת התקינות לפני שמופעלת יתירות כשל. כדי לשנות את תקופת בדיקת התקינות או את ערך הסף, מגדירים את השדות healthcheckPeriodSeconds ו-autoFailoverTriggerThreshold לערכים שלמים במניפסט של האשכול:

spec:
  availability:
    healthcheckPeriodSeconds: HEALTHCHECK_PERIOD
    autoFailoverTriggerThreshold: AUTOFAILOVER_TRIGGER_THRESHOLD

מחליפים את מה שכתוב בשדות הבאים:

  • ‫HEALTHCHECK_PERIOD: ערך של מספר שלם שמציין את מספר השניות שצריך להמתין בין כל בדיקת תקינות. ערך ברירת המחדל הוא 30. הערך המינימלי הוא 1 והערך המקסימלי הוא 86400 (שווה ערך ליום).

  • ‫AUTOFAILOVER_TRIGGER_THRESHOLD: ערך של מספר שלם שמייצג את מספר הכשלים הרצופים בבדיקת התקינות לפני שמופעלת יתירות כשל. ערך ברירת המחדל הוא 3. הערך המינימלי הוא 0. אין ערך מקסימלי. אם השדה הזה מוגדר לערך 0, המערכת תשתמש בערך ברירת המחדל 3.

הפעלה ידנית של יתירות כשל

כדי להפעיל ידנית יתירות כשל, יוצרים מניפסט למשאב חדש של יתירות כשל ומחילים אותו:

apiVersion: alloydbomni.dbadmin.goog/v1
kind: Failover
metadata:
  name: FAILOVER_NAME
  namespace: NAMESPACE
spec:
  dbclusterRef: DB_CLUSTER_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫FAILOVER_NAME: שם למשאב, לדוגמה failover-1.

  • ‫NAMESPACE: מרחב השמות של משאב יתירות הכשל, שצריך להתאים למרחב השמות של אשכול מסד הנתונים שהוא חל עליו.

  • ‫DB_CLUSTER_NAME: השם של אשכול מסד הנתונים שרוצים להעביר למצב של מעבר לגיבוי בעת כשל.

כדי לעקוב אחרי יתירות הכשל, מריצים את הפקודה הבאה:

kubectl get failover FAILOVER_NAME -o jsonpath={.status.state} -n NAMESPACE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫FAILOVER_NAME: השם שהקציתם למשאב לגיבוי בעת כשל כשיצרתם אותו.

  • ‫NAMESPACE: מרחב השמות של אשכול מסד הנתונים.

הפקודה מחזירה את הערך Success אחרי שהמופע החדש של מסד הנתונים הראשי מוכן לשימוש. כדי לעקוב אחרי הסטטוס של המכונה החדשה במצב המתנה, עיינו בקטע הבא.

אם יתירות הכשל נכשלת או שאשכול מסד הנתונים נשאר בשלב DBClusterFailoverInProgress או DBClusterFailoverRollbackFailed, קראו את המאמר אשכול מסד הנתונים נשאר תקוע במצב של יתירות כשל או מעבר.

מעבר למכונה במצב המתנה

העברה מתבצעת כשרוצים לבדוק את הגדרת תוכנית ההתאוששות מאסון (DR) או כל פעילות מתוכננת אחרת שדורשת החלפה בין התפקידים של מסד הנתונים הראשי והרפליקה במצב המתנה.

בסיום המעבר, כיוון השכפול והתפקידים של מכונת מסד הנתונים הראשית ושל הרפליקה במצב המתנה מתהפכים. כדי לבדוק את ההגדרה של תוכנית ההתאוששות מאסון (DR) בלי לאבד נתונים, אתם יכולים להשתמש במעברים ידניים.

אופרטור AlloyDB Omni תומך במעבר ידני. מעבר כזה גורם לרצף האירועים הבא:

  1. אופרטור AlloyDB Omni מעביר את המכונה של מסד הנתונים הראשי למצב אופליין.

  2. אופרטור AlloyDB Omni מקדם את הרפליקה במצב המתנה להיות מסד הנתונים הראשי החדש.

  3. אופרטור AlloyDB Omni מעביר את המכונה הקודמת של מסד הנתונים הראשי למצב של רפליקה במצב המתנה.

ביצוע מעבר

לפני שמתחילים את המעבר, צריך לבצע את הפעולות הבאות:

כדי לבצע העברה, יוצרים מניפסט למשאב העברה חדש ומחילים אותו:

apiVersion: alloydbomni.dbadmin.goog/v1
kind: Switchover
metadata:
    name: SWITCHOVER_NAME
spec:
     dbclusterRef: DB_CLUSTER_NAME
     newPrimary: STANDBY_REPLICA_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SWITCHOVER_NAME: שם למשאב המעבר הזה, לדוגמה switchover-1.

  • ‫DB_CLUSTER_NAME: השם של המכונה של מסד הנתונים הראשי שעליה חלה פעולת המעבר.

  • ‫STANDBY_REPLICA_NAME: השם של המכונה של מסד הנתונים שרוצים להפוך למכונה הראשית החדשה.

    כדי לזהות את שם הרפליקה במצב המתנה, מריצים את הפקודה הבאה:

    kubectl get instances.alloydbomni.internal.dbadmin.goog

אם המעבר נכשל או שאשכול מסד הנתונים נשאר בשלב DBClusterSwitchoverInProgress או DBClusterSwitchoverRollbackFailed, קראו את המאמר אשכול מסד הנתונים נשאר תקוע במצב של יתירות כשל או מעבר.

תיקון אוטומטי של מכונה במצב המתנה

אם מכונה במצב המתנה לא זמינה, אופרטור AlloyDB Omni מתקן את המכונה על ידי מחיקת הרפליקה הישנה במצב המתנה ויצירת רפליקה חדשה במצב המתנה שתחליף אותה. כברירת מחדל, התיקון האוטומטי מופעל אחרי 90 שניות.

תיקון אוטומטי של אשכול מסד הנתונים עוזר לשמור על שכפול תקין ורציף של מסד הנתונים הראשי.

השבתת התיקון האוטומטי של המכונה

כברירת מחדל, תיקון אוטומטי של מכונה במצב המתנה מופעל באשכולות של מסדי נתונים.

כדי להשבית את התיקונים האוטומטיים:

  1. במניפסט של האשכול, מגדירים את enableAutoHeal ל-false:

    spec:
      availability:
        enableAutoHeal: false
    

שינוי ההגדרות של הטריגר לתיקון אוטומטי

בכל אשכול של מסדי נתונים, אתם יכולים להשתמש בהגדרות כדי לשנות את התיקונים האוטומטיים.

אופרטור AlloyDB Omni מנפיק בדיקות תקינות קבועות שאפשר להגדיר. מידע נוסף מופיע במאמר שינוי ההגדרות של הטריגר למעבר אוטומטי לגיבוי במקרה של כשל. אם רפליקה במצב המתנה מגיעה לסף הטריגר של התיקון האוטומטי, אופרטור AlloyDB Omni מפעיל תיקון אוטומטי.

ערך הסף הוא מספר הכשלים הרצופים בבדיקת התקינות לפני שמופעל תיקון. כדי לשנות את ערך הסף, מגדירים את autoHealTriggerThreshold במניפסט של האשכול:

spec:
  availability:
    autoHealTriggerThreshold: AUTOHEAL_TRIGGER_THRESHOLD

מחליפים את מה שכתוב בשדות הבאים:

  • ‫AUTOHEAL_TRIGGER_THRESHOLD: ערך של מספר שלם שמייצג את מספר הכשלים הרצופים בבדיקת התקינות לפני שמופעלת פעולת תיקון. ערך ברירת המחדל הוא 5. הערך המינימלי הוא 2 בגלל שגיאות זמניות וחד-פעמיות אפשריות בבדיקות תקינות במצב המתנה.

פתרון בעיות בתיקון מכונות

אם אתם משתמשים במספר גדול של אשכולות של מסדי נתונים באשכול Kubernetes אחד, או אם יש לכם אשכולות של מסדי נתונים עם הקצאת חסר, יכול להיות שהתיקון האוטומטי יגרום לכך שאופרטור AlloyDB Omni או אשכולות מסדי הנתונים לא יהיו זמינים. אם מופיעה שגיאה שמתחילה ב-HealthCheckProber: health check for instance failed והיא מתייחסת לזמן קצוב לתפוגה או לכישלון בהתחברות, נסו את התיקונים המומלצים הבאים:

הנה כמה דוגמאות לשגיאות שיכולות להיגרם כתוצאה מריפוי אוטומטי מוגזם. בדוגמאות האלה לא מופיעים פרטי הסביבה שעוזרים לזהות את מקור השגיאה, כמו שם האשכול או כתובת ה-IP.

  • HealthCheckProber: health check for instance failed" err="DBSE0005: DBDaemon Client Error. secure dbdaemon connection failed: context deadline exceeded...

  • HealthCheckProber: health check for instance failed" err="rpc error: code = Code(10303) desc = DBSE0303: Healthcheck: Health check table query failed. dbdaemon/healthCheck: read healthcheck table: timeout...

  • HealthCheckProber: health check for instance failed" err="rpc error: code = Code(12415) desc = DBSE2415: Postgres: failed to connect to database. dbdaemon/healthCheck: failed to connect...

שימוש ברפליקה במצב המתנה כמכונה לקריאה בלבד

כדי להשתמש ברפליקה במצב המתנה כמכונה לקריאה בלבד, מבצעים את השלבים הבאים:

  1. מגדירים את enableStandbyAsReadReplica לערך true במניפסט של אשכול מסד הנתונים:

    spec:
      availability:
        enableStandbyAsReadReplica: true
    
  2. מחילים מחדש את המניפסט.

  3. מוודאים שנקודת הקצה לקריאה בלבד מדווחת בשדה status של האובייקט DBCluster:

    kubectl describe dbcluster -n NAMESPACE DB_CLUSTER_NAME

    התגובה לדוגמה הבאה מציגה את נקודת הקצה של המכונה לקריאה בלבד:

    Status:
    [...]
    Primary:
      [...]
      Endpoints:
        Name: Read-Write
        Value: 10.128.0.81:5432
        Name: Read-Only
        Value: 10.128.0.82:5432
    

המאמרים הבאים