ארכיטקטורת עזר של מסד נתונים של MariaDB ב-GDC עם air gap

ארכיטקטורת העזר הזו מספקת מסגרת קונספטואלית לפריסה ולהפעלה של מסדי נתונים של MariaDB 12 בניהול הלקוח, עם זמינות גבוהה, ב-Google Distributed Cloud (GDC)‎ ללא חיבור לרשת. הוא מאפשר ללקוחות ארגוניים וללקוחות עם גישה מוקדמת לתחזק באופן אמין עומסי עבודה קריטיים של מסדי נתונים, באמצעות הגדרה יעילה של מכונה וירטואלית (VM) בכמה אזורים.

בשלב הזה, ב-GDC עם air gap אין תמיכה באשכולות Kubernetes שנמתחים על פני כמה אזורים. לכן, הארכיטקטורה הזו מסתמכת אך ורק על מכונות וירטואליות ייעודיות שנפרסות בשלושה דומיינים של זמינות, כדי להבטיח פעילות רציפה ולעמוד בכשל מלא של אזור בלי לאבד נתונים.

תכונות ויכולות

  • ‫Multi-zone Resiliency: הגדרה של 3 צמתים עם עמידות גבוהה, שנפרסת על פני שלושה אזורי זמינות נפרדים כדי להגן מפני כשלים באזור תשתית יחיד.
  • זמינות גבוהה וקונצנזוס אוטומטיים: שימוש ב-Galera לאשכולות סינכרוניים עם כמה מאסטרים, כדי לספק זיהוי כשלים אוטומטי, קונצנזוס בין צמתים וסנכרון נתונים גלובלי בלי תרחישים של פיצול מוח (split-brain).
  • ניתוב תנועה חכם: מכונות HAProxy שממוקמות באותו מקום מנהלות את מאגר החיבורים ומנתבות את התנועה באופן קפדני – הן מפנות פעולות כתיבה (למשל, יציאה 3306) לצומת ראשי פעיל, ומאזנות את העומסים של פעולות קריאה (למשל, יציאה 3307) בין רפליקות מסונכרנות.
  • איזון עומסים גלובלי: משתלב עם מאזן העומסים הגלובלי ברמת L4 של GDC, שהוא חלק מהפלטפורמה, כדי לספק כתובת IP וירטואלית (VIP) אחת ויציבה לאפליקציות לקוח, תוך הפשטת הטופולוגיה של הצומת הבסיסי.
  • אימות של יתירות כשל עם מודעות למסד הנתונים: משתמש בסקריפט קל משקל בהתאמה אישית ב-Python או בפתרון OSS כמו clustercheck (למשל, חשוף ביציאה 9200) כדי להציג בדיקות תקינות למאזן העומסים ול-HAProxy, וכך לוודא שהתנועה מנותבת רק לצמתים תקינים ומסונכרנים באופן מלא.

עקרונות אדריכליים

  • קונצנזוס סינכרוני מבוסס-רוב: נותן עדיפות לעקביות נתונים קפדנית על פני מודל עקביות הדרגתי. ‫Galera אוכפת מודל שמבוסס על קוורום ודורש הסכמה של הרוב, וכך מבטלת את הסיכון לאובדן נתונים או ל-split-brain במהלך חלוקת הרשת.
  • הפרדת תחומי האחריות: הפרדה בין שכבת הרפליקציה של מסד הניתונים (Galera) לבין שכבת הניתוב של החיבור וזיהוי יתירות הכשל (HAProxy ושירות בדיקת התקינות של Python).
  • אופטימיזציה של התשתית: תכונה שתוכננה במיוחד לסביבות עם air gap, שמשתמשת במכונות וירטואליות חזקות כדי לעקוף את המגבלות הנוכחיות של רשתות Kubernetes.

ארכיטקטורה

ארכיטקטורה של שלוש מכונות וירטואליות שמריצה סטאק של שירותים באותו מיקום.

מושגים וטכנולוגיות

בקטע הזה מפורטים הרכיבים הפונקציונליים והתפקידים הספציפיים שלהם בארכיטקטורה מרובת האזורים.

תשתית ופלטפורמה

  • מכונות וירטואליות (VMs): שלוש מכונות Compute ייעודיות, שכל אחת מהן פרוסה באזור זמינות נפרד כדי ליצור את גבולות דומיין הכשל.
  • מאזן עומסים גלובלי L4 ב-GDC: מבנה רשת שמנוהל על ידי הפלטפורמה, שחושף כתובת VIP פנימית יציבה ומעריך באופן אוטומטי בדיקות תקינות של HTTP שמבוססות על Python כדי להפנות מחדש תנועה נכנסת.

שירותים ולוגיקה

  • ‫MariaDB 12: המנוע העיקרי של מסד הנתונים הרלציוני.
  • ‫Galera Plugin: מסגרת האשכולות שאחראית על שכפול סינכרוני של כמה מאסטרים ואימות הקוורום של הצמתים.
  • ‫HAProxy: משמש כנתב התנועה בכל מכונה וירטואלית. הוא מוגדר בטופולוגיה של פעיל/גיבוי לכתיבה כדי למנוע מבוי סתום, ובשיטת Round-Robin לקריאה מבוזרת.
  • שירות Python Health Check: שירות HTTP קל (עטוף ב-systemd) שדוגם באופן רציף את מצב מסד הנתונים המקומי ומאותת על מצב התקינות שלו בחזרה ל-HAProxy ולמאזן העומסים L4 דרך יציאה 9200.

זרימת נתונים וממשקים

  1. האפליקציות שולחות בקשות למסד הנתונים אל Global L4 Load Balancer VIP.
  2. מאזן העומסים מעביר את החיבור למכונה תקינה של HAProxy באחת מהמכונות הווירטואליות.
  3. בהתאם ליציאה המבוקשת, HAProxy מעביר את התנועה באופן דינמי: יציאה 3306 מטרגטת רק את הצומת הפעיל לכתיבה, ויציאה 3307 מעבירה את הקריאות בין הצמתים באשכול.

שיקולים שקשורים לעיצוב

שיקולים כלליים

  • פשרות בין ביצועים לעקביות: מכיוון ש-Galera הוא סינכרוני באופן טבעי, כל טרנזקציה חייבת לקבל אישור על ידי עמיתים באשכול. הביצועים קשורים ישירות לזמן האחזור של הרשת בין האזורים בסביבת GDC.
  • ניהול משאבים: פריסת HAProxy ישירות במכונות הווירטואליות של מסד הנתונים מאפשרת ניצול אופטימלי של החומרה, אבל צריך לכוונן את המשאבים בקפידה כדי למנוע מצב שבו התקורה של מאגר החיבורים תגזול משאבים מהתהליכים העיקריים של MariaDB.

שיקולים לגבי בדיקת תקינות

הפתרון הזה משתמש בסקריפט Python מותאם אישית בגלל הפשטות שלו והיעדר יחסי תלות חיצוניים, אבל הלקוחות יכולים לבחור להטמיע בדיקת תקינות רגילה של OSS באמצעות xinetd ו-clustercheck.

  • סקריפט Python בהתאמה אישית: משתמש ב-Python 3 ובמודול http.server שמותקנים מראש, ומתאים לסביבות עם air gap כי לא צריך להעביר חבילות נוספות. עם זאת, הלקוח צריך לתחזק את קוד הסקריפט המותאם אישית.
  • כלים בקוד פתוח (xinetd / clustercheck): מעבירים את נטל התחזוקה לקהילת הקוד הפתוח, אבל מגבירים את המורכבות של הארכיטקטורה ואת ניהול התלות במהלך ההכנה הראשונית של התוכנה עם air gap.

שיקולי ביצועים

כשמתכננים את הפריסה, כדאי להביא בחשבון את הגורמים הבאים כדי לשפר את הביצועים והאמינות:

  • גודל החומרה: הדרישות משתנות בהתאם לעומס העבודה, אבל אפשר להשתמש בפרופילים הסטנדרטיים האלה כנקודת התחלה לכל מכונה וירטואלית:
    • פיתוח/הוכחת היתכנות: ‏2 vCPU, ‏8GB RAM (מינימום לפעולה יציבה).
    • סביבת ייצור קטנה: 4 מעבדי vCPU, זיכרון RAM בנפח 16GB. מתאים לכלים פנימיים עם בו-זמניות מתונה.
    • Standard Production: ‏ 8 vCPU, 32GB RAM. הבסיס המומלץ לאפליקציות קריטיות.
    • ‫High-Throughput: ‏16+ vCPU, ‏64GB+ RAM. נדרש לעומסי עבודה עם קבוצות עבודה גדולות, שבהם יש יתרון לשמירה נרחבת של נתונים במטמון במאגר המאגרים של InnoDB.
  • ביצועי האחסון: אחסון עם ביצועים גבוהים חיוני לעמידות של מסד הנתונים וליציבות של האשכול. מומלץ מאוד להשתמש בדיסקים מסוג SSD כדי לצמצם את זמן האחזור של הכתיבה במהלך שלב ה-commit של הרפליקציה הסינכרונית. כדי ליהנות מביצועים אופטימליים, כדאי לשאוף לזמן אחזור של כתיבה בדיסק p99 של פחות מ-10 אלפיות השנייה, כדי לוודא שהיומנים הבינאריים של Galera gcache או MySQL לא יהפכו לצוואר בקבוק.
  • זמן אחזור ברשת ובקרת זרימה: זמן האחזור בין המכונות הווירטואליות משפיע ישירות על מהירות ה-commit של הטרנזקציות.
    • רפליקציה סינכרונית: באשכול של Galera או של Group Replication, רוב הצמתים צריכים לאשר כל טרנזקציית כתיבה. זמן האחזור בין אזורים ב-GDC עם air gap הוא בדרך כלל פחות מ-1ms, וזה מצוין כדי לשמור על תקורה מינימלית של כתיבה (בדרך כלל 10-30%).
    • בקרת זרימה: ריצוד גבוה ברשת או צומת "איטי" אחד יכולים להפעיל את בקרת הזרימה של Galera, ולהשהות את פעולות הכתיבה בכל האשכול כדי לאפשר לצומת האיטי להדביק את הפער.
  • התפקיד של HAProxy (או MySQL Router): עדיין צריך מאזן עומסים:
    • חלוקת התנועה: HAProxy מבטיח שתנועת הכתיבה תופנה אך ורק לצומת פעיל אחד (יציאה 3306) כדי למנוע מבוי סתום, תוך איזון שאילתות לקריאה בלבד בכל הרפליקות המסונכרנות (יציאה 3307).
    • יציבות החיבור: הוא מספק שכבת הפשטה שמונעת מהאפליקציות את הצורך לטפל באופן ידני בלוגיקה מורכבת של יתירות כשל.
  • רכיבי Sidecar: שירות בדיקת התקינות המותאם אישית של Python ומאזן העומסים הם רכיבים קלים אבל קריטיים. חשוב לוודא שה-VMs זמינים באופן עקבי למעבד (CPU). בתרחישים של עומס גבוה, "גניבת" מעבד ברמת ה-hypervisor עלולה לעכב את התגובות לבדיקות התקינות, ולגרום למאזן העומסים הגלובלי להוציא צומת תקין מהרוטציה לפני הזמן.

החלטה לגבי העיצוב

הבחירות האדריכליות שנעשו ב-SRA הזה מתייחסות באופן מפורש למגבלות של GDC עם air gap, ומבצעות אופטימיזציה לתפוקה גבוהה.

  • מכונות וירטואליות ב-Kubernetes: נכון לעכשיו, ב-GDC עם air gap אין תמיכה באשכולות Kubernetes שפרוסים על פני כמה אזורים פיזיים. הגישה שמבוססת על מכונות וירטואליות נבחרה כי פריסת מכונות וירטואליות ייעודיות באזורים נפרדים היא הדרך היחידה להשיג זמינות גבוהה אמיתית בכמה אזורים, ולשרוד כשל מוחלט באזור.
  • Galera לעומת הגדרה ידנית של ראשי/משני (עם ProxySQL): ארכיטקטורה מסורתית של ראשי/משני בשילוב עם ProxySQL נבחנה כחלופה אפשרית. עם זאת, הטיפול בלוגיקה של יתירות כשל ידנית לצד ProxySQL כרוך במורכבות משמעותית של סקריפטים ותפעול. במקום זאת, נבחרה Galera כי האופי הסינכרוני המקורי שלה מפחית באופן משמעותי את המורכבות של יתירות הכשל ומספק ביצועים טובים בהרבה.
  • דחיית Orchestrator: ‏Orchestrator נחשב למנהל טופולוגיה מקובל בתחום ליתירות כשל אוטומטית. עם זאת, הוא נבדק ובסופו של דבר נדחה כי הוא תומך רק ב-MariaDB 10, ולא תואם לגרסאות של MariaDB שגבוהות מ-11. לכן, הוא לא תואם לדרישה שלנו ל-MariaDB 12.
  • איזון עומסים גלובלי מובנה בפלטפורמה: שימוש במאזן העומסים הגלובלי המובנה GDC Global L4 מבטיח שכתובת ה-VIP נשלטת על ידי מישור הבקרה של GDC, מה ששומר על העמידות של נקודת הכניסה ומפשט את העברת התנועה בין אזורים.

הנחות ומגבלות

הנחות

  • זמינות התשתית: ללקוחות יש מכסת פרויקטים מספיקה כדי להקצות מכונות וירטואליות ייעודיות בגודל מתאים ומאזני עומסים גלובליים שמתחלקים באופן שווה בין 3 אזורי זמינות.
  • רשת מאובטחת: גישה מבוססת-מפתח וכללי ProjectNetworkPolicies‏ (PNP) מתאימים מוגדרים כדי לאפשר סנכרון של Galera בתוך האשכול ודגימה של בדיקת תקינות.

מגבלות

  • אין תמיכה ב-Kubernetes: לקוחות שמחפשים פתרונות שמבוססים על קונטיינרים או על Kubernetes לא יכולים להשיג זמינות גבוהה בכמה אזורים, עד שהפלטפורמה תתמוך באופן מלא באשכולות מורחבים.
  • נדרשים שדרוגים ידניים: בניגוד לשירותים מנוהלים, בפתרון הזה הלקוח אחראי באופן מלא על תיקוני באגים שגרתיים ברמת מערכת ההפעלה, על שדרוגים של גרסאות משניות של מסדי נתונים ועל ניהול הגרסאות של Galera.
  • רגישות לזמן האחזור ברשת: רפליקציה סינכרונית דורשת רשת איכותית ויציבה. תנודות או קפיצות בזמן האחזור ברשת בין האזורים עם ה-air gap יעכבו באופן יחסי את פעולות הכתיבה באשכול MariaDB.

חומרים נוספים