הארכיטקטורה הזו מספקת מסגרת ופריסת עזר שיעזרו לכם לפתח את אסטרטגיית הגיבוי של BigQuery. המסגרת המומלצת הזו והאוטומציה שלה יכולות לעזור לארגון שלכם לבצע את הפעולות הבאות:
- לעמוד ביעדי תוכנית ההתאוששות מאסון (DR) של הארגון.
- לשחזר נתונים שאבדו בגלל טעויות אנוש.
- ציות לתקנות.
- לשפר את היעילות התפעולית.
היקף הנתונים ב-BigQuery יכול לכלול (או להחריג) תיקיות, פרויקטים, קבוצות נתונים וטבלאות. הארכיטקטורה המומלצת הזו מראה איך להפוך את פעולות הגיבוי החוזרות לאוטומטיות בקנה מידה נרחב. אתם יכולים להשתמש בשתי שיטות גיבוי לכל טבלה: תמונות מצב של BigQuery וBigQuery Export ל-Cloud Storage.
המסמך הזה מיועד לאדריכלי ענן, למהנדסים ולמנהלי משילות מידע שרוצים להגדיר ולהפוך לאוטומטיות את כללי מדיניות הנתונים בארגונים שלהם.
ארכיטקטורה
התרשים הבא מציג את ארכיטקטורת הגיבוי האוטומטי:
תהליך העבודה שמוצג בתרשים שלמעלה כולל את השלבים הבאים:
- Cloud Scheduler מפעיל הרצה לשירות ה-dispatcher באמצעות הודעת Pub/Sub, שמכילה את היקף הנתונים של BigQuery שנכללים ומוחרגים. ההפעלות מתוזמנות באמצעות ביטוי cron.
- שירות ה-dispatcher, שמבוסס על Cloud Run, משתמש ב-BigQuery API כדי להציג את הטבלאות שנמצאות בהיקף של BigQuery.
- שירות ה-dispatcher שולח בקשה אחת לכל טבלה לשירות ה-configurator באמצעות הודעת Pub/Sub.
שירות ההגדרות של Cloud Run מחשב את מדיניות הגיבוי של הטבלה לפי אחת מהאפשרויות המוגדרות הבאות:
- המדיניות ברמת הטבלה, שמוגדרת על ידי בעלי הנתונים.
- מדיניות ברירת המחדל, שמוגדרת על ידי קצין משילות המידע (data governance), לטבלאות שאין להן מדיניות מוגדרת.
למידע נוסף על כללי מדיניות גיבוי, ראו כללי מדיניות גיבוי.
שירות ההגדרות שולח בקשה אחת לכל טבלה לשירות הבא, על סמך מדיניות הגיבוי המחושבת.
בהתאם לשיטת הגיבוי, אחד מהשירותים המותאמים אישית הבאים של Cloud Run שולח בקשה ל-BigQuery API ומפעיל את תהליך הגיבוי:
- השירות של BigQuery ל-snapshots מגבה את הטבלה כ-snapshot.
- השירות לייצוא נתונים מגבה את הטבלה כייצוא נתונים ל-Cloud Storage.
כששיטת הגיבוי היא ייצוא של נתוני טבלה, sink ביומן של Cloud Logging מאזין לאירועי ההשלמה של משימות הייצוא כדי לאפשר את הביצוע האסינכרוני של השלב הבא.
אחרי ששירותי הגיבוי מסיימים את הפעולות שלהם, Pub/Sub מפעיל את שירות התיוג.
לכל טבלה, שירות התיוג מתעד את התוצאות של שירותי הגיבוי ומעדכן את מצב הגיבוי בשכבת המטא-נתונים של Cloud Storage.
המוצרים שהשתמשו בהם
ארכיטקטורת העזר הזו משתמשת במוצרים הבאים של Google Cloud :
- BigQuery: מחסן נתונים (data warehouse) ארגוני שעוזר לנהל ולנתח את הנתונים באמצעות תכונות מובנות כמו למידת מכונה, ניתוח נתונים גיאו-מרחביים ובינה עסקית (BI).
- Cloud Logging: מערכת לניהול יומנים בזמן אמת עם אחסון, חיפוש, ניתוח והתראות.
- Pub/Sub: שירות אסינכרוני וניתן להתאמה להעברת הודעות, שמפריד בין השירותים שיוצרים את ההודעות לבין השירותים שמעבדים אותן.
- Cloud Run: פלטפורמת מחשוב בלי שרת (serverless computing) שמאפשרת להריץ קונטיינרים ישירות בתשתית של Google, שניתנת להתאמה לעומס.
- Cloud Storage: מאגר אובייקטים ללא הגבלה ובעלות נמוכה, לסוגי נתונים שונים. אפשר לגשת לנתונים מתוך Google Cloudומחוץ לו, והם משוכפלים במיקומים שונים כדי ליצור יתירות.
- Cloud Scheduler: מתזמן משימות cron מנוהל באופן מלא ברמה שמתאימה לארגונים, שמאפשר להגדיר יחידות עבודה מתוזמנות לביצוע בזמנים מוגדרים או במרווחי זמן קבועים.
- Datastore: מסד נתונים NoSQL עם יכולת התאמה רחבה לאפליקציות שלכם לאינטרנט ולנייד.
תרחישים לדוגמה
בקטע הזה מפורטות דוגמאות לתרחישים לדוגמה שבהם אפשר להשתמש בארכיטקטורה הזו.
אוטומציה של גיבויים
לדוגמה, יכול להיות שהחברה שלכם פועלת בתחום מפוקח ומשתמשת ב-BigQuery כמחסן הנתונים הראשי. גם אם החברה שלכם פועלת לפי השיטות המומלצות לפיתוח תוכנה, לסקר קוד ולהנדסת גרסאות, עדיין יש סיכון לאובדן נתונים או לפגיעה בנתונים בגלל טעויות אנוש. בתעשייה מפוקחת, צריך לצמצם את הסיכון הזה ככל האפשר.
דוגמאות לטעויות אנוש:
- מחיקה בטעות של טבלאות.
- פגיעה בנתונים בגלל לוגיקה שגויה של פייפליין.
בדרך כלל אפשר לפתור טעויות אנוש כאלה באמצעות התכונה מסע בזמן, שמאפשרת לשחזר נתונים מלפני עד שבעה ימים. בנוסף, BigQuery מציע גם תקופת הגנה מפני כשלים, שבה הנתונים שנמחקו נשמרים באחסון להגנה מפני כשלים למשך שבעה ימים נוספים אחרי חלון הזמן של המסע בזמן. הנתונים האלה זמינים לשחזור במקרה חירום באמצעות Cloud Customer Care. עם זאת, אם החברה לא תגלה ותתקן את השגיאות האלה במסגרת הזמן המשולבת הזו, לא יהיה אפשר לשחזר את הנתונים שנמחקו מהמצב היציב האחרון שלהם.
כדי לצמצם את הסיכון, מומלץ לבצע גיבויים קבועים של כל טבלה ב-BigQuery שאי אפשר לשחזר מנתוני המקור (לדוגמה, רשומות היסטוריות או מדדי KPI עם לוגיקה עסקית מתפתחת).
החברה שלכם יכולה להשתמש בסקריפטים בסיסיים כדי לגבות עשרות טבלאות. עם זאת, אם אתם צריכים לגבות באופן קבוע מאות או אלפי טבלאות בארגון, אתם צריכים פתרון אוטומטי שניתן להתאמה לעומס, שיכול לבצע את הפעולות הבאות:
- טיפול במגבלות שונות של Google Cloud API.
- לספק מסגרת סטנדרטית להגדרת מדיניות גיבוי.
- לספק שקיפות ויכולות מעקב אחרי פעולות הגיבוי.
כללי מדיניות בנושא גיבוי
יכול להיות שגם החברה שלכם תדרוש שכללי מדיניות הגיבוי יוגדרו על ידי קבוצות האנשים הבאות:
- בעלי הנתונים, שמכירים הכי טוב את הטבלאות ויכולים להגדיר את כללי מדיניות הגיבוי המתאימים ברמת הטבלה.
- צוות משילות מידע (data governance), שמוודא שקיימת מדיניות חלופית לכל הטבלאות שאין להן מדיניות ברמת הטבלה. מדיניות הגיבוי מבטיחה שתיקיות, פרויקטים ומערכי נתונים מסוימים יגובו בהתאם לתקנות שמירת הנתונים של החברה.
בפריסה של ארכיטקטורת העזר הזו, יש שתי דרכים להגדיר את כללי מדיניות הגיבוי של הטבלאות, ואפשר להשתמש בהן ביחד:
הגדרה של בעלי הנתונים (מבוזרת): מדיניות גיבוי ברמת הטבלה, שמצורפת ידנית לטבלה.
- בעלי הנתונים מגדירים קובץ JSON ברמת הטבלה שמאוחסן בקטגוריה משותפת.
- כללי מדיניות ידניים מקבלים עדיפות על פני כללי מדיניות חלופיים כשהפתרון קובע את מדיניות הגיבוי של טבלה.
- לפרטים על הפריסה, ראו הגדרת כללי מדיניות לגיבוי ברמת הטבלה.
הגדרת ברירת המחדל של הארגון (מרוכזת): מדיניות חלופית שחלה רק על טבלאות שאין להן מדיניות שמצורפת באופן ידני.
- צוות משילות המידע מגדיר קובץ JSON מרכזי ב-Terraform, כחלק מהפתרון.
- מדיניות הגיבוי מציעה אסטרטגיות גיבוי כברירת מחדל ברמת התיקייה, הפרויקט, מערך הנתונים והטבלה.
- לפרטים על הפריסה, ראו הגדרת מדיניות גיבוי חלופית.
גיבוי לעומת שכפול
תהליך גיבוי יוצר עותק של נתוני הטבלה מנקודת זמן מסוימת, כדי שיהיה אפשר לשחזר אותם אם הנתונים יאבדו או ייפגמו. אפשר להפעיל גיבויים באופן חד-פעמי או באופן חוזר (באמצעות שאילתה מתוזמנת או תהליך עבודה). ב-BigQuery, אפשר ליצור גיבויים בנקודת זמן מסוימת באמצעות תמונות מצב. אתם יכולים להשתמש בתמונות מצב כדי לשמור עותקים של הנתונים מעבר לתקופת הנסיעה בזמן של שבעה ימים, באותו מיקום אחסון של נתוני המקור. תמונות מצב של BigQuery שימושיות במיוחד לשחזור נתונים אחרי טעויות אנוש שמובילות לאובדן או להשחתה של נתונים, ולא לשחזור אחרי כשלים אזוריים. ב-BigQuery, יעד רמת השירות (SLO) הוא 99.9% עד 99.99%, בהתאם למהדורה.
לעומת זאת, רפליקציה היא תהליך מתמשך של העתקת שינויים במסד נתונים למסד נתונים משני (או רפליקה) במיקום אחר. ב-BigQuery, רפליקציה בין אזורים יכולה לעזור לספק יתירות גיאוגרפית על ידי יצירת עותקים לקריאה בלבד של הנתונים ב Google Cloud אזורים משניים, שהם שונים מהאזור של נתוני המקור. עם זאת, הרפליקציה של BigQuery בין אזורים לא מיועדת לשמש כתוכנית התאוששות מאסון (DR) במקרים של הפסקות חשמל בכל האזור. כדי להתמודד עם אסונות אזוריים, כדאי להשתמש בתוכנית התאוששות מאסון (DR) מנוהלת ב-BigQuery.
רפליקציה חוצת-אזורים ב-BigQuery מספקת עותק מסונכרן לקריאה בלבד של הנתונים באזור שקרוב לצרכני הנתונים. עותקי הנתונים האלה מאפשרים איחודים משותפים ומונעים תעבורת נתונים בין אזורים ועלויות. עם זאת, במקרים של פגיעה בנתונים בגלל טעות אנוש, רפליקציה לבדה לא יכולה לעזור בשחזור, כי הנתונים הפגומים מועתקים אוטומטית לרפליקה. במקרים כאלה, גיבויים בנקודת זמן (תמונות מצב) הם בחירה טובה יותר.
בטבלה הבאה מוצג סיכום של השוואה בין שיטות הגיבוי והרפליקציה:
| Method | תדירות | מיקום אחסון | תרחישים לדוגמה | עלויות |
|---|---|---|---|---|
| גיבוי (תמונות מצב או ייצוא ל-Cloud Storage) |
חד-פעמי או חוזר | זהה לנתונים בטבלת המקור | שחזור נתונים מקוריים, מעבר לתקופת הנסיעה בזמן | תמונות מצב צוברות חיובי אחסון רק על שינויים בנתונים בתמונת המצב ייצוא יכול לצבור חיובי אחסון רגילים מידע נוסף זמין במאמר אופטימיזציה של עלויות |
| רפליקציה בין אזורים | ברציפות | אפליקציה עם פעולה מרחוק | יצירת רפליקה באזור אחר העברות חד-פעמיות בין אזורים |
חיובים על אחסון נתונים ברפליקה עלויות של רפליקציית נתונים |
שיקולים שקשורים לעיצוב
בקטע הזה מפורטות הנחיות שכדאי להביא בחשבון כשמשתמשים בארכיטקטורה לדוגמה כדי לפתח טופולוגיה שעונה על הדרישות הספציפיות שלכם בנושא אבטחה, אמינות, אופטימיזציה של עלויות, יעילות תפעולית וביצועים.
אבטחה, פרטיות ותאימות
הפריסה משלבת את אמצעי האבטחה הבאים בתכנון וביישום שלה:
- ההגדרה תעבורת נתונים נכנסת (ingress) ברשת ב-Cloud Run מקבלת רק תעבורת נתונים פנימית, כדי להגביל את הגישה מהאינטרנט. בנוסף, רק משתמשים וחשבונות שירות מאומתים יכולים לקרוא לשירותים.
- כל שירות Cloud Run ומינוי Pub/Sub משתמשים בחשבון שירות נפרד, שמוקצות לו רק ההרשאות הנדרשות. כך אפשר לצמצם את הסיכונים שקשורים לשימוש בחשבון שירות אחד למערכת, ולפעול לפי העיקרון של הרשאות מינימליות.
משיקולי פרטיות, הפתרון לא אוסף או מעבד פרטים אישיים מזהים (PII). עם זאת, אם טבלאות המקור מכילות פרטים אישיים מזהים חשופים, גם הגיבויים של הטבלאות האלה כוללים את הנתונים החשופים האלה. הבעלים של נתוני המקור אחראים להגן על כל פרט אישי מזהה בטבלאות המקור (לדוגמה, באמצעות אבטחה ברמת העמודה, הסתרת נתונים או צנזור). הגיבויים מאובטחים רק אם נתוני המקור מאובטחים. גישה אחרת היא לוודא שבפרויקטים, בקבוצות הנתונים או בקטגוריות שמכילים נתוני גיבוי עם פרטים אישיים מזהים חשופים, יש את כללי המדיניות הנדרשים של ניהול זהויות והרשאות גישה (IAM) שמגבילים את הגישה רק למשתמשים מורשים.
מכיוון שמדובר בפתרון למטרות כלליות, פריסת העזר לא בהכרח עומדת בדרישות הספציפיות של תעשייה מסוימת.
אמינות
בקטע הזה מתוארים מאפיינים ושיקולי תכנון שקשורים לאמינות.
צמצום הפגיעה של כשלים ברזולוציה גבוהה
כשמגבים אלפי טבלאות, סביר להניח שתגיעו למגבלות ה-API של מוצרי Google Cloud הבסיסיים (לדוגמה, מגבלות הפעולות של תמונת מצב וייצוא לכל פרויקט). אבל אם הגיבוי של טבלה אחת נכשל בגלל הגדרה שגויה או בעיות זמניות אחרות, זה לא אמור להשפיע על הביצוע הכולל ועל היכולת לגבות טבלאות אחרות.
כדי לצמצם כשלים פוטנציאליים, פריסת העזר מפרידה בין שלבי העיבוד באמצעות שירותי Cloud Run פרטניים ומחברת ביניהם דרך Pub/Sub. אם בקשת הגיבוי של הטבלה נכשלת בשלב הסופי של שירות התיוג, Pub/Sub מנסה שוב רק את השלב הזה ולא את כל התהליך.
פירוק התהליך לכמה שירותי Cloud Run, במקום כמה נקודות קצה (endpoints) שמתארחות בשירות Cloud Run אחד, עוזר לספק שליטה פרטנית בהגדרה של כל שירות. רמת ההגדרה תלויה ביכולות של השירות ובממשקי ה-API שאיתם הוא מתקשר. לדוגמה, שירות ה-dispatcher פועל פעם אחת בכל הרצה, אבל נדרש זמן רב כדי להציג את כל הטבלאות בהיקף הגיבוי של BigQuery. לכן, שירות ה-dispatcher דורש הגדרות גבוהות יותר של זמן קצוב לתפוגה וזיכרון. עם זאת, שירות Cloud Run של קובצי ה-snapshot של BigQuery מופעל פעם אחת לכל טבלה בהרצה אחת, ומסתיים מהר יותר משירות ה-dispatcher. לכן, השירות של Cloud Run דורש קבוצה שונה של הגדרות ברמת השירות.
עקביות הנתונים
כדי לשמור על אסטרטגיית גיבוי אמינה, חשוב לשמור על עקביות הנתונים בטבלאות ובתצוגות. הנתונים מתעדכנים ומשתנים כל הזמן, ולכן גיבויים שנוצרו בזמנים שונים עשויים לתעד מצבים שונים של מערך הנתונים. הגיבויים האלה במצבים שונים יכולים להוביל לחוסר עקביות כשמשחזרים נתונים, במיוחד בטבלאות ששייכות לאותה קבוצת נתונים פונקציונלית. לדוגמה, אם משחזרים טבלת מכירות לנקודת זמן שונה מזו של טבלת המלאי התואמת, יכול להיות שייווצר חוסר התאמה במלאי הזמין. באופן דומה, תצוגות של מסדי נתונים שצוברות נתונים מכמה טבלאות יכולות להיות רגישות במיוחד לחוסר עקביות. אם משחזרים את התצוגות האלה בלי לוודא שהטבלאות הבסיסיות נמצאות במצב עקבי, התוצאות עלולות להיות לא מדויקות או מטעות. לכן, כשאתם מתכננים את מדיניות הגיבוי ואת תדירות הגיבוי ב-BigQuery, חשוב מאוד להביא בחשבון את העקביות הזו ולוודא שהנתונים ששוחזרו משקפים במדויק את המצב של קבוצת הנתונים בעולם האמיתי בנקודת זמן נתונה.
לדוגמה, בפריסה של ארכיטקטורת העזר הזו, עקביות הנתונים נשלטת באמצעות שתי ההגדרות הבאות בכללי מדיניות הגיבוי. ההגדרות האלה מחשבות את הזמן המדויק של תמונת המצב של הטבלה באמצעות מסע בזמן, בלי לגבות בהכרח את כל הטבלאות בו-זמנית.
-
backup_cron: קובע את התדירות שבה מתבצע גיבוי של טבלה. חותמת הזמן של תחילת ההפעלה משמשת כנקודת ייחוס לחישוב של Time Travel לכל הטבלאות שמגובות בהפעלה הזו. -
backup_time_travel_offset_days: קובע כמה ימים בעבר צריך להחסיר מנקודת הזמן של ההתייחסות (שעת ההתחלה של ההרצה), כדי לחשב את הגרסה המדויקת של הטבלה ב-Time Travel.
שחזור גיבוי אוטומטי
למרות שארכיטקטורת העזר הזו מתמקדת באוטומציה של גיבויים בקנה מידה נרחב, אפשר גם לשחזר את הגיבויים האלה באופן אוטומטי. האוטומציה הנוספת הזו יכולה לספק יתרונות דומים לאלה של אוטומציית הגיבוי, כולל שיפור ביעילות ובמהירות השחזור, עם פחות זמן השבתה. מכיוון שהפתרון עוקב אחרי כל הפרמטרים והתוצאות של הגיבוי באמצעות שירות התיוג, אתם יכולים לפתח ארכיטקטורה דומה כדי להחיל את פעולות השחזור בקנה מידה נרחב.
לדוגמה, אתם יכולים ליצור פתרון שמבוסס על טריגר על פי דרישה, ששולח היקף של נתוני BigQuery לשירות של מנהל משימות, ששולח בקשה אחת לכל טבלה לשירות של מגדיר. שירות ה-configurator יכול לאחזר את היסטוריית הגיבויים הרצויה לטבלה מסוימת. לאחר מכן, שירות ההגדרה יכול להעביר את הבקשה לשירות שחזור של תמונת מצב ב-BigQuery או לשירות שחזור של Cloud Storage כדי להחיל את פעולת השחזור בהתאם. לבסוף, שירות תיוג יכול לאחסן את התוצאות של הפעולות האלה במאגר מצבים. כך, מסגרת השחזור האוטומטי יכולה ליהנות מאותן מטרות תכנון כמו מסגרת הגיבוי שמפורטת במסמך הזה.
הוזלת עלויות
המסגרת של הארכיטקטורה הזו מספקת כללי מדיניות לגיבוי שמגדירים את הפרמטרים הבאים לאופטימיזציה של העלות הכוללת:
- שיטת הגיבוי: המסגרת מציעה שתי שיטות גיבוי:
- תמונות מצב של BigQuery, שצוברות עלויות אחסון על סמך נתונים מעודכנים ונמחקים בהשוואה למסד הנתונים הטבלאי. לכן, תמונות מצב הן חסכוניות יותר לטבלאות שרק מוסיפים להן נתונים או שהעדכונים שלהן מוגבלים.
- ייצוא של BigQuery ל-Cloud Storage, שכולל חיובי אחסון רגילים. עם זאת, בטבלאות גדולות שפועלות בגישה של חיתוך וטעינה, חסכוני יותר לגבות אותן כייצוא בסוגי אחסון זולים יותר.
- תפוגת תמונת המצב: אורך החיים (TTL) מוגדר לתמונת מצב אחת של טבלה, כדי להימנע מעלויות אחסון של תמונת המצב ללא הגבלת זמן. עלויות האחסון יכולות לגדול עם הזמן אם לטבלאות אין תאריך תפוגה.
יעילות תפעולית
בקטע הזה מתוארות תכונות ושיקולים שקשורים ליעילות תפעולית.
מדיניות גיבוי מפורטת וניתנת להתאמה
אחת המטרות של המסגרת הזו היא יעילות תפעולית, על ידי הגדלת התפוקה העסקית תוך שמירה על תשומות עסקיות נמוכות יחסית וניתנות לניהול. לדוגמה, הפלט הוא מספר גבוה של טבלאות שמגובות באופן קבוע, והקלט הוא מספר קטן של כללי מדיניות והגדרות גיבוי מתוחזקים.
בנוסף למדיניות גיבוי ברמת הטבלה, אפשר להגדיר מדיניות גם ברמת מערך הנתונים, הפרויקט, התיקייה והארגון. כלומר, באמצעות כמה הגדרות ברמות גבוהות יותר (לדוגמה, ברמת התיקייה או הפרויקט), אפשר לגבות מאות או אלפי טבלאות באופן קבוע ובקנה מידה נרחב.
ניראות (observability)
כשמשתמשים במסגרת אוטומציה, חשוב להבין את הסטטוסים של התהליכים. לדוגמה, אתם אמורים למצוא את המידע לשאילתות הנפוצות הבאות:
- מדיניות הגיבוי שבה המערכת משתמשת לכל טבלה.
- היסטוריית הגיבויים ומיקומי הגיבויים של כל טבלה.
- הסטטוס הכולל של הרצה אחת (מספר הטבלאות שעובדו והטבלאות שנכשלו).
- השגיאות הקריטיות שהתרחשו בהפעלה אחת, והרכיבים או השלבים בתהליך שבהם הן התרחשו.
כדי לספק את המידע הזה, הפריסה כותבת יומנים מובְנים ב-Cloud Logging בכל שלב של הפעלה שמשתמש בשירות Cloud Run. היומנים כוללים את הקלט, הפלט והשגיאות, וגם נקודות בקרה אחרות של ההתקדמות. sink ביומן מנתב את היומנים האלה לטבלה ב-BigQuery. אתם יכולים להריץ כמה שאילתות כדי לעקוב אחרי הרצות ולקבל דוחות לתרחישים נפוצים לדוגמה של ניראות. במאמר הצגת יומנים שנותבו ל-BigQuery תוכלו לקרוא מידע נוסף על יומנים ושאילתות ב-BigQuery.
אופטימיזציה של הביצועים
כדי לטפל באלפי טבלאות בכל הרצה, הפתרון מעבד בקשות גיבוי במקביל. שירות ה-dispatcher מציג את כל הטבלאות שנכללות בהיקף הגיבוי של BigQuery, ויוצר בקשת גיבוי אחת לכל טבלה בכל הפעלה. כך האפליקציה יכולה לעבד אלפי בקשות וטבלאות במקביל, ולא ברצף.
יכול להיות שחלק מהבקשות האלה ייכשלו בהתחלה מסיבות זמניות, כמו הגעה למגבלות של ממשקי ה-API של Google Cloud או בעיות ברשת. עד שהבקשות יושלמו, Pub/Sub ינסה לשלוח אותן שוב באופן אוטומטי בהתאם למדיניות הניסיונות החוזרים עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff). אם יש שגיאות חמורות, כמו יעדי גיבוי לא חוקיים או הרשאות חסרות, השגיאות נרשמות ביומן והביצוע של בקשת הטבלה הספציפית הזו מסתיים בלי להשפיע על ההרצה הכוללת.
מגבלות
המכסות והמגבלות הבאות חלות על הארכיטקטורה הזו.
לגבי תמונות מצב של טבלאות, בכל פרויקט של פעולת גיבוי שאתם מציינים:
- בפרויקט אחד אפשר להריץ עד 100 משימות בו-זמנית של תמונת מצב של טבלה.
- בפרויקט אחד אפשר להריץ עד 50,000 משימות של תמונת מצב של טבלה ביום.
- בפרויקט אחד אפשר להריץ עד 50 משימות של תמונת מצב של טבלה לכל טבלה ביום.
למידע נוסף, קראו את המאמר תמונות מצב של טבלאות.
במשימות ייצוא (ייצוא ל-Cloud Storage), חלים הכללים הבאים:
- אתם יכולים לייצא בחינם עד 50TiB של נתונים ביום מפרויקט, באמצעות מאגר ה-slots המשותף.
- בפרויקט אחד אפשר להפעיל עד 100,000 פעולות ייצוא ביום. כדי להגדיל את המגבלה, צריך ליצור הזמנת משבצת.
למידע נוסף על הרחבת המגבלות האלה, ראו משימות ייצוא.
בנוגע למגבלות על בו-זמניות, בארכיטקטורה הזו נעשה שימוש ב-Pub/Sub כדי לנסות שוב באופן אוטומטי בקשות שנכשלו בגלל המגבלות האלה, עד שהן יטופלו על ידי ה-API. עם זאת, אם יש מגבלות אחרות על מספר הפעולות לכל פרויקט ביום, אפשר להקל עליהן באמצעות בקשה להגדלת המכסה או על ידי פיזור פעולות הגיבוי (תמונות מצב או ייצוא) בין כמה פרויקטים. כדי לפזר את הפעולות בין הפרויקטים, מגדירים את כללי מדיניות הגיבוי כמו שמתואר בקטעי הפריסה הבאים:
פריסה
כדי לפרוס את הארכיטקטורה הזו, קראו את המאמר פריסת אוטומציה של גיבוי BigQuery שניתן להתאמה לעומס.
המאמרים הבאים
- מידע נוסף על BigQuery:
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: Karim Wadie | מהנדס ענן אסטרטגי
תורמים אחרים:
- כריס דה-פורסט | מהנדס אמינות אתר (SRE)
- אייל בן עברי | ארכיטקט פתרונות ענן
- ג'ייסון דבנפורט | אחראי קשרי מפתחים (Developer Advocate)
- ג'אליה אקאנאיאקה | מנהל הנדסה
- מוחמד זאין | מהנדס ענן אסטרטגי