במאמר הזה נסביר שהמטרה של דפוס ניתוח היברידי ורב-ענן היא לנצל את הפיצול בין עומסי עבודה טרנזקציוניים לבין עומסי עבודה של ניתוח נתונים.
במערכות ארגוניות, רוב עומסי העבודה נכללים בקטגוריות הבאות:
- עומסי עבודה טרנזקציונליים כוללים אפליקציות אינטראקטיביות כמו מכירות, עיבוד פיננסי, תכנון משאבים ארגוניים או תקשורת.
- עומסי עבודה של Analytics כוללים אפליקציות שמבצעות טרנספורמציה, ניתוח, שיפור או הצגה חזותית של נתונים כדי לעזור בתהליכי קבלת החלטות.
מערכות Analytics מקבלות את הנתונים שלהן ממערכות טרנזקציות באמצעות שאילתות של ממשקי API או גישה למסדי נתונים. ברוב הארגונים, מערכות הניתוח והמערכות הטרנזקציונליות הן נפרדות וקשורות זו לזו באופן רופף. המטרה של התבנית analytics hybrid and multicloud היא לנצל את הפיצול הקיים הזה על ידי הפעלת עומסי עבודה של עסקאות וניתוחים בשתי סביבות מחשוב שונות. קודם כל, נתונים גולמיים מחולצים מעומסי עבודה שפועלים בסביבת מחשוב פרטית, ואז הם נטענים ל-Google Cloud, שם הם משמשים לעיבוד אנליטי. חלק מהתוצאות עשויות להיות מועברות בחזרה למערכות טרנזקציונליות.
התרשים הבא ממחיש ארכיטקטורות אפשריות מבחינה מושגית, באמצעות הצגת צינורות עיבוד נתונים פוטנציאליים. כל חץ מייצג אפשרות לצינור עיבוד נתונים אפשרי של העברה ושינוי, שיכול להתבסס על ETL או ELT, בהתאם לאיכות הנתונים ולתרחיש השימוש המיועד.
כדי להעביר את הנתונים אל Google Cloud ולהפיק מהם ערך, אפשר להשתמש בשירותי העברת נתונים, חבילה מלאה של שירותים להטמעת נתונים, לשילוב נתונים וליצירת רפליקות.
כפי שמוצג בתרשים הקודם, חיבור Google Cloud לסביבות מקומיות ולסביבות ענן אחרות יכול לאפשר תרחישי שימוש שונים בניתוח נתונים, כמו סטרימינג של נתונים וגיבויים של מסדי נתונים. כדי להפעיל את ההעברה הבסיסית של נתונים בתבנית ניתוח היברידית ורב-עננית שדורשת נפח גדול של העברת נתונים, Cloud Interconnect ו-Cross-Cloud Interconnect מספקים קישוריות ייעודית למערכות מקומיות ולספקי ענן אחרים.
יתרונות
להרצת עומסי עבודה של ניתוח נתונים בענן יש כמה יתרונות מרכזיים:
- תנועה נכנסת – העברת נתונים מסביבת מחשוב פרטית או מעננים אחרים אלGoogle Cloud– יכולה להיות ללא עלות.
- עומסי עבודה של Analytics לרוב צריכים לעבד כמויות גדולות של נתונים, והם יכולים להיות עומסי עבודה שמתרחשים לפרקי זמן קצרים. לכן, הם מתאימים במיוחד לפריסה בסביבת ענן ציבורי. התאמה דינמית של משאבי המחשוב מאפשרת לעבד במהירות מערכי נתונים גדולים, בלי להשקיע מראש או להקצות יתר על המידה ציוד מחשוב.
- Google Cloud מספקת קבוצה עשירה של שירותים לניהול נתונים לאורך מחזור החיים המלא שלהם, החל מהרגע שהם מצטרפים ועד לשלב העיבוד והניתוח, ועד להמחשה הסופית.
- שירותי העברת נתונים ב- Google Cloud מספקים חבילה מלאה של מוצרים להעברה, לשילוב ולשינוי של נתונים בצורה חלקה בדרכים שונות.
- Cloud Storage מתאים מאוד לפיתוח אגם נתונים (data lake).
Google Cloud עוזרת לכם לחדש ולבצע אופטימיזציה של פלטפורמת הנתונים כדי לפרק את סילו הנתונים. שימוש בdata lakehouse עוזר ליצור סטנדרטיזציה בין פורמטים שונים של אחסון. היא גם יכולה לספק את הגמישות, יכולת ההתאמה והזריזות שנדרשות כדי להבטיח שהנתונים יניבו ערך לעסק שלכם, ולא חוסר יעילות. למידע נוסף, אפשר לעיין במאמר בנושא BigLake.
BigQuery Omni מספק כוח מחשוב שפועל באופן מקומי לאחסון ב-AWS או ב-Azure. הוא גם עוזר לכם לשלוח שאילתות לגבי הנתונים שלכם שמאוחסנים ב-Amazon Simple Storage Service (Amazon S3) או ב-Azure Blob Storage. היכולת הזו של ניתוח נתונים בענן מאפשרת לצוותי נתונים לפרק את מאגרי הנתונים (סילואים). מידע נוסף על שאילתות של נתונים שאוחסנו מחוץ ל-BigQuery זמין במאמר מבוא למקורות נתונים חיצוניים.
שיטות מומלצות
כדי להטמיע את דפוס הארכיטקטורה analytics hybrid and multicloud, כדאי לפעול לפי השיטות המומלצות הכלליות הבאות:
- כדי להפעיל את ההטמעה של נתונים, צריך להשתמש בתבנית של העברת נתונים ברשת. אם צריך להעביר תוצאות אנליטיות בחזרה למערכות טרנזקציונליות, אפשר לשלב בין דפוס ההעברה לבין דפוס היציאה המוגבלת.
- כדי להעביר נתונים מ Google Cloud מערכות טרנזקציונליות שפועלות בסביבת המחשוב הפרטית שלכם, אפשר להשתמש בתורים של Pub/Sub או בקטגוריות של Cloud Storage. אפשר להשתמש בתורים או בדליים האלה כמקורות לצינורות עיבוד נתונים ולעומסי עבודה.
- כדי לפרוס צינורות נתונים של ETL ו-ELT, מומלץ להשתמש ב-Cloud Data Fusion או ב-Dataflow, בהתאם לדרישות של התרחיש הספציפי שלכם. שני השירותים מנוהלים באופן מלא, והם שירותים לעיבוד נתונים בענן שמאפשרים ליצור ולנהל צינורות עיבוד נתונים.
- כדי לגלות, לסווג ולהגן על נכסי הנתונים החשובים שלכם, כדאי להשתמש ביכולות של Google Cloud Sensitive Data Protection, כמו טכניקות להסרת פרטים מזהים. הטכניקות האלה מאפשרות להסוות, להצפין ולהחליף מידע אישי רגיש – כמו פרטים אישיים מזהים (PII) – באמצעות מפתח שנוצר באופן אקראי או מפתח שהוגדר מראש, במקרים שבהם הדבר רלוונטי ועומד בדרישות.
כשמבצעים העברת נתונים ראשונית מסביבת המחשוב הפרטית אל Google Cloud, צריך לבחור את שיטת ההעברה שהכי מתאימה לגודל מערך הנתונים ולרוחב הפס הזמין. מידע נוסף זמין במאמר העברה אל Google Cloud: העברת מערכי נתונים גדולים.
אם נדרשת העברת נתונים או החלפת נתונים בין Google Cloud לבין עננים אחרים בטווח הארוך עם נפח תעבורה גבוה, כדאי לשקול שימוש ב-Cross-Cloud Interconnect כדי ליצור קישוריות ייעודית עם רוחב פס גבוה ביןGoogle Cloud לבין ספקי שירותי ענן אחרים (זמין במיקומים מסוימים). Google Cloud
אם נדרשת הצפנה בשכבת הקישוריות, יש אפשרויות שונות בהתאם לפתרון הקישוריות ההיברידית שנבחר. האפשרויות האלה כוללות מנהרות VPN, שער HA VPN דרך Cloud Interconnect ו-MACsec ל-Cross-Cloud Interconnect.
להשתמש בכלים ובתהליכים עקביים בכל הסביבות. במקרה של ניתוח נתונים היברידי, שמירה על אתיקה של בינה מלאכותית יכולה לעזור לשפר את היעילות בעבודה, אבל היא לא תנאי הכרחי.