ארכיטקטורה ופונקציות ברשת נתונים

Last reviewed 2024-09-03 UTC

רשת נתונים היא מסגרת ארכיטקטונית וארגונית שמתייחסת לנתונים כאל מוצר (במסמך הזה הם נקראים מוצרי נתונים). במסגרת הזו, מוצרי הנתונים מפותחים על ידי הצוותים שמבינים הכי טוב את הנתונים האלה, ופועלים לפי קבוצה של תקני משילות מידע (data governance) שחלים על כל הארגון. אחרי שפורסים את מוצרי הנתונים ברשת הנתונים, צוותים מבוזרים בארגון יכולים למצוא נתונים שרלוונטיים לצרכים שלהם ולגשת אליהם בצורה מהירה ויעילה יותר. כדי להגיע למצב שבו הנתונים המבוזרים פועלים בצורה תקינה, קודם צריך להגדיר את רכיבי הארכיטקטורה ברמה גבוהה ואת התפקידים הארגוניים שמתוארים במאמר הזה.

המסמך הזה הוא חלק מסדרה שמתארת איך להטמיע ארכיטקטורת נתונים מבוזרת ב- Google Cloud. הוא מבוסס על ההנחה שקראתם את המאמר בניית רשת נתונים מודרנית ומבוזרת באמצעות Google Cloud ואתם מכירים את המושגים שמתוארים בו.

הסדרה כוללת את החלקים הבאים:

• ארכיטקטורה ופונקציות ברשת נתונים (המסמך הזה)
• תכנון פלטפורמת נתונים בשירות עצמי לנתונים מבוזרים
• יצירת מוצרי נתונים ברשת נתונים
• חיפוש ושימוש במוצרי נתונים ברשת נתונים

בסדרה הזו, רשת הנתונים שמתוארת היא פנימית לארגון. אפשר להרחיב את ארכיטקטורת הנתונים המבוזרים כדי לספק מוצרי נתונים לצדדים שלישיים, אבל הגישה המורחבת הזו לא נכללת במסמך הזה. כשמרחיבים את רשת הנתונים, צריך להביא בחשבון שיקולים נוספים מעבר לשימוש בתוך הארגון.

ארכיטקטורה

המונחים המרכזיים הבאים משמשים להגדרת הרכיבים הארכיטקטוניים שמתוארים בסדרה הזו:

• מוצר נתונים: קונטיינר לוגי או קיבוץ של משאב נתונים אחד או יותר שקשורים זה לזה.
• משאב נתונים: משאב נתונים הוא נכס פיזי במערכת אחסון שמכיל נתונים מובְנים או מאחסן שאילתה שמניבה נתונים מובְנים.
• מאפיין נתונים: מאפיין נתונים הוא שדה או רכיב של משאב נתונים.

בתרשים הבא מוצגת סקירה כללית של הרכיבים הארכיטקטוניים העיקריים ברשת נתונים שמוטמעת ב- Google Cloud.

בתרשים שלמעלה מוצגים:

• השירותים המרכזיים מאפשרים ליצור ולנהל מוצרי נתונים, כולל כללי מדיניות של הארגון שמשפיעים על המשתתפים ברשת הנתונים, אמצעי בקרת גישה (באמצעות קבוצות של ניהול זהויות והרשאות גישה) ורכיבי תוכנה ספציפיים לתשתית. דוגמאות להתחייבויות ולהזמנות כאלה, ולתשתית שמאפשרת את תפקוד הנתונים המבוזרים, מתוארות במאמר יצירת רכיבים ופתרונות לפלטפורמה.
• השירותים המרכזיים משתמשים ב-Knowledge Catalog כדי לספק את קטלוג הנתונים לכל מוצרי הנתונים ברשת הנתונים, ואת מנגנון הגילוי לצרכנים פוטנציאליים של המוצרים האלה.
• דומיינים של נתונים חושפים קבוצות משנה של הנתונים שלהם כמוצרי נתונים, באמצעות ממשקים מוגדרים היטב לצריכת נתונים. מוצרי הנתונים האלה יכולים להיות טבלה, תצוגה, קובץ מובנה, נושא או סטרימינג. ב-BigQuery זה יהיה מערך נתונים, וב-Cloud Storage זה יהיה תיקייה או קטגוריה. יכולים להיות סוגים שונים של ממשקים שאפשר לחשוף כמוצר נתונים. דוגמה לממשק היא תצוגה של BigQuery מעל טבלה ב-BigQuery. במאמר פיתוח מוצרי נתונים ברשת נתונים מפורטים סוגי הממשקים הנפוצים ביותר למטרות ניתוח.

הטמעה לדוגמה של נתונים מבוזרים

אפשר למצוא הטמעה לדוגמה של הארכיטקטורה הזו במאגר data-mesh-demo. הסקריפטים של Terraform שמשמשים בהטמעה לדוגמה ממחישים את המושגים של נתונים מבוזרים, והם לא מיועדים לשימוש בסביבת ייצור. הסקריפטים האלה מלמדים איך:

• הפרדה בין הגדרות המוצרים לבין הנתונים הבסיסיים.
• יצירת תבניות של Data Catalog לתיאור ממשקי מוצרים.
• תייגו ממשקי מוצרים באמצעות התבניות האלה.
• נותנים הרשאות לצרכני המוצר.

בממשקי המוצרים, הטמעת העזר יוצרת את סוגי הממשקים הבאים ומשתמשת בהם:

• תצוגות מורשות בטבלאות BigQuery.
• מקורות נתונים שמבוססים על נושאי Pub/Sub.

לפרטים נוספים, אפשר לעיין בקובץ ה-README במאגר.

פונקציות ברשת נתונים

כדי שרשת הנתונים תפעל היטב, צריך להגדיר תפקידים ברורים לאנשים שמבצעים משימות בתוך רשת הנתונים. הבעלות מוקצית לארכיטיפים או לפונקציות של הצוות. הפונקציות האלה כוללות את התהליכים שעוברים המשתמשים שעובדים עם הנתונים המבוזרים. כדי לתאר בבירור את התהליכים שהמשתמשים עוברים, הקצינו להם תפקידי משתמשים. אפשר לפצל ולשלב את תפקידי המשתמשים האלה בהתאם לנסיבות של כל ארגון. אתם לא צריכים למפות את התפקידים ישירות לעובדים או לצוותים בארגון.

תחום נתונים תואם ליחידה עסקית (BU) או לפונקציה בתוך ארגון. דוגמאות נפוצות לדומיינים עסקיים: מחלקת המשכנתאות בבנק, או מחלקות הלקוחות, ההפצה, הכספים או משאבי האנוש בארגון. מבחינה רעיונית, יש שתי פונקציות שקשורות לדומיין ברשת נתונים: צוותי מפיקי הנתונים וצוותי צרכני הנתונים. חשוב להבין שדומיין נתונים יחיד יכול לשמש לשתי הפונקציות בו-זמנית. צוות של דומיין נתונים מייצר מוצרי נתונים מהנתונים שבבעלותו. הצוות גם צורך מוצרי נתונים כדי לקבל תובנות עסקיות, ויוצר מוצרי נתונים נגזרים לשימוש של דומיינים אחרים.

בנוסף לפונקציות שמבוססות על דומיינים, ארכיטקטורת נתונים מבוזרים כוללת גם קבוצה של פונקציות שמבוצעות על ידי צוותים מרכזיים בארגון. הצוותים המרכזיים האלה מאפשרים את הפעולה של הנתונים המבוזרים על ידי מתן פיקוח, שירותים ומשילות בין דומיינים. הם מפחיתים את הנטל התפעולי של דומייני הנתונים ביצירה ובצריכה של מוצרי נתונים, ומאפשרים את הקשרים בין הדומיינים שנדרשים להפעלת הנתונים המבוזרים.

במסמך הזה מתוארות רק פונקציות שיש להן תפקיד ספציפי בנתונים מבוזרים. יש עוד כמה תפקידים שנדרשים בכל ארגון, בלי קשר לארכיטקטורה שבה משתמשים בפלטפורמה. אבל התפקידים האחרים האלה לא נכללים במסמך הזה.

אלה ארבע הפונקציות העיקריות ברשת נתונים:

• צוותי הפקה שמבוססים על דומיין נתונים: יוצרים מוצרי נתונים ומנהלים אותם לאורך מחזור החיים שלהם. הצוותים האלה נקראים לעיתים קרובות מפיקי הנתונים.
• צוותי צרכנים שמבוססים על דומיין נתונים: מגלים מוצרי נתונים ומשתמשים בהם באפליקציות שונות לניתוח נתונים. הצוותים האלה יכולים לצרוך מוצרי נתונים כדי ליצור מוצרי נתונים חדשים. הצוותים האלה מכונים לעיתים קרובות צרכני נתונים.
• צוות מרכזי למשילות מידע: מגדיר ואוכף את מדיניות משילות המידע בקרב יוצרי הנתונים, כדי להבטיח איכות גבוהה ואמינות של הנתונים לצרכנים. הצוות הזה נקרא בדרך כלל צוות משילות המידע.
• צוות פלטפורמת תשתית נתונים מרכזית בשירות עצמי: מספק פלטפורמת נתונים בשירות עצמי ליצרני נתונים. הצוות הזה גם מספק את הכלים לגילוי נתונים מרכזיים ולניטור מוצרי נתונים, שמשמשים גם את צרכני הנתונים וגם את יצרני הנתונים. הצוות הזה נקרא בדרך כלל צוות פלטפורמת הנתונים.

פונקציה נוספת שאפשר לשקול היא Center of Excellence ‏ (COE) לנתונים המבוזרים. המטרה של ה-COE היא לנהל את הנתונים המבוזרים. ה-COE הוא גם צוות הבוררות שמיועד לפתור מחלוקות שנוצרות על ידי כל אחת מהפונקציות האחרות. הפונקציה הזו עוזרת לחבר בין ארבע הפונקציות האחרות.

צוות מוצר מבוסס דומיין נתונים

בדרך כלל, מוצרי נתונים מבוססים על מאגר פיזי של נתונים (מחסן נתונים, אגם נתונים או מקור נתונים אחד או יותר). כדי ליצור ולתחזק את המאגרים הפיזיים האלה, הארגון צריך תפקידים מסורתיים של פלטפורמת נתונים. עם זאת, בדרך כלל האנשים בתפקידים המסורתיים האלה בפלטפורמת הנתונים הם לא אלה שיוצרים את מוצר הנתונים.

כדי ליצור מוצרי נתונים מהמאגרים הפיזיים האלה, הארגון צריך שילוב של מומחי נתונים, כמו מהנדסי נתונים ואדריכלי נתונים. בטבלה הבאה מפורטים כל תפקידי המשתמשים הספציפיים לדומיין שנדרשים בצוותי מוצר.

תפקיד	תחומי האחריות	מיומנויות נדרשות	התוצאות הרצויות
הבעלים של מוצר הנתונים	משמש כאיש הקשר העסקי הראשי למוצר הנתונים. הוא אחראי להגדרות, למדיניות, להחלטות העסקיות וליישום של הכללים העסקיים לגבי הנתונים שמוצגים כמוצרים. משמש כאיש קשר לשאלות עסקיות. לכן, הבעלים מייצג את דומיין הנתונים בפגישות עם צוותי צרכני הנתונים או עם הצוותים המרכזיים (משילות מידע ופלטפורמת תשתית הנתונים).	ניתוח נתונים ארכיטקטורת נתונים ניהול מוצר	מוצר הנתונים מספק ערך לצרכנים. ניהול חזק של מחזור החיים של מוצר הנתונים, כולל החלטה מתי להוציא מוצר משימוש או להשיק גרסה חדשה. יש תיאום של רכיבי נתונים אוניברסליים עם דומיינים אחרים של נתונים.
מוביל טכני של מוצר נתונים	משמש כאיש הקשר הראשי לנושאים טכניים שקשורים למוצר. אחראי על ההטמעה והפרסום של ממשקי המוצר. משמש כאיש קשר לשאלות טכניות. לכן, ראש התחום מייצג את תחום הנתונים בפגישות עם צוותי צרכני הנתונים או עם הצוותים המרכזיים (משילות מידע ופלטפורמת תשתית הנתונים). עובד עם צוות משילות המידע כדי להגדיר ולהטמיע בארגון תקנים של נתונים מבוזרים. עובד עם צוות פלטפורמת הנתונים כדי לעזור בפיתוח הפלטפורמה במקביל לצרכים הטכניים שנוצרים כתוצאה מההפקה והצריכה.	הנדסת מערכות מידע ארכיטקטורת נתונים הנדסת תוכנה	מוצר הנתונים עומד בדרישות העסקיות ובתקנים הטכניים של הנתונים המבוזרים. צוותי צרכני הנתונים משתמשים במוצר הנתונים, והוא מופיע בתוצאות שנוצרות על ידי חוויית הגילוי של מוצר הנתונים. אפשר לנתח את השימוש במוצר הנתונים (לדוגמה, מספר השאילתות היומיות).
תמיכה במוצרי נתונים	משמש כאיש קשר לתמיכה בסביבת הייצור. אחראי על שמירת הסכם רמת השירות (SLA) של המוצר.	הנדסת תוכנה Site Reliability Engineering (SRE)‎‎	מוצר הנתונים עומד בהסכם ה-SLA שצוין. מענה על שאלות של צרכני נתונים לגבי השימוש במוצר הנתונים.
מומחה תוכן (SME) בתחום הנתונים	מייצג את תחום הנתונים בפגישות עם מומחים בתחום (SME) מתחומי נתונים אחרים, כדי לקבוע הגדרות וגבולות של רכיבי נתונים שמשותפים לכל הארגון. עוזרת ליצרני נתונים חדשים בדומיין להגדיר את היקפי המוצרים שלהם.	ניתוח נתונים ארכיטקטורת נתונים	משתף פעולה עם מומחים אחרים בתחום הנתונים כדי ליצור ולשמר הבנה מקיפה של הנתונים בארגון ושל מודלי הנתונים שבהם הוא משתמש. מאפשר ליצור מוצרי נתונים שפועלים ביחד ותואמים למודל הנתונים הכולל של הארגון. יש סטנדרטים ברורים ליצירת מוצרי נתונים ולניהול מחזור החיים שלהם. מוצרי הנתונים מדומיין הנתונים מספקים ערך עסקי.
בעלי הנתונים	אחראי על תחום תוכן. אחראי על איכות הנתונים ועל הדיוק שלהם. אישור בקשות גישה. תורם לתיעוד של מוצרי נתונים.	כל מיומנות, אבל צריך להיות לו ידע מלא על הפונקציה העסקית. כל מיומנות, אבל צריך להיות ידע מלא לגבי משמעות הנתונים והכללים העסקיים שקשורים אליהם. כל מיומנות, אבל צריך להיות מסוגל לקבוע את הפתרון הטוב ביותר לבעיות באיכות הנתונים.	הנתונים שמשמשים את התחומים הפונקציונליים השונים מדויקים. בעלי העניין מבינים את הנתונים. השימוש בנתונים נעשה בהתאם למדיניות השימוש.

צוותים של צרכנים שמבוססים על דומיין נתונים

בארכיטקטורת נתונים מבוזרים, האנשים שצורכים מוצר נתונים הם בדרך כלל משתמשי נתונים שנמצאים מחוץ לדומיין של מוצר הנתונים. צרכני הנתונים האלה משתמשים בקטלוג נתונים מרכזי כדי למצוא מוצרי נתונים שרלוונטיים לצרכים שלהם. יכול להיות שיותר ממוצר נתונים אחד יענה על הצרכים שלהם, ולכן צרכני הנתונים יכולים להירשם לכמה מוצרי נתונים.

אם צרכני הנתונים לא מצליחים למצוא את מוצר הנתונים הנדרש לתרחיש לדוגמה שלהם, הם צריכים להתייעץ ישירות עם ה-COE של הנתונים המבוזרים. במהלך הייעוץ, צרכני הנתונים יכולים להעלות את צורכי הנתונים שלהם ולבקש ייעוץ לגבי האופן שבו אפשר לענות על הצרכים האלה באמצעות דומיין אחד או יותר.

כשצרכני נתונים מחפשים מוצר נתונים, הם מחפשים נתונים שיעזרו להם להשיג מטרות שונות, כמו דוחות ומרכזי בקרה קבועים לניתוח נתונים, דוחות ביצועים ספציפיים ומדדים אחרים של ביצועים עסקיים. לחלופין, יכול להיות שצרכני הנתונים מחפשים מוצרי נתונים שאפשר להשתמש בהם בתרחישים של בינה מלאכותית (AI) ולמידת מכונה (ML). כדי להשיג את תרחישי השימוש השונים האלה, צרכני הנתונים צריכים שילוב של פרסונות של מומחי נתונים, שהן:

תפקיד	תחומי האחריות	מיומנויות נדרשות	התוצאות הרצויות
מנתח נתונים	מחפש, מזהה, מעריך ונרשם למוצרי נתונים בדומיין יחיד או בכמה דומיינים, כדי ליצור בסיס להפעלה של מסגרות בינה עסקית.	הנדסת ניתוח נתונים ניתוח נתונים עסקיים	מספק קבוצות נתונים נקיות, מאורגנות ומצטברות לשימוש של מומחים בהמחשה חזותית של נתונים. יצירת שיטות מומלצות לשימוש במוצרי נתונים. צוות שאוסף וצובר קבוצות נתונים מדומיינים שונים כדי לענות על צורכי הניתוח של הדומיין שלו.
מפַתח אפליקציות	מפתחים מסגרת של אפליקציה לצריכת נתונים במוצר נתונים אחד או יותר, בתוך הדומיין או מחוץ לו.	פיתוח אפליקציות הנדסת מערכות מידע	יצירה, הצגה ותחזוקה של אפליקציות שצורכות נתונים ממוצר נתונים אחד או יותר. יוצר אפליקציות נתונים לשימוש של משתמשי קצה.
מומחה להמחשת נתונים	תרגום ז'רגון של הנדסת נתונים וניתוח נתונים למידע שבעלי עניין עסקיים יכולים להבין. מגדיר תהליכים לאכלוס דוחות עסקיים ממוצרי נתונים. יוצר דוחות שמתארים יעדים עסקיים אסטרטגיים ועוקב אחריהם. עובד בשיתוף עם מהנדסים בארגון כדי לתכנן מערכי נתונים שנצברים ממוצרי נתונים שנצרכו. מטמיע פתרונות דיווח. תרגום דרישות עסקיות ברמה גבוהה לדרישות טכניות.	ניתוח דרישות המחשה של נתונים	מספק למשתמשי הקצה דוחות וקבוצות נתונים תקינים ומדויקים. הדרישות העסקיות נענות באמצעות מרכזי הבקרה והדוחות שמפתחים.
מדעני נתונים	מחפש, מזהה, מעריך ונרשם למוצרי נתונים לתרחישים לדוגמה של מדעי הנתונים. חילוץ מוצרי נתונים ומטא-נתונים מכמה דומיינים של נתונים. מאמן מודלי חיזוי ופורס אותם כדי לבצע אופטימיזציה של תהליכים עסקיים בתחום. מספק משוב על טכניקות אפשריות לאיסוף נתונים ולהוספת הערות לנתונים בכמה דומיינים של נתונים.	הנדסת למידת מכונה הנדסת ניתוח נתונים	יוצר מודלים של חיזוי והנחיה כדי לשפר תהליכים עסקיים. אימון המודל ופריסת המודל מתבצעים בזמן.

צוות מרכזי למשילות מידע (data governance)

צוות משילות המידע מאפשר ליוצרי הנתונים ולצרכני הנתונים לשתף, לצבור ולחשב נתונים באופן בטוח ובשירות עצמי, בלי לחשוף את הארגון לסיכונים שקשורים לתאימות.

כדי לעמוד בדרישות התאימות של הארגון, צוות משילות המידע מורכב מכמה תפקידים של Data Practitioner:

תפקיד	תחומי האחריות	מיומנויות נדרשות	התוצאות הרצויות
מומחה למשילות מידע (data governance)	מספק פיקוח ומתאם תצוגה אחת של תאימות. ממליץ על מדיניות פרטיות בכל רחבי הרשת בנושא איסוף נתונים, הגנה על נתונים ושמירת נתונים. מוודאים שהנאמנים על המידע מכירים את כללי המדיניות ויכולים לגשת אליהם. מעדכן ומתייעץ לגבי התקנות העדכניות בנושא פרטיות נתונים, לפי הצורך. מעדכן ומתייעץ לגבי שאלות בנושא אבטחה לפי הצורך. מבצעת ביקורות פנימיות ומשתפת דוחות קבועים על תוכניות לניהול סיכונים ובקרה.	מומחה משפטי מומחה אבטחה מומחה פרטיות נתונים	התקנות בנושא פרטיות במדיניות מעודכנות. יוצרי הנתונים מקבלים הודעות על שינויים במדיניות בזמן. ההנהלה מקבלת דוחות שוטפים ובזמן על התאימות למדיניות של כל מוצרי הנתונים שפורסמו.
מנהל נתונים (נמצא בכל דומיין)	מקודד את כללי המדיניות שנוצרו על ידי המומחים למשילות מידע. הגדרת הטקסונומיה שבה הארגון משתמש כדי להוסיף הערות למוצרי נתונים, למשאבי נתונים ולמאפייני נתונים עם מטא-נתונים שקשורים לגילוי ולפרטיות, ועדכון שלה. תיאום בין בעלי עניין שונים בתוך הדומיין שלהם ומחוצה לו. מוודא שמוצרי הנתונים בדומיין שלו עומדים בתקני המטא-נתונים ובמדיניות הפרטיות של הארגון. הנחיות למהנדסי משילות מידע (data governance) לגבי תכנון ותעדוף של תכונות בפלטפורמת הנתונים.	ארכיטקטורת נתונים מדיניות מידע ארגונית	המטא-נתונים הנדרשים נוצרו לכל מוצרי הנתונים בדומיין, ומוצרי הנתונים של הדומיין מתוארים בצורה מדויקת. הצוות של פלטפורמת תשתית הנתונים בשירות עצמי מפתח את הכלים המתאימים לאוטומציה של הערות המטא-נתונים של מוצרי הנתונים, יצירת המדיניות והאימות.
מהנדס משילות מידע (data governance)	מפתחת כלים שיוצרים באופן אוטומטי הערות לנתונים, שכל דומייני הנתונים יכולים להשתמש בהם, ואז משתמשת בהערות האלה לאכיפת המדיניות. מטמיע מעקב כדי לבדוק את העקביות של ההערות, ומתריע כשמתגלות בעיות. לוודא שהעובדים בארגון מעודכנים לגבי הסטטוס של מוצרי הנתונים, באמצעות הטמעה של התראות, דיווחים ומרכזי בקרה.	הנדסת תוכנה	הערות של משילות מידע מאומתות באופן אוטומטי. מוצרי הנתונים עומדים בדרישות של מדיניות משילות המידע (data governance). הפרות של מדיניות המוצרים מזוהות במהירות.

צוות מרכזי של פלטפורמת תשתית נתונים בשירות עצמי

צוות פלטפורמת התשתית של הנתונים בשירות עצמי, או פשוט צוות פלטפורמת הנתונים, אחראי ליצירת קבוצה של רכיבי תשתית נתונים. צוותים של דומיינים של נתונים מבוזרים משתמשים ברכיבים האלה כדי ליצור ולפרוס את מוצרי הנתונים שלהם. צוות פלטפורמת הנתונים גם מקדם שיטות מומלצות ומציג כלים ומתודולוגיות שעוזרים להפחית את העומס הקוגניטיבי על צוותים מבוזרים כשהם מאמצים טכנולוגיה חדשה.

תשתית הפלטפורמה צריכה לספק שילוב קל עם כלי תפעול לצורך ניטור גלובלי, אינסטרומנטציה ואוטומציה של תאימות. לחלופין, התשתית צריכה לאפשר שילוב כזה כדי להכין צוותים מבוזרים להצלחה.

צוות פלטפורמת הנתונים משתמש במודל אחריות משותפת עם צוותי הדומיינים המבוזרים וצוות התשתית הבסיסית. המודל מראה מהן תחומי האחריות של צרכני הפלטפורמה, ובאילו רכיבים של הפלטפורמה תומך צוות פלטפורמת הנתונים.

פלטפורמת הנתונים היא מוצר פנימי, ולכן היא לא תומכת בכל תרחיש לדוגמה. במקום זאת, הצוות של פלטפורמת הנתונים משיק כל הזמן שירותים ותכונות חדשים בהתאם לתוכנית עבודה שנקבעה לפי סדר עדיפויות.

יכול להיות שלצוות פלטפורמת הנתונים יש קבוצה סטנדרטית של רכיבים קיימים ורכיבים בפיתוח. עם זאת, צוותים של דומייני נתונים יכולים לבחור להשתמש בקבוצה שונה וייחודית של רכיבים, אם הצרכים של הצוות לא תואמים לאלה שמספקת פלטפורמת הנתונים. אם הצוותים של דומייני הנתונים בוחרים בגישה אחרת, הם צריכים לוודא שכל תשתית פלטפורמה שהם בונים ומתחזקים תואמת למדיניות ולכללי הבטיחות של הארגון בנושא אבטחה ומשילות מידע. במקרה של תשתית לפלטפורמת נתונים שמפותחת מחוץ לצוות המרכזי של פלטפורמת הנתונים, צוות פלטפורמת הנתונים יכול לבחור להשקיע במשותף או להטמיע מהנדסים משלו בצוותי הדומיינים. ההחלטה של צוות פלטפורמת הנתונים אם להשקיע במשותף או להטמיע מהנדסים, עשויה להיות תלויה בחשיבות האסטרטגית של תשתית הפלטפורמה של תחום הנתונים לארגון. אם הארגון מעורב בפיתוח התשתית על ידי צוותי דומייני הנתונים, הוא יכול לספק את ההתאמה והמומחיות הטכנית שנדרשות כדי לארוז מחדש את כל רכיבי התשתית החדשים של הפלטפורמה שנמצאים בפיתוח, לשימוש חוזר בעתיד.

יכול להיות שתצטרכו להגביל את האוטונומיה בשלבים המוקדמים של בניית רשת הנתונים, אם המטרה הראשונית שלכם היא לקבל אישור מבעלי העניין להרחבת רשת הנתונים. עם זאת, הגבלת האוטונומיה עלולה ליצור צוואר בקבוק בצוות המרכזי של פלטפורמת הנתונים. צוואר הבקבוק הזה יכול למנוע את הרחבת הנתונים המבוזרים. לכן, צריך לקבל החלטות לגבי ריכוזיות בזהירות. למפיקי נתונים, אולי עדיף לבחור את האפשרויות הטכניות מתוך קבוצה מוגבלת של אפשרויות זמינות, במקום להעריך ולבחור בעצמם מתוך רשימה בלתי מוגבלת של אפשרויות. קידום האוטונומיה של יוצרי הנתונים לא שווה ליצירת סביבה טכנולוגית לא מנוהלת. במקום זאת, המטרה היא לעודד תאימות ואימוץ של הפלטפורמה על ידי יצירת האיזון הנכון בין חופש הבחירה לבין סטנדרטיזציה.

ולבסוף, צוות טוב של פלטפורמת נתונים הוא מקור מרכזי להדרכה ולשיטות מומלצות לשאר החברה. הנה כמה מהפעילויות הכי משמעותיות שאנחנו ממליצים לצוותים של פלטפורמת הנתונים המרכזית לבצע:

• לערוך בדיקות קבועות של תכנון הארכיטקטורה לפרויקטים פונקציונליים חדשים, ולהציע דרכים נפוצות לפיתוח בצוותי הפיתוח.
• שיתוף ידע וניסיון, והגדרה משותפת של שיטות מומלצות והנחיות לארכיטקטורה.
• לוודא שלמהנדסים יש את הכלים המתאימים כדי לאמת ולבדוק אם יש בעיות נפוצות כמו בעיות בקוד, באגים וירידה בביצועים.
• ארגון האקתונים פנימיים כדי שצוותי הפיתוח יוכלו להציג את הדרישות שלהם לצרכים של כלים פנימיים.

דוגמאות לתפקידים ולתחומי אחריות של צוות פלטפורמת הנתונים המרכזית:

תפקיד	תחומי האחריות	מיומנויות נדרשות	התוצאות הרצויות
בעלי מוצר של פלטפורמת נתונים	יוצרת סביבה של פתרונות ותשתית נתונים שמאפשרת לצוותים מבוזרים ליצור מוצרי נתונים. הגישה הזו מפחיתה את החסם הטכני לכניסה, מבטיחה שהמשילות מוטמעת ומצמצמת את החוב הטכני הקולקטיבי לתשתית הנתונים. ממשקים עם ההנהלה, בעלי דומיינים של נתונים, צוות משילות מידע (data governance) ובעלי פלטפורמות טכנולוגיות, כדי להגדיר את האסטרטגיה ואת מפת הדרכים של פלטפורמת הנתונים.	אסטרטגיית נתונים ותפעול ניהול מוצר ניהול בעלי עניין	יוצרת סביבה עסקית של מוצרי נתונים מוצלחים. יש מספרים חזקים של מוצרי נתונים בייצור. הזמן עד למוצר בר-קיימא מינימלי (MVP) והזמן עד לגרסת הייצור של מוצרי נתונים מתקצרים. יש סל של רכיבים ותשתיות כלליים שנותנים מענה לצרכים הנפוצים ביותר של יצרני נתונים וצרכני נתונים. יש ציון גבוה של שביעות רצון בקרב יוצרי הנתונים וצרכני הנתונים.
מהנדס פלטפורמת נתונים	יוצר פתרונות ותשתית נתונים לשימוש חוזר ולשירות עצמי להטמעה, לאחסון, לעיבוד ולצריכה של נתונים באמצעות תבניות, תוכניות ארכיטקטורה לפריסה, מדריכים למפתחים ומסמכים אחרים. בנוסף, הוא יוצר תבניות של Terraform, פייפליין, תבניות של קונטיינרים וכלי תזמור. מפתחת ומתחזקת שירותי נתונים מרכזיים ומסגרות כדי ליצור תהליכים סטנדרטיים לנושאים שקשורים לפונקציות שונות, כמו שיתוף נתונים, תזמור צינורות עיבוד נתונים, רישום ביומן ומעקב, משילות מידע (data governance), שילוב רציף ופריסה רציפה (CI/CD) עם אמצעי הגנה מוטמעים, דיווח על אבטחה ותאימות ודיווח על FinOps.	הנדסת מערכות מידע הנדסת תוכנה	יש רכיבי תשתית ופתרונות סטנדרטיים לשימוש חוזר, שמאפשרים ליוצרי הנתונים לבצע הטמעת נתונים, אחסון, עיבוד, איסוף ושיתוף, וגם תיעוד נחוץ. גרסאות של רכיבים, פתרונות ותיעוד למשתמשי קצה תואמות למפת הדרכים. המשתמשים מדווחים על רמה גבוהה של שביעות רצון הלקוחות. יש שירותים משותפים חזקים לכל הפונקציות בנתונים המבוזרים. זמן הפעולה התקינה של השירותים המשותפים הוא ארוך. זמן התגובה של התמיכה קצר.
מהנדס פלטפורמה ואבטחה (נציג מצוותי ה-IT המרכזיים, כמו רשתות ואבטחה, שמוטמע בצוות פלטפורמת הנתונים)	מוודא שההפשטות של פלטפורמת הנתונים תואמות למסגרות הטכנולוגיות ולהחלטות ברמת הארגון. תמיכה בפעילויות הנדסיות על ידי פיתוח פתרונות ושירותים טכנולוגיים בצוות הליבה, שנדרשים להעברת פלטפורמת הנתונים.	הנדסת תשתיות הנדסת תוכנה	רכיבי התשתית של הפלטפורמה מפותחים בשביל פלטפורמת הנתונים. גרסאות של רכיבים, פתרונות ותיעוד למשתמשי קצה תואמות למפת הדרכים. המהנדסים של פלטפורמת הנתונים המרכזית מדווחים על רמה גבוהה של שביעות רצון בקרב הלקוחות. תקינות פלטפורמת התשתית משתפרת עבור רכיבים שמשמשים את פלטפורמת הנתונים (לדוגמה, רישום ביומן). לרכיבי הטכנולוגיה הבסיסיים יש זמן פעולה תקינה ארוך. כשלמהנדסי פלטפורמת הנתונים יש בעיות, זמן התגובה של התמיכה קצר.
אדריכל ארגוני	התאמה של ארכיטקטורת הנתונים המבוזרים ופלטפורמת הנתונים לאסטרטגיית הטכנולוגיה והנתונים של הארגון. מספק ייעוץ, סמכות עיצוב והבטחת איכות לארכיטקטורות של פלטפורמות נתונים ומוצרי נתונים, כדי לוודא שהן תואמות לאסטרטגיה ולשיטות המומלצות ברמת הארגון.	ארכיטקטורת נתונים איטרציה של פתרונות ופתרון בעיות בניית קונצנזוס	מערכת אקולוגית מוצלחת כוללת מספר רב של מוצרי נתונים, שבהם יש הפחתה בזמן ליצירת מוצרים ברי-קיימא מינימליים (MVP) ולשחרור המוצרים האלה לייצור. נקבעו תקני ארכיטקטורה לתהליכי נתונים קריטיים, כמו תקנים משותפים לניהול מטא-נתונים ולארכיטקטורה של שיתוף נתונים.

שיקולים נוספים לגבי נתונים מבוזרים

יש כמה אפשרויות ארכיטקטורה לפלטפורמת נתוני ניתוח, ולכל אפשרות יש דרישות מוקדמות שונות. כדי להפעיל כל ארכיטקטורה של נתונים מבוזרים, מומלץ שהארגון שלכם יפעל לפי השיטות המומלצות שמתוארות בקטע הזה.

קבלת מימון לפלטפורמה

כמו שמוסבר בפוסט בבלוג, "אם רוצים לעשות שינוי, צריך להתחיל מהכספים", הפלטפורמה אף פעם לא מסתיימת: היא תמיד פועלת על סמך מפת דרכים עם סדרי עדיפויות. לכן, צריך לממן את הפלטפורמה כמוצר, ולא כפרויקט עם נקודת סיום קבועה.

המשתמש הראשון שמאמץ את הנתונים המבוזרים נושא בעלות. בדרך כלל, העלות מתחלקת בין העסק שיוצר את דומיין הנתונים הראשון כדי להתחיל את רשת הנתונים, לבין צוות הטכנולוגיה המרכזי, שבדרך כלל מאכלס את צוות פלטפורמת הנתונים המרכזית.

כדי לשכנע את המחלקות הפיננסיות לאשר מימון לפלטפורמה המרכזית, מומלץ להציג הצדקה עסקית לערך של הפלטפורמה המרכזית שיתממש לאורך זמן. הערך הזה נובע מהטמעה מחדש של אותם רכיבים בצוותי מסירה נפרדים.

הגדרת הפלטפורמה המינימלית שמתאימה לנתונים המבוזרים

כדי לעזור לכם להגדיר את הפלטפורמה המינימלית שמתאימה לנתונים המבוזרים, מומלץ להריץ פיילוט ולחזור על התהליך עם הצדקה עסקית אחת או יותר. בפיילוט, חפשו תרחישים לדוגמה שנדרשים, ושבהם יש צרכן שמוכן לאמץ את מוצר הנתונים שנוצר. תרחישי השימוש כבר צריכים להיות ממומנים כדי לפתח את מוצרי הנתונים, אבל צריך להיות צורך בקלט מצוותים טכניים.

חשוב לוודא שהצוות שמטמיע את הפיילוט מבין את המודל התפעולי של הנתונים המבוזרים, באופן הבא:

• העסק (כלומר, הצוות שמפיק את הנתונים) הוא הבעלים של צבר המשימות, התמיכה והתחזוקה.
• הצוות המרכזי מגדיר את דפוסי השירות העצמי ועוזר לעסק לבנות את מוצר הנתונים, אבל מעביר את מוצר הנתונים לעסק כדי שיפעיל אותו ויהיה הבעלים שלו כשהוא מוכן.
• המטרה העיקרית היא להוכיח את המודל התפעולי של הפעילות העסקית (דומיינים מייצרים, דומיינים צורכים). המטרה המשנית היא להוכיח את המודל התפעולי הטכני (תבניות של שירות עצמי שפותחו על ידי הצוות המרכזי).
• מכיוון שהמשאבים של צוות הפלטפורמה מוגבלים, כדאי להשתמש במודל של צוותי גזע וענפים כדי לאחד את הידע, אבל עדיין לאפשר פיתוח של שירותים ומוצרים ייעודיים לפלטפורמה.

מומלץ גם:

• תכננו מפות דרכים במקום לאפשר לשירותים ולתכונות להתפתח באופן אורגני.
• להגדיר את היכולות המינימליות של הפלטפורמה, כולל הטמעה, אחסון, עיבוד, ניתוח ו-ML.
• הטמיעו את משילות המידע בכל שלב, ולא כחלק מתהליך עבודה נפרד.
• הטמיעו את היכולות המינימליות בתחומי הממשל, הפלטפורמה, זרם הערך וניהול השינויים. יכולות מינימליות הן כאלה שעונות על 80% מההצדקות העסקיות.

תכנון השילוב של הנתונים המבוזרים עם פלטפורמת נתונים קיימת

להרבה ארגונים שרוצים להטמיע נתונים מבוזרים כבר יש פלטפורמת נתונים קיימת, כמו אגם נתונים, מחסן נתונים או שילוב של שניהם. לפני שמטמיעים ארכיטקטורת נתונים מבוזרים, הארגונים האלה צריכים לתכנן איך פלטפורמת הנתונים הקיימת שלהם יכולה להתפתח ככל שארכיטקטורת הנתונים המבוזרים גדלה.

הארגונים האלה צריכים להביא בחשבון גורמים כמו:

• מקורות הנתונים שהכי יעילים בנתונים המבוזרים.
• הנכסים שחייבים להישאר בפלטפורמת הנתונים הקיימת.
• האם צריך להעביר את הנכסים או שאפשר להשאיר אותם בפלטפורמה הקיימת ועדיין לכלול אותם ברשת הנתונים המבוזרים.

המאמרים הבאים

• במאמר Google Cloud Well-Architected Framework מוסבר איך לתכנן ולהפעיל טופולוגיית ענן.
• לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.