ארכיטקטורה ופונקציות ברשת נתונים

Last reviewed 2024-09-03 UTC

Data mesh הוא מסגרת ארכיטקטונית וארגונית שמתייחסת לנתונים כמוצר (במסמך הזה הם נקראים מוצרי נתונים). במסגרת הזו, מוצרי נתונים מפותחים על ידי הצוותים שמבינים הכי טוב את הנתונים, ואשר מקפידים על קבוצה של תקנים ל<b>משילות מידע</b> ברמת הארגון. אחרי שמפרסמים מוצרי נתונים ברשת נתונים, צוותים מבוזרים בארגון יכולים לגלות נתונים שרלוונטיים לצרכים שלהם ולגשת אליהם בצורה מהירה ויעילה יותר. כדי להקים רשת נתונים שפועלת בצורה טובה, צריך קודם להגדיר את רכיבי הארכיטקטורה ברמה הגבוהה ואת התפקידים בארגון שמתוארים במאמר הזה.

המאמר הזה הוא חלק מסדרה שמתארת איך מטמיעים רשת נתונים ב- Google Cloud. המאמר הזה מניח שקראתם את המאמר איך לבנות Data Mesh מודרני ומבוזר באמצעות Google Cloud ושאתם מכירים את המושגים שמתוארים בו.

הסדרה כוללת את החלקים הבאים:

• ארכיטקטורה ופונקציות ברשת נתונים (המסמך הזה)
• תכנון פלטפורמת נתונים בשירות עצמי לרשת נתונים
• יצירת מוצרי נתונים ב-data mesh
• גילוי מוצרי נתונים ושימוש בהם ברשת נתונים

בסדרה הזו, רשת הנתונים שמתוארת היא פנימית לארגון. אפשר להרחיב את ארכיטקטורת רשת הנתונים כדי לספק מוצרי נתונים לצדדים שלישיים, אבל הגישה המורחבת הזו לא נכללת במסגרת המסמך הזה. הרחבת רשת נתונים כרוכה בשיקולים נוספים מעבר לשימוש בתוך הארגון.

ארכיטקטורה

המונחים המרכזיים הבאים משמשים להגדרת רכיבי הארכיטקטורה שמתוארים בסדרה הזו:

• מוצר נתונים: מוצר נתונים הוא קבוצה או מאגר לוגי של משאבי נתונים קשורים.
• משאב נתונים: משאב נתונים הוא נכס פיזי במערכת אחסון שמכיל נתונים מובְנים או מאחסן שאילתה שמחזירה נתונים מובְנים.
• מאפיין נתונים: מאפיין נתונים הוא שדה או רכיב של מקור נתונים.

בתרשים הבא מוצגת סקירה כללית של רכיבי הארכיטקטורה העיקריים של רשת נתונים שהוטמעה ב- Google Cloud.

בתרשים שלמעלה מוצגים:

• שירותים מרכזיים מאפשרים ליצור ולנהל מוצרי נתונים, כולל מדיניות ארגונית שמשפיעה על המשתתפים ברשת הנתונים, אמצעי בקרה לגישה (באמצעות קבוצות של ניהול זהויות והרשאות גישה) וארטיפקטים ספציפיים לתשתית. דוגמאות להתחייבויות ולהזמנות כאלה, ולתשתית שמסייעת להפעלת רשת הנתונים, מפורטות במאמר יצירת רכיבי פלטפורמה ופתרונות.
• השירותים המרכזיים מספקים בעיקר את Data Catalog לכל מוצרי הנתונים ב-Data Mesh, ואת מנגנון הגילוי ללקוחות פוטנציאליים של המוצרים האלה.
• תחומים של נתונים חושפים קבוצות משנה של הנתונים שלהם כמוצרי נתונים באמצעות ממשקי צריכת נתונים מוגדרים היטב. מוצרי הנתונים האלה יכולים להיות טבלה, תצוגה, קובץ מובנה, נושא או מקור נתונים. ב-BigQuery, זה יהיה מערך נתונים, וב-Cloud Storage, זה יהיה תיקייה או bucket. יכולים להיות סוגים שונים של ממשקים שאפשר לחשוף כמוצר נתונים. דוגמה לממשק היא תצוגה ב-BigQuery על טבלה ב-BigQuery. במאמר יצירת מוצרי נתונים ברשת נתונים מוסבר על סוגי הממשקים הנפוצים ביותר למטרות ניתוח.

הטמעה לדוגמה של רשת נתונים

אפשר למצוא הטמעה לדוגמה של הארכיטקטורה הזו במאגר data-mesh-demo. סקריפטים של Terraform שמשמשים בהטמעה לדוגמה מדגימים מושגים של רשת נתונים, והם לא מיועדים לשימוש בייצור. הפעלת הסקריפטים האלה תלמד אתכם איך:

• הפרדה בין הגדרות המוצרים לבין נתוני הבסיס.
• יצירת תבניות של קטלוג נתונים לתיאור ממשקי מוצרים.
• אפשר לתייג ממשקי מוצרים באמצעות התבניות האלה.
• הקצאת הרשאות למשתמשים במוצר.

בממשקי המוצר, הטמעת הייחוס יוצרת ומשתמשת בסוגי הממשקים הבאים:

• תצוגות מורשות של טבלאות BigQuery.
• מקורות נתונים שמבוססים על נושאים ב-Pub/Sub.

פרטים נוספים זמינים בקובץ ה-README במאגר.

פונקציות ברשת נתונים

כדי שרשת נתונים תפעל בצורה טובה, צריך להגדיר תפקידים ברורים לאנשים שמבצעים משימות ברשת הנתונים. הבעלות מוקצית לאבות-טיפוס של צוותים או לפונקציות. הפונקציות האלה כוללות את תהליכי המשתמשים העיקריים של אנשים שעובדים ב-data mesh. כדי לתאר בבירור את תהליכי המשתמשים, הקצנו אותם לתפקידי משתמשים. אפשר לפצל ולשלב את תפקידי המשתמשים האלה בהתאם לנסיבות של כל ארגון. אין צורך למפות את התפקידים ישירות עם עובדים או צוותים בארגון.

דומיין נתונים מותאם ליחידה עסקית או לפונקציה בתוך ארגון. דוגמאות נפוצות לדומיינים עסקיים הן מחלקת המשכנתאות בבנק, או מחלקת הלקוחות, מחלקת ההפצה, מחלקת הכספים או מחלקת משאבי האנוש בארגון. מבחינה רעיונית, יש שני סוגים של צוותים שקשורים לדומיין ברשת נתונים: צוותים של מפיקי נתונים וצוותים של צרכני נתונים. חשוב להבין שדומיין נתונים יחיד כנראה ישרת את שתי הפונקציות בו-זמנית. צוות של תחום נתונים יוצר מוצרי נתונים מנתונים שבבעלותו. הצוות משתמש גם במוצרי נתונים כדי לקבל תובנות עסקיות, ויוצר מוצרי נתונים נגזרים לשימוש בדומיינים אחרים.

בנוסף לפונקציות שמבוססות על דומיין, ב-Data Mesh יש גם קבוצה של פונקציות שמבוצעות על ידי צוותים מרכזיים בארגון. הצוותים המרכזיים האלה מאפשרים את הפעלת רשת הנתונים על ידי מתן פיקוח, שירותים וממשל חוצה-דומיינים. הם מפחיתים את העומס התפעולי על דומיינים של נתונים ביצירה ובצריכה של מוצרי נתונים, ומקלים על יצירת קשרים בין-דומייניים שנדרשים להפעלת רשת הנתונים.

במסמך הזה מתוארות רק פונקציות שיש להן תפקיד ספציפי ב-Data Mesh. יש עוד כמה תפקידים שנדרשים בכל ארגון, ללא קשר לארכיטקטורה שבה נעשה שימוש בפלטפורמה. עם זאת, התפקידים האחרים האלה לא נכללים במסמך הזה.

אלה ארבע הפונקציות העיקריות ב-data mesh:

• צוותי הפקה שמבוססים על תחום נתונים: יוצרים מוצרי נתונים ומנהלים אותם לאורך מחזור החיים שלהם. הצוותים האלה מכונים לעיתים קרובות מפיקי הנתונים.
• צוותי צרכנים שמבוססים על דומיין נתונים: גילוי מוצרי נתונים ושימוש בהם באפליקציות אנליטיות שונות. יכול להיות שהצוותים האלה ישתמשו במוצרי נתונים כדי ליצור מוצרי נתונים חדשים. הצוותים האלה מכונים לעיתים קרובות צרכני הנתונים.
• צוות מרכזי למשילות מידע: מגדיר ואוכף מדיניות משילות מידע בקרב יוצרי נתונים, כדי להבטיח איכות גבוהה של הנתונים ומהימנות שלהם עבור הצרכנים. הצוות הזה נקרא לעיתים קרובות צוות משילות מידע.
• צוות מרכזי של פלטפורמת תשתית נתונים בשירות עצמי: מספק פלטפורמת נתונים בשירות עצמי למפיקי נתונים. הצוות הזה גם מספק את הכלים לגילוי מרכזי של נתונים ולניתוח נתונים של מוצרים, שבהם משתמשים גם צרכני נתונים וגם יצרני נתונים. הצוות הזה נקרא לעיתים צוות פלטפורמת הנתונים.

פונקציה אופציונלית נוספת שכדאי לשקול היא של מרכז מצוינות (COE) עבור רשת הנתונים. המטרה של מרכז המומחיות היא לספק ניהול של רשת הנתונים. ה-COE הוא גם צוות הבוררות הייעודי שמטפל בכל המחלוקות שמתעוררות בכל אחת מהפונקציות האחרות. הפונקציה הזו שימושית כדי לעזור לחבר בין ארבע הפונקציות האחרות.

צוות הפקה שמבוסס על דומיין נתונים

בדרך כלל, מוצרי נתונים מבוססים על מאגר פיזי של נתונים (מחסני נתונים, אגמים או זרמים של נתונים, יחידים או מרובים). ארגון צריך תפקידים בפלטפורמת נתונים מסורתית כדי ליצור ולתחזק את המאגרים הפיזיים האלה. עם זאת, בדרך כלל התפקידים המסורתיים האלה בפלטפורמת הנתונים לא כוללים את האנשים שיוצרים את מוצר הנתונים.

כדי ליצור מוצרי נתונים ממאגרי המידע הפיזיים האלה, ארגון צריך שילוב של אנשי מקצוע בתחום הנתונים, כמו מהנדסי נתונים ואדריכלי נתונים. בטבלה הבאה מפורטים כל תפקידי המשתמשים הספציפיים לדומיין שנדרשים בצוותים של יוצרי נתונים.

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
הבעלים של מוצר הנתונים	משמש כאיש הקשר הראשי של העסק בנוגע למוצר הנתונים. אחראי להגדרות, למדיניות, להחלטות עסקיות וליישום של כללים עסקיים לגבי הנתונים שמוצגים כמוצרים. משמש כאיש קשר לשאלות בנוגע לעסק. לכן, הבעלים מייצג את תחום הנתונים בפגישות עם צוותי צרכני הנתונים או עם הצוותים המרכזיים (משילות מידע (data governance) ופלטפורמת תשתית נתונים).	ניתוח נתונים ארכיטקטורת נתונים ניהול מוצרים	המוצר מבוסס הנתונים מספק ערך לצרכנים. ניהול מחזור החיים של מוצר הנתונים הוא מקיף, כולל החלטה מתי להוציא מוצר משימוש או להשיק גרסה חדשה. יש תיאום של רכיבי נתונים אוניברסליים עם תחומים אחרים של נתונים.
Data product technical lead	משמש כאיש הקשר הטכני הראשי למוצר. אחראי להטמעה ולפרסום של ממשקי מוצרים. משמש כאיש קשר לשאלות טכניות. לכן, האחראי על הנתונים מייצג את תחום הנתונים בפגישות עם צוותי צרכני הנתונים או עם הצוותים המרכזיים (משילות מידע (data governance) ופלטפורמת תשתית נתונים). עובד עם צוות משילות מידע (data governance) כדי להגדיר וליישם סטנדרטים של רשת נתונים בארגון. עובד עם צוות פלטפורמת הנתונים כדי לפתח את הפלטפורמה במקביל לצרכים הטכניים שנוצרים בתהליך הייצור והצריכה.	הנדסת מערכות מידע ארכיטקטורת נתונים הנדסת תוכנה	נתוני המוצר עומדים בדרישות העסקיות ובתקנים הטכניים של רשת הנתונים. צוותים שצורכים נתונים משתמשים במוצר הנתונים, והוא מופיע בתוצאות שנוצרות על ידי חוויית גילוי מוצרי הנתונים. אפשר לנתח את השימוש במוצר הנתונים (לדוגמה, מספר השאילתות היומיות).
תמיכה במוצר נתונים	משמש כנקודת הקשר לתמיכה בייצור. אחראי על שמירה על הסכם רמת השירות (SLA) של המוצר.	הנדסת תוכנה Site Reliability Engineering (SRE)‎	מוצר הנתונים עומד בהסכם רמת השירות שצוין. שאלות של צרכני נתונים לגבי השימוש במוצר הנתונים מטופלות ונפתרות.
מומחה בתחום (SME) בנושא דומיין נתונים	מייצג את תחום הנתונים בפגישות עם מומחים מתחומי נתונים אחרים כדי להגדיר את הגבולות וההגדרות של רכיבי הנתונים שמשותפים לכל הארגון. עוזר למפיקי נתונים חדשים בדומיין להגדיר את היקפי המוצרים שלהם.	ניתוח נתונים ארכיטקטורת נתונים	משתף פעולה עם מומחים אחרים בתחום מכל תחום נתונים כדי לבסס ולשמור על הבנה מקיפה של הנתונים בארגון ושל מודלי הנתונים שבהם הוא משתמש. השירות מאפשר ליצור מוצרי נתונים שניתן להשתמש בהם עם מערכות שונות, ושמתאימים למודל הנתונים הכולל של הארגון. יש סטנדרטים ברורים ליצירת מוצרי נתונים ולניהול מחזור החיים שלהם. מוצרי הנתונים מדומיין הנתונים מספקים ערך עסקי.
בעלי הנתונים	אחראי על תחום תוכן מסוים. אחראי לאיכות הנתונים ולדיוקם. אישור בקשות גישה. תורם לתיעוד של מוצרי נתונים.	כל מיומנות, אבל חובה להכיר את הפונקציה העסקית. כל רמת מיומנות, אבל חובה להבין את המשמעות של הנתונים ואת הכללים העסקיים שקשורים אליהם. כל מיומנות, אבל צריך להיות מסוגל לקבוע את הפתרון הטוב ביותר לבעיות באיכות הנתונים.	הנתונים שבהם משתמשים באזורים חוצי-פונקציות מדויקים. בעלי העניין מבינים את הנתונים. השימוש בנתונים נעשה בהתאם למדיניות השימוש.

צוותי צרכנים שמבוססים על דומיין נתונים

ב-data mesh, האנשים שמשתמשים במוצר נתונים הם בדרך כלל משתמשי נתונים שנמצאים מחוץ לדומיין של מוצר הנתונים. הצרכנים האלה משתמשים בקטלוג נתונים מרכזי כדי למצוא מוצרי נתונים שרלוונטיים לצרכים שלהם. יכול להיות שיותר ממוצר נתונים אחד יענה על הצרכים שלהם, ולכן צרכני נתונים עלולים להירשם לכמה מוצרי נתונים.

אם צרכני הנתונים לא מצליחים למצוא את מוצר הנתונים הנדרש לתרחיש השימוש שלהם, הם צריכים לפנות ישירות למרכז המומחיות של רשת הנתונים. במהלך הייעוץ הזה, צרכני הנתונים יכולים להעלות את הצרכים שלהם לגבי נתונים ולבקש הדרכה לגבי האופן שבו אפשר לענות על הצרכים האלה באמצעות דומיין אחד או יותר.

כשמחפשים מוצר נתונים, צרכני הנתונים מחפשים נתונים שיעזרו להם להשיג תרחישי שימוש שונים, כמו לוחות בקרה ודוחות של ניתוח נתונים מתמשך, דוחות ביצועים פרטניים ומדדים אחרים של ביצועים עסקיים. לחלופין, צרכני נתונים עשויים לחפש מוצרי נתונים שאפשר להשתמש בהם בתרחישי שימוש של בינה מלאכותית (AI) ולמידת מכונה (ML). כדי להשיג את התרחישים השונים האלה לדוגמה, צרכני הנתונים צריכים שילוב של דמויות של מומחי נתונים, והן:

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
מנתח נתונים	חיפוש, זיהוי, הערכה והרשמה למוצרי נתונים בדומיין יחיד או בכמה דומיינים כדי ליצור בסיס להפעלת מסגרות של בינה עסקית.	הנדסת ניתוח נתונים ניתוח עסקי	מספק מערכי נתונים נקיים, שנאספו ונערכו במיוחד, למומחים בתחום של ויזואליזציה של נתונים. יוצר שיטות מומלצות לשימוש במוצרי נתונים. מצטבר ומסדר מערכי נתונים חוצי-דומיינים כדי לענות על הצרכים האנליטיים של הדומיין.
מפַתח אפליקציות	פיתוח מסגרת אפליקציה לשימוש בנתונים ממוצר נתונים אחד או יותר, בתוך הדומיין או מחוצה לו.	פיתוח אפליקציות הנדסת נתונים	יצירה, הצגה ותחזוקה של אפליקציות שצורכות נתונים ממוצר נתונים אחד או יותר. יצירת אפליקציות נתונים לשימוש משתמשי קצה.
מומחה להמחשת נתונים	מתרגם ז'רגון של הנדסת נתונים וניתוח נתונים למידע שמקבלי החלטות עסקיים יכולים להבין. הגדרת תהליכים לאכלוס דוחות עסקיים ממוצרי נתונים. יצירה ומעקב אחרי דוחות שמתארים יעדים עסקיים אסטרטגיים. עובד בשיתוף פעולה עם מהנדסים בארגון כדי לעצב מערכי נתונים שמצטברים ממוצרי נתונים שנצרכו. מיישם פתרונות דיווח. מתרגם דרישות עסקיות ברמה גבוהה לדרישות טכניות.	ניתוח דרישות המחשת נתונים	מספק מערכי נתונים ודוחות תקפים ומדויקים למשתמשי הקצה. הדרישות העסקיות מתמלאות באמצעות מרכזי הבקרה והדוחות שנוצרים.
מדעני נתונים	חיפושים של מוצרי נתונים, זיהוי שלהם, הערכה שלהם והרשמה אליהם לשימוש בתרחישים לדוגמה של מדע נתונים. שליפת מוצרי נתונים ומטא-נתונים מכמה דומיינים של נתונים. מאמן מודלים לחיזוי ומפיץ אותם כדי לבצע אופטימיזציה של תהליכים עסקיים בדומיין. מספק משוב על טכניקות אפשריות של אוצרות נתונים והערות לנתונים עבור כמה תחומים של נתונים.	הנדסת למידת מכונה (ML) הנדסת ניתוח נתונים	יצירת מודלים לחיזוי ולתכנון כדי לבצע אופטימיזציה של תהליכים עסקיים. אימון המודל ופריסת המודל מתבצעים בזמן.

צוות מרכזי למשילות מידע

צוות ניהול הנתונים מאפשר ליצרני נתונים ולצרכני נתונים לשתף, לצבור ולחשב נתונים באופן בטוח בשירות עצמי, בלי ליצור סיכוני תאימות לארגון.

כדי לעמוד בדרישות התאימות של הארגון, צוות משילות מידע (data governance) מורכב מבעלי תפקידים שונים בתחום הנתונים, והם:

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
מומחה למשילות מידע	הוא מספק פיקוח ומרכז את כל המידע על התאימות במקום אחד. ממליץ על מדיניות פרטיות ברמת הרשת בנושא איסוף נתונים, הגנה על נתונים ושמירת נתונים. מוודאים שאחראים על נתונים יודעים על המדיניות ויכולים לגשת אליה. לספק מידע והתייעצות בנוגע לתקנות העדכניות בנושא פרטיות נתונים, לפי הצורך. לספק מידע והתייעצות בנושאי אבטחה לפי הצורך. מבצע ביקורות פנימיות ומשתף דוחות קבועים על תוכניות סיכון ובקרה.	מומחה משפטי מומחה לאבטחה מומחה לפרטיות נתונים	התקנות בנושא פרטיות במדיניות מעודכנות. אנחנו מודיעים ליצרני הנתונים על שינויים במדיניות בזמן. ההנהלה מקבלת דוחות בזמן ובאופן קבוע על התאימות למדיניות של כל מוצרי הנתונים שפורסמו.
אחראי/ת על נתונים (בכל דומיין)	הגדרת המדיניות שנוצרה על ידי מומחים למשילות מידע. הגדרה ועדכון של הטקסונומיה שבה משתמש הארגון כדי להוסיף הערות למוצרי נתונים, למשאבי נתונים ולמאפייני נתונים עם מטא-נתונים שקשורים לגילוי ולפרטיות. מתאם בין בעלי עניין שונים בתוך הדומיין ומחוצה לו. לוודא שמוצרי הנתונים בדומיין שלהם עומדים בתקנים של מטא-נתונים ובמדיניות הפרטיות של הארגון. מספק הנחיות למהנדסי משילות המידע לגבי תכנון תכונות של פלטפורמת נתונים וקביעת סדר העדיפויות שלהן.	ארכיטקטורת נתונים מדיניות מידע ארגונית	נוצרו מטא-נתונים נדרשים לכל מוצרי הנתונים בדומיין, ומוצרי הנתונים בדומיין מתוארים בצורה מדויקת. צוות פלטפורמת תשתית הנתונים בשירות עצמי בונה את כלי העבודה המתאימים לאוטומציה של הערות מטא-נתונים של מוצרי נתונים, יצירה ואימות של מדיניות.
מהנדס משילות מידע	מפתחת כלים שמפיקים באופן אוטומטי הערות לנתונים, וכלים שאפשר להשתמש בהם בכל תחום נתונים, ואז משתמשת בהערות האלה כדי לאכוף את המדיניות. מיישם מעקב כדי לבדוק את העקביות של ההערות וההתראות כשמתגלות בעיות. היא מוודאת שהעובדים בארגון מקבלים מידע על הסטטוס של מוצרי הנתונים באמצעות הטמעה של התראות, דוחות ולוחות בקרה.	הנדסת תוכנה	האימות של האנוטציות בנושא משילות מידע (data governance) מתבצע באופן אוטומטי. מוצרי נתונים עומדים בדרישות של מדיניות משילות מידע. הפרות של מוצרי נתונים מזוהות בזמן.

צוות מרכזי של פלטפורמת תשתית נתונים בשירות עצמי

הצוות של פלטפורמת תשתית הנתונים בשירות עצמי, או פשוט צוות פלטפורמת הנתונים, אחראי ליצירת קבוצה של רכיבי תשתית נתונים. צוותים של תחום נתונים מבוזרים משתמשים ברכיבים האלה כדי לבנות ולפרוס את מוצרי הנתונים שלהם. צוות פלטפורמת הנתונים מקדם גם שיטות מומלצות ומציג כלים ומתודולוגיות שעוזרים לצמצם את העומס הקוגניטיבי על צוותים מבוזרים כשמאמצים טכנולוגיה חדשה.

תשתית הפלטפורמה צריכה לספק אינטגרציה קלה עם כלי תפעול לצורך יכולת צפייה גלובלית, אינסטרומנטציה ואוטומציה של תאימות. לחלופין, התשתית צריכה לאפשר שילוב כזה כדי להקים צוותים מבוזרים שיצליחו.

לצוות פלטפורמת הנתונים יש מודל אחריות משותפת שבו הוא משתמש עם צוותי הדומיין המבוזרים ועם צוות התשתית הבסיסי. המודל מראה אילו אחריות מצופה מהצרכנים של הפלטפורמה, ואילו רכיבי פלטפורמה נתמכים על ידי צוות פלטפורמת הנתונים.

מכיוון שפלטפורמת הנתונים היא מוצר פנימי, היא לא תומכת בכל תרחישי השימוש. במקום זאת, הצוות של פלטפורמת הנתונים משיק באופן רציף שירותים ותכונות חדשים בהתאם לתוכנית עבודה עם סדרי עדיפויות.

יכול להיות שלצוות פלטפורמת הנתונים יש קבוצה סטנדרטית של רכיבים שמוכנים לשימוש או נמצאים בפיתוח. עם זאת, צוותים של דומיינים של נתונים עשויים לבחור להשתמש בקבוצה שונה וייחודית של רכיבים אם הצרכים של הצוות לא תואמים לאלה שמסופקים על ידי פלטפורמת הנתונים. אם צוותים של דומיינים של נתונים בוחרים בגישה אחרת, הם צריכים לוודא שכל תשתית פלטפורמה שהם בונים ומתחזקים עומדת בדרישות של מדיניות וכללי הגנה ברמת הארגון בנושא אבטחה ומשילות מידע (data governance). במקרה של תשתית פלטפורמת נתונים שפותחה מחוץ לצוות המרכזי של פלטפורמת הנתונים, הצוות הזה יכול לבחור להשקיע יחד עם צוותי הדומיין או לשלב את המהנדסים שלו בצוותים האלה. ההחלטה של צוות פלטפורמת הנתונים אם להשקיע יחד או לשלב מהנדסים עשויה להיות תלויה בחשיבות האסטרטגית של תשתית פלטפורמת תחום הנתונים לארגון. השתתפות בפיתוח של תשתית על ידי צוותים של תחום נתונים מאפשרת לארגונים לספק את ההתאמה והמומחיות הטכנית שנדרשות כדי לארוז מחדש רכיבים חדשים של תשתית פלטפורמה שנמצאים בפיתוח לשימוש חוזר בעתיד.

יכול להיות שתצטרכו להגביל את האוטונומיה בשלבים הראשונים של בניית רשת נתונים, אם המטרה הראשונית שלכם היא לקבל אישור מבעלי עניין להרחבת רשת הנתונים. עם זאת, הגבלת האוטונומיה עלולה ליצור צוואר בקבוק בצוות המרכזי של פלטפורמת הנתונים. צוואר הבקבוק הזה יכול להפריע להרחבת רשת הנתונים. לכן, צריך לקבל החלטות לגבי ריכוזיות בזהירות. יצרני נתונים עשויים להעדיף לבחור מתוך קבוצה מוגבלת של אפשרויות זמינות, במקום להעריך ולבחור מתוך רשימה בלתי מוגבלת של אפשרויות. קידום האוטונומיה של יוצרי הנתונים לא שווה ליצירת נוף טכנולוגי לא מנוהל. במקום זאת, המטרה היא להניע תאימות ואימוץ של הפלטפורמה על ידי יצירת איזון נכון בין חופש הבחירה לבין סטנדרטיזציה.

לבסוף, צוות טוב של פלטפורמת נתונים הוא מקור מרכזי להדרכה ולשיטות מומלצות עבור שאר החברה. ריכזנו כאן כמה מהפעילויות הכי משמעותיות שמומלץ לצוותים של פלטפורמות נתונים מרכזיות לבצע:

• קידום בדיקות קבועות של עיצוב ארכיטקטוני לפרויקטים פונקציונליים חדשים והצעת שיטות פיתוח משותפות לצוותי פיתוח שונים.
• שיתוף ידע וחוויות, והגדרת שיטות מומלצות והנחיות לארכיטקטורה באופן משותף.
• לוודא שלמהנדסים יש את הכלים הנכונים כדי לאמת ולבדוק בעיות נפוצות כמו בעיות בקוד, באגים וירידה בביצועים.
• ארגון האקתונים פנימיים כדי שצוותי הפיתוח יוכלו להעלות את הדרישות שלהם לכלים פנימיים.

דוגמאות לתפקידים ולאחריות של צוות הפלטפורמה המרכזית לנתונים:

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
בעלים של מוצר פלטפורמת נתונים	יצירת מערכת אקולוגית של פתרונות ותשתית נתונים כדי לאפשר לצוותים מבוזרים ליצור מוצרים מבוססי-נתונים. הפתרון מפחית את המחסום הטכני לכניסה, מוודא שהממשל מוטמע ומצמצם את החוב הטכני המשותף של תשתית הנתונים. מנהל/ת קשרים עם בעלי תפקידים בכירים, בעלי דומיין נתונים, צוות משילות מידע (data governance) ובעלי פלטפורמה טכנולוגית כדי להגדיר את האסטרטגיה ואת תוכנית הפעולה לפלטפורמת הנתונים.	אסטרטגיית נתונים ותפעול ניהול מוצרים ניהול בעלי עניין	יוצרת אקוסיסטם של מוצרי נתונים מוצלחים. יש מספר רב של מוצרי נתונים שנמצאים בייצור. יש קיצור של הזמן עד למוצר בר-קיימא מינימלי ושל הזמן עד להשקה של מוצרי נתונים. יש לנו פורטפוליו של תשתית ורכיבים כלליים שנותנים מענה לצרכים הנפוצים ביותר של יוצרי נתונים וצרכני נתונים. יש ציון שביעות רצון גבוה מצד מפיקי הנתונים וצרכני הנתונים.
מהנדס פלטפורמת נתונים	יצירת תשתית נתונים ופתרונות לשימוש חוזר בשירות עצמי להטמעה, לאחסון, לעיבוד ולצריכה של נתונים באמצעות תבניות, תוכניות אדריכליות לפריסה, מדריכים למפתחים ומסמכים אחרים. בנוסף, הוא יוצר תבניות Terraform, תבניות של צינורות נתונים, תבניות של קונטיינרים וכלי תזמור. פיתוח ותחזוקה של שירותי נתונים ומסגרות מרכזיים כדי לתקנן תהליכים שקשורים לבעיות חוצות-פונקציות כמו שיתוף נתונים, תזמור צינורות, רישום ביומן ומעקב, ניהול נתונים, שילוב רציף ופריסה רציפה (CI/CD) עם אמצעי הגנה מוטמעים, דיווח על אבטחה ותאימות ודיווח על FinOps.	הנדסת מערכות מידע הנדסת תוכנה	יש רכיבי תשתית ופתרונות סטנדרטיים לשימוש חוזר, שמאפשרים ליצרני נתונים לבצע הטמעת נתונים, אחסון, עיבוד, אוצרות ושיתוף של נתונים, וגם מספקים את התיעוד הנדרש. הגרסאות של הרכיבים, הפתרונות והתיעוד למשתמשי הקצה תואמות לתכנון הדרך. המשתמשים מדווחים על רמה גבוהה של שביעות רצון מהלקוח. יש שירותים משותפים חזקים לכל הפונקציות ברשת הנתונים. זמן הפעולה התקינה של השירותים המשותפים גבוה. זמן התגובה של התמיכה קצר.
מהנדס פלטפורמה ואבטחה (נציג מצוותי ה-IT המרכזיים, כמו צוותי הרשת והאבטחה, שמשובץ בצוות פלטפורמת הנתונים)	הוא מבטיח שההפשטות של פלטפורמת הנתונים תואמות למסגרות טכנולוגיות ולהחלטות ברמת הארגון. תומך בפעילויות הנדסיות על ידי בניית פתרונות טכנולוגיים ושירותים בצוות הליבה שלו, שנדרשים לאספקת פלטפורמת נתונים.	הנדסת תשתית הנדסת תוכנה	רכיבי התשתית של הפלטפורמה מפותחים עבור פלטפורמת הנתונים. הגרסאות של הרכיבים, הפתרונות והתיעוד למשתמשי הקצה תואמות לתכנון הדרך. מהנדסי פלטפורמת הנתונים המרכזית מדווחים על רמת שביעות רצון גבוהה של הלקוחות. התקינות של פלטפורמת התשתית משתפרת עבור רכיבים שמשמשים את פלטפורמת הנתונים (לדוגמה, רישום ביומן). רכיבי הטכנולוגיה הבסיסיים נהנים מזמינות גבוהה. מהנדסי פלטפורמת הנתונים נתקלים בבעיות, זמן התגובה של התמיכה קצר.
אדריכל Enterprise	התאמה בין ארכיטקטורת רשת הנתונים ופלטפורמת הנתונים לבין אסטרטגיית הטכנולוגיה והנתונים של הארגון. מספקת ייעוץ וסמכות עיצוב והבטחה לארכיטקטורות של פלטפורמות נתונים ומוצרי נתונים, כדי להבטיח התאמה לאסטרטגיה ולשיטות המומלצות ברמת הארגון.	ארכיטקטורת נתונים חזרה על פתרונות ופתרון בעיות השגת הסכמה	מערכת אקולוגית מוצלחת נבנית על בסיס מספרים גדולים של מוצרי נתונים, שמאפשרים לקצר את הזמן שנדרש ליצירת מוצרים בני קיימא מינימליים ולשחרור המוצרים האלה לייצור. הוגדרו תקני ארכיטקטורה למסלולי נתונים קריטיים, למשל על ידי הגדרת תקנים משותפים לניהול מטא-נתונים ולארכיטקטורה של שיתוף נתונים.

שיקולים נוספים לגבי רשת נתונים

יש כמה אפשרויות ארכיטקטוניות לפלטפורמה של נתוני ניתוח, ולכל אפשרות יש דרישות מוקדמות שונות. כדי להפעיל כל ארכיטקטורת רשת נתונים, מומלץ שהארגון יפעל לפי השיטות המומלצות שמתוארות בקטע הזה.

קבלת מימון לפלטפורמה

כמו שמוסבר בפוסט בבלוג, אם רוצים להתחיל בתהליך השינוי, צריך להתחיל עם הכספים. הפלטפורמה אף פעם לא מסיימת את הפעולה: היא תמיד פועלת על סמך תוכנית דרכים עם סדר עדיפויות. לכן, הפלטפורמה צריכה להיות ממומנת כמוצר, ולא כפרויקט עם נקודת קצה קבועה.

הגורם הראשון שמשתמש ב-Data Mesh נושא בעלות. בדרך כלל, העלות מתחלקת בין העסק שיוצר את תחום הנתונים הראשון כדי להפעיל את רשת הנתונים, לבין צוות הטכנולוגיה המרכזי, שבדרך כלל כולל את צוות פלטפורמת הנתונים המרכזית.

כדי לשכנע את צוותי הכספים לאשר מימון לפלטפורמה המרכזית, מומלץ להציג נימוקים עסקיים לערך של הפלטפורמה המרכזית שיתממש לאורך זמן. הערך הזה מגיע מיישום מחדש של אותם רכיבים בצוותי מסירה נפרדים.

הגדרת הפלטפורמה המינימלית האפשרית לרשת הנתונים

כדי להגדיר את הפלטפורמה המינימלית האפשרית לרשת הנתונים, מומלץ להריץ פיילוט ולבצע איטרציות עם מקרה עסקי אחד או יותר. במסגרת הפיילוט, צריך למצוא תרחישי שימוש נדרשים, ולוודא שיש צרכנים שמוכנים לאמץ את מוצר הנתונים שיתקבל. צריכים להיות כבר מקורות מימון לתרחישים לדוגמה כדי לפתח את מוצרי הנתונים, אבל צריכה להיות דרישה לקבלת קלט מצוותים טכניים.

חשוב לוודא שהצוות שמטמיע את הפיילוט מבין את מודל הפעולה של רשת הנתונים באופן הבא:

• העסק (כלומר, צוות הפקת הנתונים) הוא הבעלים של רשימת המשימות לביצוע, התמיכה והתחזוקה.
• הצוות המרכזי מגדיר את דפוסי השירות העצמי ועוזר לעסק לבנות את מוצר הנתונים, אבל מעביר את מוצר הנתונים לעסק כדי שיפעיל אותו ויהיה הבעלים שלו כשהוא מוכן.
• המטרה העיקרית היא להוכיח את המודל העסקי (דומיינים מייצרים, דומיינים צורכים). המטרה המשנית היא להוכיח את המודל התפעולי הטכני (דפוסי שירות עצמי שפותחו על ידי הצוות המרכזי).
• מכיוון שהמשאבים של צוות הפלטפורמה מוגבלים, כדאי להשתמש במודל של צוותי trunk ו-branch כדי לשתף ידע, אבל עדיין לאפשר פיתוח של מוצרים ושירותים מיוחדים לפלטפורמה.

מומלץ גם:

• לתכנן מפות דרכים במקום לאפשר לשירותים ולתכונות להתפתח באופן אורגני.
• הגדרת יכולות מינימליות של פלטפורמה שכוללות קליטה, אחסון, עיבוד, ניתוח ולמידת מכונה.
• הטמיעו את משילות המידע בכל שלב, ולא כחלק מתהליך עבודה נפרד.
• הטמעת היכולות המינימליות בתחומים הבאים: ניהול, פלטפורמה, זרם יצירת ערך וניהול שינויים. יכולות מינימליות הן יכולות שעונות על 80% מהתרחישים העסקיים.

תכנון של דו-קיום בין רשת נתונים לבין פלטפורמת נתונים קיימת

לארגונים רבים שרוצים להטמיע רשת נתונים כבר יש פלטפורמת נתונים קיימת, כמו אגם נתונים, מחסן נתונים או שילוב של שניהם. לפני שמטמיעים רשת נתונים, הארגונים האלה צריכים לתכנן איך פלטפורמת הנתונים הקיימת שלהם יכולה להתפתח ככל שרשת הנתונים גדלה.

ארגונים כאלה צריכים להביא בחשבון גורמים כמו:

• מקורות הנתונים שהכי יעילים ב-Data Mesh.
• הנכסים שחייבים להישאר בפלטפורמת הנתונים הקיימת.
• האם צריך להעביר את הנכסים, או שאפשר להשאיר אותם בפלטפורמה הקיימת ועדיין להשתתף ברשת הנתונים.

המאמרים הבאים

• במאמר Google Cloud Well-Architected Framework תוכלו לקרוא מידע נוסף על תכנון והפעלה של טופולוגיה בענן.
• לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.