ארכיטקטורה ופונקציות ברשת נתונים

Last reviewed 2024-09-03 UTC

Data mesh הוא מסגרת ארכיטקטונית וארגונית שמתייחסת לנתונים כמו למוצר (במסמך הזה הם נקראים מוצרי נתונים). במסגרת הזו, צוותים שמבינים הכי טוב את הנתונים ומקפידים על קבוצה של תקנים למשילות מידע ברמת הארגון מפתחים מוצרי נתונים. אחרי שמפרסמים מוצרי נתונים ברשת הנתונים, צוותים מבוזרים בארגון יכולים לגלות נתונים שרלוונטיים לצרכים שלהם ולגשת אליהם בצורה מהירה ויעילה יותר. כדי להקים רשת נתונים שפועלת בצורה תקינה, צריך קודם להגדיר את רכיבי הארכיטקטורה ברמה הגבוהה ואת התפקידים בארגון שמתוארים במאמר הזה.

המאמר הזה הוא חלק מסדרה שמתארת איך להטמיע רשת נתונים ב- Google Cloud. ההנחה היא שקראתם את המאמר איך בונים Data Mesh מודרני ומבוזר באמצעות Google Cloud ושאתם מכירים את המושגים שמתוארים בו.

הסדרה כוללת את החלקים הבאים:

• ארכיטקטורה ופונקציות ברשת נתונים (המסמך הזה)
• תכנון פלטפורמת נתונים בשירות עצמי לרשת נתונים
• יצירת מוצרי נתונים ברשת נתונים
• איתור ושימוש במוצרי נתונים ברשת נתונים

בסדרה הזו, רשת הנתונים שמתוארת היא פנימית לארגון. אפשר להרחיב את ארכיטקטורת רשת הנתונים כדי לספק מוצרי נתונים לצדדים שלישיים, אבל הגישה המורחבת הזו לא נכללת במסגרת המסמך הזה. הרחבת רשת נתונים כרוכה בשיקולים נוספים מעבר לשימוש בתוך הארגון.

ארכיטקטורה

המונחים העיקריים הבאים משמשים להגדרת רכיבי הארכיטקטורה שמתוארים בסדרה הזו:

• מוצר נתונים: מוצר נתונים הוא קבוצה או מאגר לוגי של משאבי נתונים קשורים.
• מקור נתונים: מקור נתונים הוא נכס פיזי במערכת אחסון שמכיל נתונים מובְנים או שאילתה שמניבה נתונים מובְנים.
• מאפיין נתונים: מאפיין נתונים הוא שדה או רכיב של מקור נתונים.

בתרשים הבא מוצגת סקירה כללית של רכיבי הארכיטקטורה העיקריים של רשת נתונים שהוטמעה ב- Google Cloud.

בתרשים שלמעלה מוצגים:

• שירותים מרכזיים מאפשרים ליצור ולנהל מוצרי נתונים, כולל מדיניות ארגונית שמשפיעה על המשתתפים ב-data mesh, אמצעי בקרה לגישה (באמצעות קבוצות של ניהול זהויות והרשאות גישה) וארטיפקטים ספציפיים לתשתית. דוגמאות להתחייבויות ולהזמנות כאלה, ולתשתית שמסייעת להפעלה של רשת הנתונים, מפורטות במאמר יצירת רכיבי פלטפורמה ופתרונות.
• השירותים המרכזיים מספקים בעיקר את Data Catalog לכל מוצרי הנתונים ב-Data Mesh, ואת מנגנון הגילוי ללקוחות פוטנציאליים של המוצרים האלה.
• תחומים של נתונים חושפים קבוצות משנה של הנתונים שלהם כמוצרי נתונים באמצעות ממשקי צריכת נתונים מוגדרים היטב. מוצרי הנתונים האלה יכולים להיות טבלה, תצוגה, קובץ מובנה, נושא או מקור נתונים. ב-BigQuery, זה יהיה מערך נתונים, וב-Cloud Storage, זה יהיה תיקייה או מאגר. יכולים להיות סוגים שונים של ממשקים שאפשר לחשוף כמוצר נתונים. דוגמה לממשק היא תצוגה ב-BigQuery על טבלה ב-BigQuery. במאמר יצירת מוצרי נתונים ברשת נתונים מוסבר על סוגי הממשקים הנפוצים ביותר למטרות ניתוח.

הטמעה לדוגמה של רשת נתונים

אפשר למצוא הטמעה לדוגמה של הארכיטקטורה הזו במאגר data-mesh-demo. סקריפטים של Terraform שמשמשים בהטמעה לדוגמה מדגימים מושגים של רשת נתונים, והם לא מיועדים לשימוש בייצור. הפעלת הסקריפטים האלה תלמד אתכם איך:

• הפרדה בין הגדרות המוצרים לבין נתוני הבסיס.
• יצירת תבניות של קטלוג נתונים לתיאור ממשקי מוצרים.
• אפשר לתייג ממשקי מוצרים באמצעות התבניות האלה.
• הענקת הרשאות למשתמשים במוצר.

בממשקי המוצר, יישום ההפניה יוצר ומשתמש בסוגי הממשקים הבאים:

• תצוגות מורשות של טבלאות BigQuery.
• מקורות נתונים שמבוססים על נושאי Pub/Sub.

פרטים נוספים זמינים בקובץ ה-README במאגר.

פונקציות ב-data mesh

כדי שרשת נתונים תפעל בצורה טובה, צריך להגדיר תפקידים ברורים לאנשים שמבצעים משימות ברשת הנתונים. הבעלות מוקצית לאבות-טיפוס של צוותים או לפונקציות. הפונקציות האלה כוללות את תהליכי המשתמשים העיקריים של אנשים שעובדים ב-data mesh. כדי לתאר בבירור את תהליכי המשתמשים, הם הוקצו לתפקידי משתמשים. אפשר לפצל ולשלב את תפקידי המשתמשים האלה בהתאם לנסיבות של כל ארגון. אין צורך למפות את התפקידים ישירות עם עובדים או צוותים בארגון.

דומיין נתונים מותאם ליחידה עסקית או לפונקציה בתוך ארגון. דוגמאות נפוצות לדומיינים עסקיים הן מחלקת המשכנתאות בבנק, או מחלקות הלקוחות, ההפצה, הכספים או משאבי האנוש בארגון. מבחינה רעיונית, יש שני סוגים של צוותים שקשורים לדומיין ברשת נתונים: צוותים של מפיקי נתונים וצוותים של צרכני נתונים. חשוב להבין שדומיין נתונים יחיד כנראה ישמש את שתי הפונקציות בו-זמנית. צוות של תחום נתונים יוצר מוצרי נתונים מנתונים שבבעלותו. הצוות גם משתמש במוצרי נתונים כדי לקבל תובנות עסקיות, ויוצר מוצרי נתונים נגזרים לשימוש בדומיינים אחרים.

בנוסף לפונקציות שמבוססות על דומיין, ב-Data Mesh יש גם קבוצה של פונקציות שמבוצעות על ידי צוותים מרכזיים בארגון. הצוותים המרכזיים האלה מאפשרים את הפעלת רשת הנתונים על ידי מתן פיקוח, שירותים וממשל חוצה-תחומים. הם מפחיתים את העומס התפעולי על דומיינים של נתונים ביצירה ובצריכה של מוצרי נתונים, ומקלים על יצירת קשרים בין דומיינים שנדרשים כדי להפעיל את רשת הנתונים.

במסמך הזה מתוארות רק פונקציות שיש להן תפקיד ספציפי ב-Data Mesh. יש עוד כמה תפקידים שנדרשים בכל ארגון, ללא קשר לארכיטקטורה שמשמשת את הפלטפורמה. עם זאת, התפקידים האחרים האלה לא נכללים במסמך הזה.

אלה ארבע הפונקציות העיקריות ב-data mesh:

• צוותי יצרנים שמבוססים על תחום נתונים: יוצרים מוצרי נתונים ומנהלים אותם לאורך מחזור החיים שלהם. הצוותים האלה מכונים לעיתים קרובות מפיקי הנתונים.
• צוותי צרכנים שמבוססים על דומיין נתונים: אפשר לגלות מוצרי נתונים ולהשתמש בהם באפליקציות אנליטיות שונות. יכול להיות שהצוותים האלה ישתמשו במוצרי נתונים כדי ליצור מוצרי נתונים חדשים. הצוותים האלה מכונים לעיתים קרובות צרכני הנתונים.
• צוות מרכזי למשילות מידע: מגדיר ואוכף מדיניות משילות מידע בקרב יוצרי נתונים, כדי להבטיח איכות נתונים גבוהה ומהימנות נתונים עבור צרכנים. לצוות הזה קוראים בדרך כלל צוות משילות מידע.
• צוות מרכזי של פלטפורמת תשתית נתונים בשירות עצמי: מספק פלטפורמת נתונים בשירות עצמי למפיקי נתונים. הצוות הזה גם מספק את הכלים לגילוי מרכזי של נתונים ולניראות (observability) של מוצרי נתונים, שמשמשים גם צרכני נתונים וגם יצרני נתונים. הצוות הזה נקרא לעיתים צוות פלטפורמת הנתונים.

פונקציה אופציונלית נוספת שכדאי לקחת בחשבון היא של מרכז מצוינות (COE) לרשת הנתונים. מטרת ה-COE היא לספק ניהול של רשת הנתונים. ה-COE הוא גם צוות הבוררות הייעודי שמטפל בכל המחלוקות שמתעוררות בפונקציות האחרות. הפונקציה הזו שימושית לחיבור בין ארבע הפונקציות האחרות.

צוות הפקה מבוסס-דומיין של נתונים

בדרך כלל, מוצרי נתונים מבוססים על מאגר פיזי של נתונים (מחסני נתונים, אגמים או זרמים של נתונים, יחידים או מרובים). ארגון צריך תפקידים בפלטפורמת נתונים מסורתית כדי ליצור ולתחזק את המאגרים הפיזיים האלה. עם זאת, התפקידים המסורתיים האלה בפלטפורמת הנתונים בדרך כלל לא כוללים את האנשים שיוצרים את מוצר הנתונים.

כדי ליצור מוצרי נתונים ממאגרי המידע הפיזיים האלה, ארגון צריך שילוב של מומחי נתונים, כמו מהנדסי נתונים ואדריכלי נתונים. בטבלה הבאה מפורטים כל תפקידי המשתמשים הספציפיים לדומיין שנדרשים בצוותים שמפיקים נתונים.

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
הבעלים של מוצר הנתונים	משמש כאיש הקשר הראשי של העסק בנוגע למוצר הנתונים. אחראי להגדרות, למדיניות, להחלטות עסקיות וליישום של כללים עסקיים לגבי הנתונים שמוצגים כמוצרים. משמש כאיש קשר לשאלות בנוגע לעסק. לכן, הבעלים מייצג את תחום הנתונים בפגישות עם צוותי צרכני הנתונים או עם הצוותים המרכזיים (משילות מידע ופלטפורמת תשתית נתונים).	ניתוח נתונים ארכיטקטורת נתונים ניהול מוצרים	המוצר מבוסס הנתונים מספק ערך לצרכנים. ניהול חזק של מחזור החיים של מוצר הנתונים, כולל החלטה מתי להוציא מוצר משימוש או להשיק גרסה חדשה. יש תיאום בין רכיבי נתונים אוניברסליים לבין תחומים אחרים של נתונים.
Data product technical lead	משמש כאיש הקשר הטכני הראשי למוצר. אחראי להטמעה ולפרסום של ממשקי מוצרים. משמש כאיש קשר לשאלות טכניות. לכן, האחראי על הנתונים מייצג את תחום הנתונים בפגישות עם צוותי צרכני הנתונים או עם הצוותים המרכזיים (משילות מידע (data governance) ופלטפורמת תשתית הנתונים). עובד עם צוות משילות מידע (data governance) כדי להגדיר וליישם סטנדרטים של רשת נתונים בארגון. עובד עם צוות פלטפורמת הנתונים כדי לפתח את הפלטפורמה במקביל לצרכים הטכניים שנובעים מהייצור ומהצריכה.	הנדסת מערכות מידע ארכיטקטורת נתונים הנדסת תוכנה	מוצר הנתונים עומד בדרישות העסקיות ובתקנים הטכניים של רשת הנתונים. צוותים שצורכים נתונים משתמשים במוצר הנתונים, והוא מופיע בתוצאות שנוצרות על ידי חוויית הגילוי של מוצר הנתונים. אפשר לנתח את השימוש במוצר הנתונים (לדוגמה, מספר השאילתות היומיות).
תמיכה במוצר נתונים	משמש כנקודת הקשר לתמיכה בייצור. אחראי על שמירה על הסכם רמת השירות (SLA) של המוצר.	הנדסת תוכנה Site Reliability Engineering (SRE)‎	מוצר הנתונים עומד בהסכם רמת השירות (SLA) שצוין. שאלות של צרכני נתונים לגבי השימוש במוצר הנתונים מטופלות ונפתרות.
מומחה בתחום (SME) בנושא תחום הנתונים	מייצג את תחום הנתונים בפגישות עם מומחים מתחומי נתונים אחרים כדי להגדיר את הגבולות וההגדרות של רכיבי הנתונים שמשותפים לכל הארגון. עוזר ליצרני נתונים חדשים בדומיין להגדיר את היקפי המוצרים שלהם.	ניתוח נתונים ארכיטקטורת נתונים	משתף פעולה עם מומחים אחרים בתחום מכל תחום נתונים כדי ליצור ולשמור על הבנה מקיפה של הנתונים בארגון ושל מודלי הנתונים שבהם הוא משתמש. הוא מאפשר ליצור מוצרי נתונים שניתן להשתמש בהם עם מערכות שונות, ושמתאימים למודל הנתונים הכולל של הארגון. יש סטנדרטים ברורים ליצירת מוצרי נתונים ולניהול מחזור החיים שלהם. מוצרי הנתונים מדומיין הנתונים מספקים ערך עסקי.
בעלי הנתונים	אחראי/ת לתחום תוכן. אחראי לאיכות הנתונים ולדיוקם. אישור בקשות גישה. תורם לתיעוד של מוצרי נתונים.	כל מיומנות, אבל חובה להכיר את הפונקציה העסקית. כל רמת מיומנות, אבל חובה להכיר את המשמעות של הנתונים ואת הכללים העסקיים שקשורים אליהם. כל מיומנות, אבל צריך להיות מסוגל לקבוע את הפתרון הטוב ביותר לבעיות באיכות הנתונים.	הנתונים שמשמשים תחומים שונים הם מדויקים. בעלי העניין מבינים את הנתונים. השימוש בנתונים נעשה בהתאם למדיניות השימוש.

צוותי צרכנים שמבוססים על דומיין נתונים

ב-data mesh, האנשים שצורכים מוצר נתונים הם בדרך כלל משתמשי נתונים שנמצאים מחוץ לדומיין של מוצר הנתונים. הצרכנים האלה משתמשים בקטלוג נתונים מרכזי כדי למצוא מוצרי נתונים שרלוונטיים לצרכים שלהם. יכול להיות שיותר ממוצר נתונים אחד יענה על הצרכים שלהם, ולכן צרכני הנתונים עלולים להירשם לכמה מוצרי נתונים.

אם צרכני הנתונים לא מצליחים למצוא את מוצר הנתונים הנדרש לתרחיש השימוש שלהם, הם צריכים לפנות ישירות למרכז המומחיות של רשת הנתונים. במהלך הייעוץ הזה, צרכני הנתונים יכולים להעלות את הצרכים שלהם לגבי נתונים ולבקש הצעות לגבי דרכים שבהן אפשר לענות על הצרכים האלה באמצעות דומיין אחד או יותר.

כשמחפשים מוצר נתונים, צרכני הנתונים מחפשים נתונים שיעזרו להם להשיג תרחישי שימוש שונים, כמו לוחות בקרה ודוחות של ניתוח נתונים מתמשך, דוחות ביצועים פרטניים ומדדים אחרים של ביצועים עסקיים. לחלופין, צרכני נתונים עשויים לחפש מוצרי נתונים שאפשר להשתמש בהם בתרחישי שימוש של בינה מלאכותית (AI) ולמידת מכונה (ML). כדי להשיג את התרחישים השונים האלה לשימוש, צרכני הנתונים צריכים שילוב של דמויות של מומחי נתונים, והן:

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
מנתח נתונים	חיפוש, זיהוי, הערכה והרשמה למוצרי נתונים של דומיין יחיד או של כמה דומיינים כדי ליצור בסיס למסגרות של בינה עסקית.	הנדסת ניתוח נתונים ניתוח נתונים עסקיים	מספק מערכי נתונים נקיים, שנאספו ונערכו במיוחד, למומחים בתחום של ויזואליזציה של נתונים. יוצר שיטות מומלצות לשימוש במוצרי נתונים. מצטבר ומסדר מערכי נתונים חוצי-דומיין כדי לענות על הצרכים האנליטיים של הדומיין.
מפַתח אפליקציות	פיתוח מסגרת אפליקציה לשימוש בנתונים ממוצר נתונים אחד או יותר, בתוך הדומיין או מחוצה לו.	פיתוח אפליקציות הנדסת נתונים	יצירה, הצגה ותחזוקה של אפליקציות שצורכות נתונים ממוצר נתונים אחד או יותר. יצירת אפליקציות נתונים לשימוש משתמשי קצה.
מומחה להמחשת נתונים	מתרגם ז'רגון של נתונים הנדסיים וניתוח נתונים למידע שמקבלי החלטות עסקיים יכולים להבין. הגדרת תהליכים לאכלוס דוחות עסקיים ממוצרי נתונים. יצירה ומעקב של דוחות שמתארים יעדים עסקיים אסטרטגיים. עובד בשיתוף פעולה עם מהנדסים בארגון כדי לעצב מערכי נתונים שמצטברים ממוצרי נתונים שנצרכו. מיישם פתרונות דיווח. מתרגם דרישות עסקיות ברמה גבוהה לדרישות טכניות.	ניתוח דרישות המחשת נתונים	מספק מערכי נתונים ודוחות תקפים ומדויקים למשתמשי הקצה. הדרישות העסקיות מתקיימות באמצעות מרכזי הבקרה והדוחות שנוצרים.
מדעני נתונים	חיפושים אחר מוצרי נתונים, זיהוי שלהם, הערכה שלהם והרשמה אליהם לשימוש בתרחישים של מדעי הנתונים. שליפת מוצרי נתונים ומטא-נתונים מכמה דומיינים של נתונים. מאמן מודלים לחיזוי ומיישם אותם כדי לבצע אופטימיזציה של תהליכים עסקיים בדומיין. הוא מספק משוב על טכניקות אפשריות של אוצרות נתונים והערות לנתונים עבור כמה תחומים של נתונים.	הנדסת למידת מכונה הנדסת ניתוח נתונים	יצירת מודלים לחיזוי ולתכנון כדי לבצע אופטימיזציה של תהליכים עסקיים. אימון המודל ופריסת המודל מתבצעים בזמן.

צוות מרכזי למשילות מידע

צוות ניהול הנתונים מאפשר ליצרני נתונים ולצרכני נתונים לשתף, לצבור ולחשב נתונים באופן בטוח בשירות עצמי, בלי ליצור סיכוני תאימות לארגון.

כדי לעמוד בדרישות התאימות של הארגון, צוות משילות מידע (data governance) מורכב מבעלי תפקידים שונים בתחום הנתונים, והם:

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
מומחה למשילות מידע	הוא מספק פיקוח ומתאם תצוגה יחידה של תאימות. ממליץ על מדיניות פרטיות ברמת הרשת בנושא איסוף נתונים, הגנה על נתונים ושמירת נתונים. מוודאים שאחראים על נתונים יודעים על המדיניות ויכולים לגשת אליה. לספק מידע וייעוץ לגבי התקנות העדכניות בנושא פרטיות נתונים, לפי הצורך. לספק מידע והתייעצות בנושאי אבטחה לפי הצורך. מבצע ביקורות פנימיות ומשתף דוחות קבועים על תוכניות לניהול סיכונים ובקרה.	מומחה משפטי מומחה לאבטחה מומחה לפרטיות נתונים	התקנות בנושא פרטיות במדיניות מעודכנות. אנחנו מודיעים ליצרני הנתונים על שינויים במדיניות בזמן. ההנהלה מקבלת דוחות בזמן ובאופן קבוע על התאימות למדיניות של כל מוצרי הנתונים שפורסמו.
אחראי על נתונים (בכל דומיין)	הגדרת המדיניות שנוצרה על ידי מומחים למשילות מידע. הגדרת הטקסונומיה שבה ארגון משתמש כדי להוסיף הערות למוצרי נתונים, למשאבי נתונים ולמאפייני נתונים עם מטא-נתונים שקשורים לחיפוש רחב ולפרטיות, ועדכון הטקסונומיה. מתאמים בין בעלי עניין שונים בתוך הדומיין ומחוצה לו. מוודאים שמוצרי הנתונים בדומיין עומדים בתקני המטא-נתונים ובמדיניות הפרטיות של הארגון. מספק הנחיות למהנדסי משילות המידע לגבי תכנון תכונות של פלטפורמת נתונים וקביעת סדר העדיפויות שלהן.	ארכיטקטורת נתונים מדיניות מידע ארגונית	נוצרו מטא-נתונים נדרשים לכל מוצרי הנתונים בדומיין, ומוצרי הנתונים של הדומיין מתוארים בצורה מדויקת. צוות פלטפורמת תשתית הנתונים בשירות עצמי בונה את כלי העבודה המתאימים לאוטומציה של הערות מטא-נתונים של מוצרי נתונים, יצירה ואימות של מדיניות.
מהנדס משילות מידע	מפתחת כלים שמפיקים אוטומטית הערות לנתונים, וניתן להשתמש בהם בכל תחום נתונים, ואז משתמשת בהערות האלה כדי לאכוף את המדיניות. מיישם מעקב כדי לבדוק את העקביות של ההערות וההתראות כשמתגלות בעיות. היא מוודאת שהעובדים בארגון מקבלים מידע על הסטטוס של מוצרי הנתונים באמצעות הטמעה של התראות, דוחות ולוחות בקרה.	הנדסת תוכנה	האימות של ההערות בנושא משילות מידע (data governance) מתבצע באופן אוטומטי. מוצרי נתונים עומדים בדרישות של מדיניות משילות מידע (data governance). הפרות של מוצרי נתונים מזוהות בזמן.

צוות מרכזי של פלטפורמת תשתית נתונים בשירות עצמי

הצוות של פלטפורמת תשתית הנתונים בשירות עצמי, או פשוט צוות פלטפורמת הנתונים, אחראי ליצירת קבוצה של רכיבי תשתית נתונים. צוותים של דומיינים עם נתונים מבוזרים משתמשים ברכיבים האלה כדי לבנות ולפרוס את מוצרי הנתונים שלהם. צוות פלטפורמת הנתונים גם מקדם שיטות מומלצות ומציג כלים ומתודולוגיות שעוזרים לצמצם את העומס הקוגניטיבי על צוותים מבוזרים כשמאמצים טכנולוגיה חדשה.

תשתית הפלטפורמה צריכה לספק אינטגרציה פשוטה עם כלי תפעול לצורך יכולת צפייה, מדידה ואוטומציה של תאימות ברמה הגלובלית. לחלופין, התשתית צריכה לאפשר שילוב כזה כדי להקים צוותים מבוזרים שיצליחו.

לצוות פלטפורמת הנתונים יש מודל אחריות משותפת שבו הוא משתמש עם צוותי הדומיין המבוזרים ועם צוות התשתית הבסיסית. המודל מראה אילו אחריות מצופה מהצרכנים של הפלטפורמה, ואילו רכיבי פלטפורמה נתמכים על ידי צוות פלטפורמת הנתונים.

מכיוון שפלטפורמת הנתונים היא מוצר פנימי, היא לא תומכת בכל תרחישי השימוש. במקום זאת, הצוות של פלטפורמת הנתונים משיק באופן רציף שירותים ותכונות חדשים בהתאם לתוכנית עבודה עם סדר עדיפויות.

יכול להיות שלצוות פלטפורמת הנתונים יש קבוצה סטנדרטית של רכיבים שמוכנים לשימוש או נמצאים בפיתוח. עם זאת, צוותים של דומיינים של נתונים יכולים לבחור להשתמש בקבוצה שונה וייחודית של רכיבים אם הצרכים של הצוות לא תואמים לאלה שמסופקים על ידי פלטפורמת הנתונים. אם צוותים של דומיינים של נתונים בוחרים בגישה אחרת, הם צריכים לוודא שכל תשתית פלטפורמה שהם בונים ומתחזקים עומדת בדרישות של מדיניות וכללי הגנה ברמת הארגון בנושא אבטחה ומשילות מידע (data governance). במקרה של תשתית פלטפורמת נתונים שפותחה מחוץ לצוות המרכזי של פלטפורמת הנתונים, הצוות הזה יכול לבחור להשקיע יחד עם צוותי הדומיין או לשלב מהנדסים משלו בצוותים האלה. ההחלטה של צוות פלטפורמת הנתונים אם להשקיע יחד או לשלב מהנדסים עשויה להיות תלויה בחשיבות האסטרטגית של תשתית פלטפורמת תחום הנתונים לארגון. השתתפות בפיתוח של תשתית על ידי צוותים של תחום נתונים מאפשרת לארגונים לספק את ההתאמה והמומחיות הטכנית שנדרשות כדי לארוז מחדש רכיבים חדשים של תשתית פלטפורמה שנמצאים בפיתוח לשימוש חוזר בעתיד.

יכול להיות שתצטרכו להגביל את האוטונומיה בשלבים הראשונים של בניית רשת נתונים, אם המטרה הראשונית שלכם היא לקבל אישור מבעלי עניין להרחבת רשת הנתונים. עם זאת, הגבלת האוטונומיה עלולה ליצור צוואר בקבוק בצוות המרכזי של פלטפורמת הנתונים. צוואר הבקבוק הזה יכול להפריע להרחבת רשת הנתונים. לכן, צריך לשקול היטב כל החלטה לגבי ריכוז. יצרני נתונים עשויים להעדיף לבחור מתוך קבוצה מוגבלת של אפשרויות טכניות זמינות, במקום להעריך ולבחור מתוך רשימה בלתי מוגבלת של אפשרויות בעצמם. קידום האוטונומיה של יוצרי הנתונים לא אומר שצריך ליצור סביבה טכנולוגית לא מנוהלת. במקום זאת, המטרה היא להניע תאימות ואימוץ של הפלטפורמה על ידי שמירה על איזון נכון בין חופש הבחירה לבין סטנדרטיזציה.

לבסוף, צוות טוב של פלטפורמת נתונים הוא מקור מרכזי להדרכה ולשיטות מומלצות עבור שאר החברה. ריכזנו כאן כמה מהפעילויות החשובות ביותר שמומלץ לצוותים של פלטפורמות נתונים מרכזיות לבצע:

• קידום בדיקות קבועות של עיצוב ארכיטקטוני לפרויקטים פונקציונליים חדשים והצעת שיטות פיתוח משותפות לצוותי פיתוח שונים.
• לשתף ידע וחוויות, ולהגדיר ביחד שיטות מומלצות והנחיות לארכיטקטורה.
• לוודא שלמהנדסים יש את הכלים הנכונים כדי לאמת ולבדוק בעיות נפוצות כמו בעיות בקוד, באגים וירידה בביצועים.
• ארגון האקתונים פנימיים כדי שצוותי הפיתוח יוכלו להציג את הדרישות שלהם לצורכי כלים פנימיים.

דוגמאות לתפקידים ולאחריות של צוות פלטפורמת הנתונים המרכזית:

תפקיד	תחומי אחריות	מיומנויות נדרשות	התוצאות הרצויות
הבעלים של מוצר פלטפורמת הנתונים	יצירת מערכת אקולוגית של פתרונות ותשתית נתונים כדי לאפשר לצוותים מבוזרים ליצור מוצרים מבוססי-נתונים. הפתרון הזה מפחית את המחסום הטכני לכניסה, מוודא שהממשל מוטמע ומצמצם את החוב הטכני המשותף של תשתית הנתונים. מנהל/ת את הקשר עם גורמי הנהלה, בעלי תחום הנתונים, צוות משילות מידע ובעלי פלטפורמת הטכנולוגיה כדי לקבוע את האסטרטגיה ואת תוכנית הפעולה לפלטפורמת הנתונים.	אסטרטגיית נתונים ותפעול ניהול מוצרים ניהול בעלי עניין	יוצרת מערכת אקולוגית של מוצרי נתונים מוצלחים. יש מספרים גבוהים של מוצרי נתונים שנמצאים בייצור. יש קיצור של הזמן עד להשקת מוצר בר-קיימא מינימלי ושל הזמן עד להשקת מוצר לנתונים. יש לנו פורטפוליו של תשתית ורכיבים כלליים שנותנים מענה לצרכים הנפוצים ביותר של יוצרי נתונים וצרכני נתונים. יש ציון שביעות רצון גבוה מצד מפיקי הנתונים וצרכני הנתונים.
מהנדס פלטפורמת נתונים	יצירת תשתית נתונים ופתרונות לשימוש חוזר בשירות עצמי להטמעה, לאחסון, לעיבוד ולצריכה של נתונים באמצעות תבניות, תוכניות אדריכליות לפריסה, מדריכים למפתחים ומסמכים אחרים. בנוסף, הוא יוצר תבניות Terraform, פייפליין, תבניות של קונטיינרים וכלי תזמור. פיתוח ותחזוקה של שירותי נתונים ומסגרות מרכזיים כדי לתקנן תהליכים שקשורים לבעיות חוצות-פונקציות כמו שיתוף נתונים, תזמון צינורות נתונים, רישום ביומן ומעקב, ניהול נתונים, שילוב רציף ופריסה רציפה (CI/CD) עם אמצעי הגנה מוטמעים, דיווח על אבטחה ותאימות ודיווח על FinOps.	הנדסת מערכות מידע הנדסת תוכנה	יש רכיבי תשתית ופתרונות סטנדרטיים לשימוש חוזר, שמאפשרים ליצרני נתונים לבצע הטמעת נתונים, אחסון, עיבוד, אוסף ושיתוף של נתונים, וגם מספקים את התיעוד הנדרש. הגרסאות של הרכיבים, הפתרונות והתיעוד למשתמשי הקצה תואמות לתוכנית הדרך. המשתמשים מדווחים על רמה גבוהה של שביעות רצון הלקוחות. יש שירותים משותפים חזקים לכל הפונקציות ברשת הנתונים. זמן הפעולה התקינה של השירותים המשותפים גבוה. זמן התגובה של התמיכה קצר.
מהנדס פלטפורמה ואבטחה (נציג מצוותי ה-IT המרכזיים, כמו רשת ואבטחה, שמשובץ בצוות פלטפורמת הנתונים)	הוא מבטיח שההפשטות של פלטפורמת הנתונים תואמות למסגרות טכנולוגיות ולהחלטות ברמת הארגון. תומך בפעילויות הנדסיות על ידי בניית פתרונות טכנולוגיים ושירותים בצוות הליבה שלו, שנדרשים לאספקת פלטפורמת נתונים.	הנדסת תשתית הנדסת תוכנה	רכיבי התשתית של הפלטפורמה מפותחים עבור פלטפורמת הנתונים. הגרסאות של הרכיבים, הפתרונות והתיעוד למשתמשי הקצה תואמות לתוכנית הדרך. מהנדסי פלטפורמת הנתונים המרכזית מדווחים על רמת שביעות רצון גבוהה של הלקוחות. התקינות של פלטפורמת התשתית משתפרת עבור רכיבים שמשמשים את פלטפורמת הנתונים (לדוגמה, רישום ביומן). רכיבי הטכנולוגיה הבסיסיים נהנים מזמינות גבוהה. מהנדסי פלטפורמת הנתונים נתקלים בבעיות, זמן התגובה של התמיכה קצר.
אדריכל Enterprise	התאמה בין ארכיטקטורת רשת נתונים ופלטפורמת נתונים לבין טכנולוגיה ואסטרטגיית נתונים בכל הארגון. מספק ייעוץ, סמכות עיצוב והבטחה לארכיטקטורות של פלטפורמות נתונים ומוצרי נתונים, כדי להבטיח התאמה לאסטרטגיה ולשיטות המומלצות ברמת הארגון.	ארכיטקטורת נתונים איטרציה של פתרונות ופתרון בעיות גיבוש הסכמה	מערכת אקולוגית מוצלחת נבנית על בסיס מספרים גדולים של מוצרי נתונים, שמאפשרים לקצר את הזמן שנדרש ליצירת מוצרים בני קיימא מינימליים ולשחרור המוצרים האלה לייצור. הוגדרו תקני ארכיטקטורה למסלולי נתונים קריטיים, למשל על ידי הגדרת תקנים משותפים לניהול מטא-נתונים ולארכיטקטורה של שיתוף נתונים.

שיקולים נוספים לגבי רשת נתונים

יש כמה אפשרויות לארכיטקטורה של פלטפורמה לנתוני ניתוח, ולכל אפשרות יש דרישות מוקדמות שונות. כדי להפעיל כל ארכיטקטורת רשת נתונים, מומלץ לארגון לפעול לפי השיטות המומלצות שמתוארות בקטע הזה.

קבלת מימון לפלטפורמה

כמו שמוסבר בפוסט בבלוג, אם רוצים לבצע שינוי, צריך להתחיל עם הכספים. הפלטפורמה אף פעם לא מסיימת את הפעולה: היא תמיד פועלת על סמך תוכנית דרכים עם סדר עדיפויות. לכן, הפלטפורמה צריכה להיות ממומנת כמוצר, ולא כפרויקט עם נקודת קצה קבועה.

הגורם הראשון שמאמץ את רשת הנתונים נושא בעלות. בדרך כלל, העלות מתחלקת בין העסק שיוצר את תחום הנתונים הראשון כדי להפעיל את רשת הנתונים, לבין צוות הטכנולוגיה המרכזי, שבדרך כלל כולל את צוות פלטפורמת הנתונים המרכזית.

כדי לשכנע את צוותי הכספים לאשר מימון לפלטפורמה המרכזית, מומלץ להציג נימוקים עסקיים לערך של הפלטפורמה המרכזית שמתממש לאורך זמן. הערך הזה מגיע מיישום מחדש של אותם רכיבים בצוותי מסירה נפרדים.

הגדרת הפלטפורמה המינימלית האפשרית לרשת הנתונים

כדי להגדיר את הפלטפורמה המינימלית האפשרית לרשת הנתונים, מומלץ להריץ פיילוט ולבצע איטרציות עם מקרה עסקי אחד או יותר. במסגרת הפיילוט, צריך למצוא תרחישי שימוש נדרשים, שבהם הצרכנים מוכנים לאמץ את מוצר הנתונים שנוצר. צריכים להיות כבר מקורות מימון לפיתוח מוצרי הנתונים, אבל צריך להיות צורך בקלט מצוותים טכניים.

חשוב לוודא שהצוות שמיישם את הפיילוט מבין את מודל התפעול של רשת הנתונים באופן הבא:

• העסק (כלומר, צוות הפקת הנתונים) הוא הבעלים של רשימת המשימות לביצוע, התמיכה והתחזוקה.
• הצוות המרכזי מגדיר את דפוסי השירות העצמי ועוזר לעסק לבנות את מוצר הנתונים, אבל מעביר את מוצר הנתונים לעסק כדי שיפעיל אותו ויהיה הבעלים שלו כשהוא מוכן.
• המטרה העיקרית היא להוכיח את המודל העסקי (דומיינים מייצרים, דומיינים צורכים). המטרה המשנית היא להוכיח את המודל הטכני של התפעול (דפוסי שירות עצמי שפותחו על ידי הצוות המרכזי).
• מכיוון שהמשאבים של צוות הפלטפורמה מוגבלים, מומלץ להשתמש במודל של צוותי trunk ו-branch כדי לרכז את הידע, אבל עדיין לאפשר פיתוח של שירותים ומוצרים מיוחדים לפלטפורמה.

מומלץ גם:

• לתכנן מפות דרכים במקום לאפשר לשירותים ולתכונות להתפתח באופן אורגני.
• הגדרת יכולות מינימליות של פלטפורמה שכוללות קליטה, אחסון, עיבוד, ניתוח ולמידת מכונה.
• הטמעת משילות מידע (data governance) בכל שלב, ולא כחלק מתהליך עבודה נפרד.
• הטמעת היכולות המינימליות בתחומים הבאים: ניהול, פלטפורמה, זרם ערך וניהול שינויים. יכולות מינימליות הן יכולות שעונות על 80% מהתרחישים העסקיים.

תכנון של דו-קיום בין רשת נתונים לבין פלטפורמת נתונים קיימת

לארגונים רבים שרוצים להטמיע רשת נתונים כבר יש פלטפורמת נתונים קיימת, כמו אגם נתונים, מחסן נתונים או שילוב של שניהם. לפני שמטמיעים רשת נתונים, הארגונים האלה צריכים לתכנן איך פלטפורמת הנתונים הקיימת שלהם יכולה להתפתח ככל שרשת הנתונים גדלה.

ארגונים כאלה צריכים להביא בחשבון גורמים כמו:

• מקורות הנתונים שהכי יעילים ב-data mesh.
• הנכסים שחייבים להישאר בפלטפורמת הנתונים הקיימת.
• האם צריך להעביר את הנכסים, או שאפשר לשמור אותם בפלטפורמה הקיימת ועדיין להשתמש בהם במסגרת רשת הנתונים.

המאמרים הבאים

• במאמר Google Cloud Well-Architected Framework תוכלו לקרוא מידע נוסף על תכנון והפעלה של טופולוגיית ענן.
• לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.