(יצא משימוש) מושגים שקשורים ל-Data Mesh

אזהרה: התכונה Data Mesh במסגרת Google Cloud Cortex הוצאה משימוש והושבתה. השינוי הזה נובע מההתפתחות של שירותי ניהול הנתונים של Google Cloud. פתרון Data Mesh נבנה באמצעות Data Catalog לניהול מטא נתונים, ועכשיו הוא מוחלף ב-Knowledge Catalog, שהוא מתקדם יותר. ‫Knowledge Catalog מספק API מאוחד, יכולות משופרות של מטא נתונים ותכונות חדשות לחוויה מקיפה יותר של משילות מידע (data governance).

משתמשים קיימים ב-Cortex Framework שהטמיעו את התכונה Data Mesh מומלץ לעבור אל Knowledge Catalog כדי להבטיח תמיכה רציפה וגישה לתכונות העדכניות. מדריך מפורט להעברת נתונים זמין במאמר מעבר לקטלוג הידע.

לפני שמתעמקים במדריך המפורט לפריסת Data Mesh באמצעות Google Cloud Cortex Framework, בדף הזה מוסבר איך מושגים רלוונטיים של Data Mesh מיושמים בדרך כלל ב Google Cloud מוצר, ובאופן ספציפי בהקשר של Cortex Framework. אחרי שתבינו את המושגים של Data Mesh, תוכלו לעיין במדריך למשתמש של Data Mesh בנושא Cortex Framework Data Foundation.

הערה: כדי להבין יותר לעומק את המושגים הכלליים של Data Mesh, אפשר לעיין במאמר יצירת Data Mesh מודרני ומבוזר באמצעות Google Cloud.

Knowledge Catalog

בטבלה הבאה מוגדרים המושגים של Data Mesh ב-Knowledge Catalog:

מושג	תיאור	הקשר של Cortex Framework
Lake	היחידה ברמה העליונה לארגון נתונים בתוך Data Mesh. ניהול Knowledge Catalog – אגמים.	מקור נתונים, לדוגמה: SAP ECC,‏ Salesforce,‏ Google Ads.
תחום (zone)	יחידה ברמה השנייה לארגון נתונים בתוך אגם.	שכבות עיבוד ספציפיות במקור נתונים, כמו נתונים גולמיים לעומת CDC.
נכס ב-Knowledge Catalog	הפניה לנתונים שמאוחסנים ב-Cloud Storage או ב-BigQuery שמשויכים לאזור. ההפניה היא לנכס הנתונים ולא לנתונים עצמם.	הפניה למערכי נתונים של BigQuery שנרשמו באזורים.
תווית	צמדי מפתח/ערך שרירותיים שאפשר להחיל על אגמים או אזורים.	לתייג אגמים או אזורים שלמים (ולא טבלאות או עמודות) באמצעות מטא-נתונים שאפשר לראות ב-Knowledge Catalog או להשתמש בהם באפליקציות בהתאמה אישית.
Data Catalog	מטא-נתונים טכניים של העסק שאפשר להשתמש בהם כדי לגלות נכסי נתונים במחסן נתונים, להבין אותם או לנהל אותם.	הוספת הערות לטבלאות או לעמודות (ולא לאגמים או לאזורים) באמצעות תגי מטא-נתונים עשירים שאפשר להשתמש בהם בחיפוש ב-Knowledge Catalog או באפליקציות בהתאמה אישית.
תבניות של תגי קטלוג	תבנית שמגדירה את השדות הזמינים ואת הסוגים שלהם בתג. ניהול Knowledge Catalog – תבניות תגים	הגדרת קבוצה של תבניות לשימושים כמו תיוג נכסי נתונים לפי קווי עסקים.
תג קטלוג	קבוצה של שדות והערכים שלהם שמכילים מטא-נתונים שרלוונטיים לטבלה או לעמודה. מופע של תבנית ליצירת תג.	מוסיפים הערות לטבלה או לעמודה עם ערכי מטא-נתונים שרלוונטיים לנכס, כמו ענף כלכלי (LOB) מסוים.
מילון מונחים של קטלוגים	מילון מונחים שאפשר להגדיר ולקשר לעמודות ב-BigQuery. ניהול מילוני מונחים ב-Knowledge Catalog.	תגדיר מונחים או ראשי תיבות שמשמשים ב-BigQuery Assets. חשוב לזכור שהאפשרות הזו מתוכננת לעתיד ועדיין לא נתמכת.
שושלת נתונים	גרף שמייצג את התלות של נכסי BigQuery.	הם לא מוגדרים על ידי Cortex Data Mesh, אבל הם כלי רלוונטי של Knowledge Catalog שעוזר למשתמשים לגלות מקורות נתונים של נכסי BigQuery.
אירוע שושלת נתונים	נקודת זמן שבה התרחשה פעולה להעברת נתונים בין נכסי BigQuery. מכיל רשימה של קישורים.	נוצר באופן אוטומטי עבור פעולות נתמכות ב-BigQuery וב-Composer.
קישור למידע על מקור הנתונים	קצה שמייצג נתונים שזורמים מנכס מקור לנכס יעד כחלק מאירוע של שושלת נתונים.	אפשר לנתח אותו כדי לתמוך בתרחישי שימוש מעבר לתרשימי ההדמיה של שושלת הנתונים שמוצגים במסוף.

BigQuery

בטבלה הבאה מוגדרים מושגים של Data Mesh ב-BigQuery:

מושג	תיאור	הקשר של Cortex Framework
טקסונומיה של מדיניות	היררכיה של תגי מדיניות. ניהול תגי מדיניות ב-BigQuery.	כדאי לארגן תגי מדיניות קשורים שאפשר להשתמש בהם לבקרת גישה בהיררכיה עם הרשאות שעוברות בירושה.
תג מדיניות	תג שמוחל על עמודות ספציפיות בטבלה או בתצוגה של BigQuery. אפשר להחיל תגי מדיניות בכל רמה בהיררכיה. אפשר להחיל רק תג מדיניות אחד על עמודה מסוימת.	מוסיפים הערות לעמודות עם תגים שמשמשים לבקרת גישה ברמת העמודה. הגורמים המורשים בתג המדיניות מגדירים קוראים עם גישה 'מפורטת' או 'לא מוסתרת' שיכולים לראות את נתוני העמודה הגולמיים.
מדיניות בנושא נתונים	מדיניות שמוחלת על תג מדיניות שמגדירה איך ומי יכולים לראות את הנתונים בעמודה עם ההסתרה.	הגדרת העקרונות במדיניות הגישה לנתונים מגדירה את 'המשתמשים עם גישה מוגבלת לקריאה' שיכולים לראות את הנתונים בעמודה עם ההסתרה. כל מי שאין לו הרשאות קריאה מוסתרות או לא מוסתרות לא יוכל לשלוף נתונים מהעמודה.
כלל מסקינג	כללים שמוחלים על מדיניות נתונים שמגדירים איך הנתונים מוסווים, למשל, גיבוב, הצגת ערך ברירת מחדל, ארבעת התווים האחרונים ועוד.	ההגדרה חלה על עמודות רגישות בהתאם למצב.
מדיניות גישה לשורות	הצהרות SQL שמגדירות אילו קבוצות יכולות לשלוח שאילתות לגבי שורות בטבלאות על סמך ערכים ספציפיים בעמודות.	משמש לבקרת גישה ברמת השורה כשבקרת הגישה ברמת הנכס והעמודה לא מספיקה.

מושג Cortex Data Mesh

בטבלה הבאה מוגדרים מושגים ספציפיים של Data Mesh במסגרת Cortex:

מושג	תיאור	הקשר של Cortex Framework
משאב מטא-נתונים	ישויות מטא-נתונים שאפשר לעשות בהן שימוש חוזר בכמה נכסי BigQuery. דוגמאות: Lakes,‏ Catalog Tag Templates ו-Policy Taxonomies. המטא-נתונים האלה הם ספציפיים ולא הנתונים עצמם ב-BigQuery.	ההגדרה מגדירה משאבים לשימוש חוזר כדי לאפשר ניהול עקבי של Cortex Data Mesh.
נכס BigQuery	טבלה או תצוגה ב-BigQuery.	אובייקטים קיימים של Cortex BigQuery שמנוהלים באמצעות Data Mesh.
BigQuery Asset Annotation	מטא-נתונים שמוחלים על טבלה ב-BigQuery או על תצוגה ספציפיות. האיסור חל גם על תיאורים, מדיניות גישה ומיפויים למשאבי מטא-נתונים.	אפשר לשייך מטא-נתונים לנכסי BigQuery כדי לאפשר גילוי ובקרת גישה.
מפרט המשאב	קובץ YAML שמגדיר משאב מטא-נתונים או הערה על נכס ב-BigQuery.	הקבוצה המלאה של מפרטי המשאבים מגדירה את תצורת Data Mesh שצריך לפרוס.