שושלת הנתונים עוזרת להבין איך הנתונים עוברים במערכות, על ידי מעקב אחרי הקשרים בין נכסי הנתונים לבין התהליכים שמשנים אותם. אפשר לראות את פרטי שושלת היוחסין האלה בתרשימים וברשימות במסוף Google Cloud .
במאמר הזה מוסבר על רמת הפירוט של שושלת הנתונים ברמת הטבלה וברמת העמודה, ואיך משתמשים בתצוגות של תרשימים ורשימות כדי לבחון את שושלת הנתונים במסוף Google Cloud .
לפרטים על מודל הנתונים הבסיסי, ראו מודל המידע של שושלת הנתונים.
ההבדלים בין שושלת ברמת הטבלה לבין שושלת ברמת העמודה
בעזרת שושלת נתונים אתם יכולים לעקוב אחרי המקור של הנתונים ואחרי נתיב הטרנספורמציה שלהם, גם ברמת הטבלה וגם ברמת העמודה.
מתי כדאי להשתמש בשושלת נתונים ברמת הטבלה
שושלת נתונים ברמת הטבלה מספקת סקירה כללית ברמה גבוהה של פייפליינים, על ידי הצגת הקשרים בין טבלאות שלמות. אפשר להשתמש בשושלת היוחסין ברמת הטבלה למשימות ברמת המאקרו, כמו:
גילוי נתונים. מנתח נתונים שיוצר מרכז בקרה חדש יכול להשתמש במעקב שושלת ברמת הטבלה כדי לאתר את המקורות של טבלת סיכום, ולוודא שהנתונים מגיעים ממסד נתונים מוסמך.
תכנון ההעברה מנהל מסד נתונים שמתכנן להעביר מסד נתונים מרכזי יכול להשתמש בשושלת היוחסין ברמת הטבלה כדי לזהות כל דוח ומרכז בקרה במורד הזרם שתלויים בו.
ביקורת ומשילות. מנהלי נתונים יכולים להשתמש בשושלת ברמת הטבלה וברמת העמודה כדי לבדוק איך נתונים מטבלה שמכילה פרטים אישיים מזהים (PII) זורמים דרך צינור עיבוד נתונים.
מתי כדאי להשתמש בשושלת נתונים ברמת העמודה
שושלת יוחסין ברמת העמודה מספקת תצוגה מפורטת יותר, על ידי מעקב אחרי זרימת הנתונים בין עמודות נפרדות. בתצוגה הזו, הקישורים באירוע של שושלת מייצגים את הקשר בין עמודת מקור לעמודת יעד. לכל אחד מהקישורים האלה ברמת העמודה יש סוג תלות שמתאר את הטרנספורמציה:
Exact copy: הערכים מועתקים בין עמודות.Other: סוגים אחרים של תלות בין עמודות.
אתם יכולים להשתמש בשושלת היוחסין ברמת העמודה למשימות כמו:
ניתוח שורש הבעיה. אם מנתח נתונים מוצא ערך שגוי בעמודה, הוא יכול להשתמש בשושלת היוחסין ברמת העמודה כדי לאתר את עמודות המקור ולמצוא את שורש הבעיה.
ניתוח השפעות. לפני שמהנדס מערכות מידע מוציא משימוש עמודה, הוא יכול להשתמש בשושלת היוחסין ברמת העמודה כדי למצוא כל עמודה במורד הזרם שתלויה בה.
אימות מקור הנתונים של המדדים. אנליסט נתונים יכול להשתמש בשושלת היוחסין ברמת העמודה כדי לזהות אילו עמודות מקור משמשות לחישוב מדד, בלי לפענח שאילתת SQL מורכבת.
שושלת היוחסין ברמת העמודה נאספת באופן אוטומטי לסוגי המשימות הבאים ב-BigQuery:
במשימות של Managed Service for Apache Spark, התמיכה תלויה בסוג ובגרסה של יחסי התלות של Open Lineage שבהם משתמש Managed Service for Apache Spark. הגרסה המינימלית שנתמכת היא 1.34. אלה הגרסאות המינימליות של קובצי אימג' של אשכולות ב-Managed Service for Apache Spark שנתמכות:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
אלה הגרסאות המינימליות של סביבת זמן הריצה של Managed Service for Apache Spark שנתמכות:
- 3.0.3
- 2.3.20
תצוגות של שושלת היוחסין במסוף Google Cloud
במסוף Google Cloud אפשר לקיים אינטראקציה עם מידע על שושלת נתונים בשתי דרכים: לעיין בתרשים של שושלת הנתונים בכמה אזורים זמינים, או להשתמש בחלונית Lineage explorer כדי לקבל תצוגה ממוקדת יותר באזור ספציפי. אפשר גם לעבור בין התצוגה Graph לתצוגה List כדי לנתח את זרימת הנתונים ברמות פירוט שונות.
תצוגות של שושלת היוחסין זמינות רק לרשומות של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לנכסים של BigQuery ולמשאבים של Vertex AI (מודלים, מערכי נתונים, תצוגות של Feature Store וקבוצות של מאפיינים).
כדי לראות את התצוגות השונות שמוזכרות במאמר הזה, קראו את המאמר שימוש בשושלת נתונים במערכות Google Cloud .
תצוגת תרשים שושלת היוחסין
בתצוגת התרשים אפשר לראות את הזרימה של נכסי הנתונים ואת הקשרים בין מערכות ואזורים, כדי להבין את ארכיטקטורת הנתונים, לעקוב אחרי המקורות והיעדים ולזהות דפוסים. תרשימי השושלת האלה, שנוצרו על ידי שירות Data Lineage API לרשומה ספציפית ב-Knowledge Catalog, מראים איך הנתונים משתנים לאורך זמן, ומציגים את התהליכים במעלה הזרם, במורד הזרם או את שניהם מרשומת הבסיס שנבחרה.
Data Lineage API מקבל באופן אוטומטי מידע על נכסים ממערכות נתמכות, ודרך קריאות ל-API ממקורות בהתאמה אישית.
אלה הרכיבים העיקריים בתרשים:
צמתים: הצמתים מייצגים את ישויות הנתונים. בתצוגה ברמת הטבלה, צומת מציג את שם הטבלה ואת העמודות שלה. בתצוגה ברמת העמודה, כל צומת מייצג טבלה ועמודה ספציפיות.
קצוות. הקצוות הם הקווים שמחברים בין הצמתים ומייצגים את התהליכים שמתרחשים ביניהם. המראה של קו תלוי בתצוגת שושלת היוחסין:
- בתצוגה ברמת הטבלה, בקצוות יש סמלים שמציינים טרנספורמציות של נתונים.
- בתצוגה ברמת העמודה, לקצוות יש תוויות שמציינות טרנספורמציות של נתונים. לדוגמה, תווית קצה יכולה להיות
Exact copyכדי לתאר איך עמודת מקור הועתקה לעמודת יעד.
סמלים ותוויות של תהליכים. סמלים ותוויות של תהליכים מופיעים בקצוות כדי לספק מידע נוסף על הטרנספורמציה.
- סמלים. הסמלים מייצגים את תהליך הטרנספורמציה. כשבודקים את התרשים באופן ידני, הסמלים בקצוות מייצגים את מערכת המקור של התהליך (לדוגמה, BigQuery או Vertex AI). אם מעורבים כמה תהליכים, מוצג סמל של "תהליכים מרובים". אם מערכת המקור של התהליך לא ידועה, מופיע סמל גלגל שיניים. כשמפעילים מסננים, סמל גלגל השיניים מופיע בכל התהליכים.
- תוויות. בתצוגת שושלת היוחסין ברמת העמודה, תווית מתארת את סוג התלות בין העמודות:
Exact copyאוOther.
עיון בתרשים השושלת
כשפותחים את הכרטיסייה Lineage, רואים את תצוגת ברירת המחדל Graph. בתצוגת ברירת המחדל מוצגת סקירה כללית ברמה גבוהה של מערכות ואזורים, עם הרחבה ידנית והדרגתית של התרשים שיכולה לטעון חמישה צמתים בכל פעם. סמלי התהליכים בקצוות מייצגים את מערכת המקור או מציינים כמה תהליכים.
סינון והדגשה של תצוגות שושלת נתונים
בתרשימי שושלת גדולים ומורכבים, אפשר להחיל מסננים או הדגשה כדי להפחית את הרעש החזותי ולהתמקד בבדיקת השושלת באזור ספציפי. משתמשים בחלונית Lineage explorer כדי להגדיר את הקריטריונים. כשמפעילים מסננים, סרגל הסינון מופיע בחלק העליון של התצוגות Graph ו-List, והמסננים הפעילים מוצגים כצ'יפים.
כדי לשפר את התצוגה החזותית של שושלת היוחסין, אפשר לבחור באחד מהמצבים הבאים:
הדגשה: צמתים תואמים מודגשים באופן חזותי באמצעות צבעים וגבולות, והתרשים המלא נשאר גלוי. כך אפשר לאתר נכסים ספציפיים בלי לאבד את ההקשר הכולל של תרשים השושלת.
סינון: צמתים שלא תואמים מוסתרים, והתרשים מפושט כדי להציג רק את הצמתים התואמים ואת הנתיבים ביניהם. כל הנכסים שלא תואמים, שהם חלק מנתיב בין צמתים תואמים, מקובצים לצמתים מכווצים. המצב הזה שימושי כדי לצמצם את המורכבות ולהתמקד רק בנכסים הרלוונטיים ובקשרים הישירים שלהם.
כדי לסנן או להדגיש את שושלת היוחסין, משתמשים בקריטריונים הבאים:
- Project: סינון לפי מזהה הפרויקט ב- Google Cloud .
- System: סינון לפי המערכת שבה נמצא נכס הנתונים (לדוגמה, BigQuery או Cloud Storage).
- שם הישות: סינון לפי שם הנכס. אפשר להשתמש ב-
*לחיפושים עם תווים כלליים (קידומת וסיומת בלבד – לדוגמה,*tableאוtest*). - סוג משנה: סינון לפי סוג המשנה של הנכס (לדוגמה,
dashboardאוmodel). - שם העמודה: סינון שושלת היוחסין לפי שם העמודה כדי לראות פרטים ברמת העמודה.
- כיוון: הצגת שושלת היוחסין במעלה הזרם או במורד הזרם, או בשניהם.
- טווח תאריכים: סינון של שושלת היוחסין לפי שעת התחלה או שעת סיום ספציפית.
- סוג התלות: סינון שושלת היוחסין ברמת העמודה לפי סוג התלות.
דוגמאות לאפשרויות זמינות:
AllאוExact copy.
כדי לצמצם עוד יותר את העומס, אפשר לבחור באפשרות Hide temporary BigQuery tables כדי להסתיר נכסים זמניים שנוצרו על ידי BigQuery, כמו טבלאות במערכי נתונים עם שמות שמתחילים ב-_script.
התצוגה הממוקדת בכרטיסייה Graph מרחיבה את התרשים באופן אוטומטי עד שלוש רמות, וטוענת את כל שושלת היוחסין שתואמת לקריטריונים של הסינון. Lineage explorer מאחזר עד 10 רמות של תרשים השושלת, אבל כברירת מחדל רק שלוש הרמות הראשונות מורחבות. כדי להרחיב את התרשים ולראות את הרמות הנותרות, לוחצים על החצים.
התצוגה הממוקדת תומכת בשושלת יוחסין ברמת הטבלה וברמת העמודה, כולל המחשה חזותית של הנתיב מכל צומת שנבחר בחזרה לשורש. בתצוגה הממוקדת הזו, סמל גלגל השיניים הגנרי משמש לכל התהליכים.
כדי לראות את שושלת היוחסין ברמת העמודה, משתמשים באחת מהשיטות הבאות:
בתצוגת תרשים ממוקדת, לוחצים על סמל העמודה בטבלה כדי לעבור לשושלת היוחסין ברמת העמודה.
סמל העמודות בתצוגת ברירת המחדל Graph או בתצוגה הממוקדת Graph, בוחרים שם עמודה בחלונית Lineage explorer.
כדי להסיר את כל המסננים ולחזור לתצוגת ברירת המחדל, לוחצים על Reset.
כדי לעבור בין מצבי ההדגשה והסינון, עיינו בקטע שיפור התצוגה החזותית של שושלת היוחסין.
הצגת פרטי צומת השושלת
כדי לראות את הפרטים של צומת, לוחצים עליו. נפתחת חלונית צדדית עם מידע מפורט על נכס הנתונים שנבחר. לדוגמה, בתצוגת שושלת ברמת הטבלה, לחיצה על צומת מציגה מידע כמו השם המלא של הנכס, הסוג שלו ומאפיינים רלוונטיים אחרים.
הצגת ההיסטוריה של הרצות שושלת הנתונים
תרשים שושלת יוחסין מלא הוא תוצאה של הרצות מהרבה משימות שונות. כל משימה יוצרת קישור ספציפי בתרשים. הפעלות מרובות מתועדות כהרצות חדשות, אבל לא משנות את המראה הסטטי של התרשים.
כדי לראות את הפרטים של ההפעלות הספציפיות האלה, לוחצים על קצה עם תהליך בתרשים. בחלונית Query שמופיעה, לוחצים על הכרטיסייה Runs.
בדיקת הלוגיקה של טרנספורמציית הנתונים
כדי להבין את הלוגיקה העסקית של טרנספורמציה בלי לחפש את הקוד, אתם יכולים לראות את שאילתת ה-SQL המדויקת שהופעלה. כדי לראות את קוד ה-SQL, לוחצים על קצה עם תהליך בתרשים. בחלונית הצדדית שמופיעה, לוחצים על הכרטיסייה Details.
הצגה חזותית של נתיב שושלת נתונים
המחשה חזותית של נתיב השושלת עוזרת לכם לעקוב אחרי הנתיב מכל צומת שנבחר בתרשים בחזרה לרשומת הבסיס. כשבוחרים צומת ולוחצים על Visualize path, בתרשים מודגשים רק הצמתים והתהליכים שיוצרים את נתיב השושלת הישיר לרשומת הבסיס.
כדי לראות את התצוגה החזותית של נתיב השושלת, בחלונית Lineage explorer מפעילים מסנן כדי ליצור תצוגת Graph ממוקדת. אחר כך, בתצוגת Graph הממוקדת, בוחרים צומת. בחלונית הפרטים של הצומת שנבחר, לוחצים על הצגת הנתיב.
אפשר להציג את נתיב השושלת ברמת הטבלה וברמת העמודה. אפשר גם להשתמש בתצוגה החזותית של נתיב השושלת בתצוגת הרשימה.
תצוגת רשימה של שושלת היוחסין
בתצוגת List מוצג ייצוג טבלאי ומובנה של שושלת היוחסין, שמסונכרן עם תצוגת Graph. הוא עוזר לכם למיין, לסנן ולהוריד נכסי נתונים. התצוגה הזו אידיאלית לניתוח קשרים בין מקור ליעד, לפירוט הנכסים המעורבים ולייצוא נתוני שושלת.
תצוגת רשימה זמינה גם לשושלת נתונים ברמת הטבלה וגם לשושלת נתונים ברמת העמודה. אתם יכולים לעבור בין תצוגות הרשימה המפורטות והפשוטות הבאות:
תצוגת רשימה פשוטה: התצוגה הזו שימושית כדי לקבל רשימה ייחודית ומצומצמת של כל הנכסים שמעורבים בשושלת היוחסין. העמודות כמו System, Project, Entity, FQN (שם מוגדר במלואו), Direction ו-Depth עוזרות לכם לראות את כל נכסי הנתונים בשושלת היוחסין, איפה הם נמצאים, המקור שלהם והמרחק שלהם מהנכס המרכזי שמנותח. הוא אידיאלי לסקירה כללית של כל הישויות שמשתתפות בזרימת הנתונים. זו תצוגת ברירת המחדל.
תצוגת רשימה מפורטת: התצוגה הזו מיועדת לניתוח של קשרים ספציפיים בין מקורות ליעדים. העמודות הנפרדות מקור ויעד מאפשרות לראות כל קישור ספציפי לטרנספורמציית נתונים. התצוגה הזו מתאימה למשימות שדורשות הבנה מעמיקה של האופן שבו הנתונים עוברים בין זוגות ספציפיים של נכסים, כמו ביקורת על תהליכי נתונים ספציפיים, הבנת יחסי התלות בין טבלאות או ייצוא רשומות מפורטות של שושלת נתונים לכל חיבור.
תצוגת רשימה של שושלת היוחסין ברמת הטבלה
בתצוגה הזו מוצגים הקשרים בין הטבלאות בכללותן. משתמשים במסננים שמופיעים כדי לבחור את העמודות שרוצים.
כדי לראות את העמודות שזמינות בתצוגות הרשימה ברמת הטבלה, צריך להרחיב את הקטעים הבאים.
העמודות שזמינות בתצוגת הרשימה הפשוטה ברמת הטבלה
- מערכת: המערכת שבה נמצא נכס הנתונים. לדוגמה, [BigQuery](/bigquery/docs).
- Project: מזהה הפרויקט ב- Google Cloud שמכיל את נכס הנתונים.
- ישות: השם של נכס הנתונים. דוגמאות כוללות שם טבלה.
- FQN: השם המלא (FQN) של הישות או העמודה המקורית.
- כיוון: מציין אם הנכס שמופיע ברשימה נמצא במעלה הזרם (מקור) או במורד הזרם (יעד) בתהליך של שושלת היוחסין.
- עומק: מספר השלבים בשושלת היוחסין מהנכס המרכזי שמנתחים.
העמודות שזמינות בתצוגת הרשימה המפורטת ברמת הטבלה
- מערכת המקור: המערכת שבה נמצא נכס נתוני המקור. לדוגמה, BigQuery.
- Source project: מזהה הפרויקט ב- Google Cloud שמכיל את נכס נתוני המקור.
- מקור: השם של נכס הנתונים המקורי. הדוגמאות כוללות שם טבלה.
- Source FQN: ה-FQN של ישות המקור.
- מערכת היעד: המערכת שבה נמצא נכס נתוני היעד. לדוגמה, BigQuery.
- Target project: מזהה הפרויקט ב- Google Cloud שמכיל את נכס נתוני היעד.
- יעד: השם של נכס נתוני היעד. הדוגמאות כוללות שם טבלה.
- Target FQN: ה-FQN של ישות היעד.
- כיוון: מציין אם הנכס שמופיע ברשימה נמצא במעלה הזרם (מקור) או במורד הזרם (יעד) בתהליך של שושלת היוחסין.
- עומק: מספר השלבים בשושלת היוחסין מהנכס המרכזי שמנתחים.
תצוגת רשימה של שושלת היוחסין ברמת העמודה
בתצוגה הזו מוצגים הקשרים בין עמודות ספציפיות בטבלאות המקור והיעד. משתמשים במסננים שמופיעים כדי לבחור את העמודות שרוצים.
כדי לראות את העמודות שזמינות בתצוגות הרשימה ברמת העמודה, הרחיבו את הקטעים הבאים.
העמודות שזמינות בתצוגת הרשימה הפשוטה ברמת העמודה
- מערכת: המערכת שבה נמצא נכס הנתונים. לדוגמה, BigQuery.
- Project: מזהה הפרויקט ב- Google Cloud שמכיל את נכס הנתונים.
- ישות: השם של נכס הנתונים. דוגמאות כוללות שם טבלה.
- Column: העמודה הספציפית שנבחרה בחלונית Lineage Explorer בתוך הישות.
- FQN: השם המלא (FQN) של הישות או העמודה המקורית.
- כיוון: מציין אם הנכס שמופיע ברשימה נמצא במעלה הזרם (מקור) או במורד הזרם (יעד) בתהליך של שושלת היוחסין.
- עומק: מספר השלבים בשושלת היוחסין מהנכס המרכזי שמנתחים.
העמודות שזמינות בתצוגת רשימה מפורטת ברמת העמודה
- מערכת המקור: המערכת שבה נמצא נכס נתוני המקור.
- Source project: מזהה הפרויקט ב- Google Cloud שמכיל את נכס נתוני המקור.
- Source FQN: ה-FQN של עמודת המקור.
- מערכת היעד: המערכת שבה נמצא נכס נתוני היעד.
- Target project: מזהה הפרויקט ב- Google Cloud שמכיל את נכס נתוני היעד.
- Target FQN: ה-FQN של עמודת היעד.
- כיוון: מציין אם זרימת הנתונים היא במעלה הזרם או במורד הזרם.
- סוגי תלות: מתארים את אופי הקשר בין העמודות.
- עומק: מספר השלבים בשושלת מהנכס המרכזי שמנותח.