ניתוח ההשפעה של שינויים בנתונים על תהליכי עבודה

בעזרת שושלת היוחסין של הנתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לעקוב אחרי ההשפעה של טרנספורמציות של נתונים על משאבים במורד הזרם ועל תהליכי העבודה שתלויים בהם. מעקב אחרי יחסי תלות ברמת העמודה לפני שמשנים טבלאות עוזר לוודא את תקינות הנתונים ולקבוע אם צריך לבצע התאמות בצינורות עיבוד נתונים קיימים.

במדריך הזה תתחזקו מסד נתונים שבו מאוחסנות רשומות לגבי השימוש בשירותים שונים של ספק שירותי בריאות. כדי שיהיה קל יותר להשתמש בנתונים, אתם מעיינים בטבלאות כדי לזהות שינויים פוטנציאליים. לפני שמטמיעים את השינויים, משתמשים ב-Lineage Explorer ב-BigQuery כדי לבדוק את העמודות, לבחון את השינויים בסוגי הנתונים ולזהות אם השיפורים משפיעים על תהליכי עבודה קיימים או דורשים התאמות נוספות.

קדימה, מתחילים

כדי להשלים את התרחיש לדוגמה, קודם צריך להגדיר את הסביבה ולהריץ את הטרנספורמציות של הנתונים. כדי לחבר מאגר מרוחק ל-Dataform, משתמשים בדף דרישות מוקדמות והגדרה. המאגר הזה מכיל את הקוד שנדרש כדי להגדיר את קבוצת הנתונים ולשנות את הנתונים.

אחרי שמסיימים להגדיר את הסביבה, משתמשים ב-BigQuery וב-Lineage Explorer כדי לעקוב אחרי הטרנספורמציות של הנתונים וההשפעה שלהן על תהליכי העבודה.

ניתוח טרנספורמציות של נתונים באמצעות Lineage Explorer

אחרי שמכינים את מערך הנתונים, מנתחים את ההשפעה של טרנספורמציית הנתונים באמצעות הכרטיסייה Lineage ב-BigQuery.

אימות תקינות הנתונים בעמודות באמצעות תרשימי שושלת נתונים

בדוגמה הזו, בודקים את העמודה medicare_participation_indicator שמציינת אם רופא או ספק מסכימים לספק שירותים ל-Medicare. בתרשים השושלת אפשר לראות איך טרנספורמציות של נתונים בין הטבלאות הנגזרות גורמות לשינויים בסוג הנתונים של העמודות:

1. נכנסים לדף BigQuery במסוף Google Cloud .
2. משתמשים בשדה החיפוש כדי למצוא את הטבלה physicians_and_other_supplier_2012_original.
3. לוחצים על הכרטיסייה Lineage.
4. בחלונית Lineage Explorer:
   1. בקטע Column Level Lineage, בוחרים את שם העמודה medicare_participation_indicator מהרשימה.
   2. בקטע Direction, בוחרים באפשרות Downstream.
   3. לוחצים על אישור.
5. מרחיבים את נתיב השושלת עד שמגיעים אל vertex_ai_model_final_features.

6. מנתחים את השינויים בנתיב בין הטבלה supplier_stg3 לטבלה supplier_transform1:

   

   תרשים של מעקב אחר שושלת היוחסין של העמודה medicare_participation_indicator

   • סימון הנתיב עותק מדויק מציין שהעמודה עוברת ללא שינוי.
   • סימון נתיב אחר מציין טרנספורמציה. בנתיב הזה, סוג הנתונים String מטופל כמו Boolean.

הנתיב מראה שסוגי הנתונים של העמודות משתנים, וייתכן שיהיה צורך לבצע התאמות בתהליכי העבודה שמשתמשים בטבלאות האלה.

זיהוי עמודות מיותרות בהמשך התהליך

בדוגמה הזו נבדוק את העמודה nppes_credentials, שמכילה את מזהי הספקים הלאומיים (NPI) של הרופאים במערכת National Plan and Provider Enumeration System‏ (NPPES):

1. נכנסים לדף BigQuery במסוף Google Cloud .
2. משתמשים בשדה החיפוש כדי למצוא את הטבלה physicians_and_other_supplier_2012_original.
3. לוחצים על הכרטיסייה Lineage.
4. בחלונית Lineage Explorer:
   1. בקטע Column Level Lineage, בוחרים את שם העמודה nppes_credentials מהרשימה.
   2. בקטע Direction, בוחרים באפשרות Downstream.
   3. לוחצים על אישור.
5. מרחיבים את הנתיב כדי לבדוק אם יש שושלת נתונים במורד הזרם שמובילה אל vertex_ai_model_final_features.

אם אין שושלת, יכול להיות שהעמודה הזו לא רלוונטית לתהליך העבודה הספציפי הזה, ואפילו אפשר למחוק אותה.

כאן תוכלו לקרוא איך ממחישים נתונים באמצעות תרשים שושלת נתונים.