ניתוח ההשפעה של שינויים בנתונים על תהליכי עבודה

בתרחיש הזה, אתם מנהלים מסד נתונים שבו נשמרים רשומות לגבי השימוש בשירותים שונים שספק שירותים רפואיים מספק. כדי להקל על השימוש בנתונים, אפשר לעיין בטבלאות כדי לזהות שינויים פוטנציאליים. לפני שמטמיעים את השינויים, צריך לבדוק אם שיפורים כלשהם משפיעים על תהליכי עבודה קיימים ואם יש צורך בשינויים נוספים.

במדריך הזה תשתמשו בתיעוד מקורות הנתונים כדי לזהות איך שינויים בנתונים משפיעים על משאבים במורד הזרם ועל תהליכי העבודה שהמשאבים הם חלק מהם.

קדימה, מתחילים

כדי להשלים את תרחיש השימוש, צריך קודם להגדיר את הסביבה ולהריץ את המרות הנתונים. כדי לחבר מאגר מרוחק ל-Dataform, צריך לעיין בדף דרישות מוקדמות והגדרה. המאגר הזה מכיל את הקוד שנדרש להגדרת מערך הנתונים ולשינוי הנתונים.

אחרי שמסיימים את הגדרת הסביבה, אפשר להשתמש ב-BigQuery ובLineage Explorer כדי לעקוב אחרי שינויים בנתונים וההשפעה שלהם על תהליכי העבודה.

ניתוח טרנספורמציות של נתונים באמצעות Lineage Explorer

אחרי שמכינים את מערך הנתונים, אפשר לנתח את ההשפעה של שינוי הנתונים באמצעות הכרטיסייה Lineage ב-BigQuery.

אימות של תקינות הנתונים בעמודות באמצעות תרשימי שושלת

בדוגמה הזו, בודקים את העמודה medicare_participation_indicator שמציינת אם רופא או ספק מסכימים לספק שירותים עבור Medicare. בתרשים של שרשרת המקורות מוצגות טרנספורמציות של נתונים בין טבלאות נגזרות, שגורמות לשינויים בסוג הנתונים של העמודות:

1. במסוף Google Cloud , עוברים לדף BigQuery.
2. משתמשים בשדה החיפוש כדי למצוא את הטבלה physicians_and_other_supplier_2012_original.
3. לוחצים על הכרטיסייה Lineage (מקורות נתונים).
4. בחלונית Lineage Explorer:
   1. בקטע Column Level Lineage, בוחרים את שם העמודה medicare_participation_indicator מהרשימה.
   2. בקטע Direction, בוחרים באפשרות Downstream.
   3. לוחצים על אישור.
5. מרחיבים את נתיב השושלת עד שמגיעים אל vertex_ai_model_final_features.

6. מנתחים את השינויים בנתיב בין הטבלה supplier_stg3 לטבלה supplier_transform1:

   

   תרשים של מעקב אחר מקורות נתונים עבור העמודה medicare_participation_indicator

   • סימון הנתיב Exact Copy מציין שהעמודה עוברת ללא שינוי.
   • סימון הנתיב אחר מציין טרנספורמציה. בנתיב הזה, סוג הנתונים String מטופל כמו Boolean.

הנתיב מראה שסוגי הנתונים בעמודה משתנים, ולכן יכול להיות שיהיה צורך לבצע שינויים בתהליכי העבודה שמשתמשים בטבלאות האלה.

זיהוי עמודות מיותרות במורד הזרם

בדוגמה הזו נבדקת העמודה nppes_credentials שבה מפורטים מספרי הזיהוי הלאומיים לספק (NPI) של הרופאים במערכת הלאומית למספור תוכניות וספקים (NPPES):

1. במסוף Google Cloud , עוברים לדף BigQuery.
2. משתמשים בשדה החיפוש כדי למצוא את הטבלה physicians_and_other_supplier_2012_original.
3. לוחצים על הכרטיסייה Lineage (מקורות נתונים).
4. בחלונית Lineage Explorer:
   1. בקטע Column Level Lineage, בוחרים את שם העמודה nppes_credentials מהרשימה.
   2. בקטע Direction, בוחרים באפשרות Downstream.
   3. לוחצים על אישור.
5. מרחיבים את הנתיב כדי לבדוק אם יש שושלת במורד הזרם שמובילה אל vertex_ai_model_final_features.

אם אין שושלת נתונים, יכול להיות שהעמודה הזו לא רלוונטית בתהליך העבודה הספציפי הזה, ואפשר אפילו למחוק אותה.

למידע נוסף על המחשת נתונים באמצעות גרף שושלת הנתונים, אפשר לעיין בתצוגת גרף השושלת.