בעזרת שושלת הנתונים ב-Knowledge Catalog, אתם יכולים לעקוב אחרי יחסי תלות במורד הזרם של טבלאות ותצוגות בפרויקט שלכם ב-BigQuery. לאחר מכן תוכלו לזהות נכסים שלא משמשים באופן פעיל כמקורות למשימות או לתהליכי עבודה במורד הזרם, ולסמן אותם כמועמדים למחיקה כדי להפחית את עלויות האחסון.
במדריך הזה תנהלו פרויקט ב-BigQuery עם מערכי נתונים שמבוססים על מפקד התעסוקה והשכר הרבעוני (QCEW). הפרויקט מכיל טבלאות ותצוגות רבות של לוחות בקרה וניתוחים, כמו מעקב אחרי מגמות תעסוקה או השוואות שכר, שמגדילות את עלויות האחסון. אם תבדקו אם יש קישורים במורד הזרם לכל נכס, תוכלו לסמן באופן שיטתי משאבים שלא בשימוש כדי למחוק אותם.
הגדרת Lineage Explorer
כדי להשלים את תרחיש השימוש, קודם צריך להגדיר את הסביבה ולהריץ את הטרנספורמציות של הנתונים על ידי חיבור של מאגר מרוחק ל-Dataform. המאגר הזה מכיל את הקוד שנדרש כדי להגדיר את מערך הנתונים ולשנות את הנתונים. מידע נוסף זמין במאמר דרישות מוקדמות והגדרה.
אחרי שמסיימים להגדיר את הסביבה, משתמשים ב-BigQuery וב-Lineage Explorer כדי לזהות באופן חזותי נכסים בלי תלויות במורד הזרם.
זיהוי נכסים שלא בשימוש ואופטימיזציה של עלויות
אחרי שמכינים את מערך הנתונים, מזהים נכסים שאין להם תלויות במורד הזרם. אפשר לעשות את זה באופן חזותי בטבלאות בודדות, אבל אפשר גם להשתמש בגישה פרוגרמטית לקבוצות נתונים גדולות יותר.
בדוגמה הזו, משווים בין נכסים פעילים לבין נכסים עצמאיים כדי לקבוע אילו נכסים אפשר להסיר בבטחה:
- במסוף Google Cloud , נכנסים לדף BigQuery.
- משתמשים בשדה החיפוש כדי למצוא טבלה נפרדת (לדוגמה, טבלת ניתוח ישנה משנה מסוימת).
- לוחצים על הכרטיסייה Lineage.
- בחלונית Lineage Explorer:
- בקטע Direction, בוחרים באפשרות Downstream.
- לוחצים על אישור.
בודקים את התרשים. אם אין צמתים במורד הזרם, הנכס לא משמש כמקור למשימות אחרות של BigQuery במעקב. למידע נוסף על הצגת נתונים באמצעות תרשים שושלת הנתונים, ראו תצוגת תרשים שושלת.