בתרחיש הזה, אתם מנהלים פרויקט BigQuery עם מערכי נתונים שנגזרים ממפקד התעסוקה והשכר הרבעוני (QCEW). הפרויקט מכיל טבלאות ותצוגות רבות עבור מרכזי בקרה וניתוחים שונים, כמו מעקב אחר מגמות תעסוקה או השוואות שכר. כתוצאה מכך, עלויות האחסון שלכם עולות. כדי להפחית עלויות, אתם יכולים לזהות טבלאות או תצוגות מפורטות שלא נעשה בהן שימוש פעיל כמקורות לעבודות או לנכסים ב-BigQuery, ולמחוק אותן.
אפשר להשתמש בתיעוד מקורות הנתונים כדי לזהות נכסים שלא נעשה בהם שימוש ולבצע אופטימיזציה של העלויות בפרויקט BigQuery. כדי להפחית את עלויות האחסון, כדאי לבדוק כל נכס כדי לזהות קישורים במורד הזרם, ולסמן באופן שיטתי משאבים שלא נמצאים בשימוש כדי למחוק אותם.
הגדרת הכלי Lineage Explorer
כדי להשלים את תרחיש השימוש, צריך קודם להגדיר את הסביבה ולהריץ את המרות הנתונים. כדי לחבר מאגר מרוחק ל-Dataform, צריך לעיין בדף דרישות מוקדמות והגדרה. המאגר הזה מכיל את הקוד שנדרש להגדרת מערך הנתונים ולשינוי הנתונים.
אחרי שמסיימים את הגדרת הסביבה, אפשר להשתמש ב-BigQuery ובכלי מעקב המקורות כדי לזהות באופן חזותי נכסים ללא תלות בנתונים במורד הזרם.
זיהוי נכסים שלא בשימוש ואופטימיזציה של עלויות
אחרי שמכינים את מערך הנתונים, צריך לזהות נכסים שחסרים להם תלות במורד הזרם. אפשר לעשות את זה באופן ויזואלי לטבלאות בודדות, אבל אפשר גם להשתמש בגישה תכנותית לקבוצות נתונים גדולות יותר.
בדוגמה הזו, משווים בין נכסים פעילים לבין נכסים עצמאיים כדי לקבוע אילו נכסים אפשר להסיר בבטחה:
- במסוף Google Cloud , עוברים לדף BigQuery.
- משתמשים בשדה החיפוש כדי למצוא טבלה עצמאית (לדוגמה, טבלת ניתוח ישנה משנה ספציפית).
- לוחצים על הכרטיסייה Lineage (מקורות נתונים).
- בחלונית Lineage Explorer:
- בקטע Direction, בוחרים באפשרות Downstream.
- לוחצים על אישור.
בודקים את הגרף. אם אין צמתים במורד הזרם, הנכס לא משמש כמקור לעבודות אחרות ב-BigQuery שנמצאות במעקב. מידע נוסף על המחשת נתונים באמצעות גרף שושלת נתונים זמין במאמר תצוגת גרף שושלת נתונים.