מעקב אחר שושלת נתונים באמצעות Knowledge Catalog

בדף הזה מוסבר איך לעקוב אחרי מקורות הנתונים במופע של Looker (Google Cloud core) באמצעות Knowledge Catalog.

שקיפות נתונים היא תהליך של מעקב אחרי זרימת הנתונים במערכות. כשמשלבים את Looker (הליבה של Google Cloud) עם Knowledge Catalog, אפשר להמחיש את המסע מקצה לקצה של הנתונים, מהמקור שלהם ב-BigQuery דרך השכבה הסמנטית של Looker (תצוגות ו-Explores של LookML) ועד לצריכה במורד הזרם בלוחות בקרה וב-Looks.

התצוגה הזו עוזרת למהנדסי נתונים ולאדמינים לבצע ניתוח השפעה. לדוגמה, לפני שמסירים עמודה בטבלה ב-BigQuery, אפשר לבדוק את תרשים שושלת הנתונים כדי לראות בדיוק אילו לוחות בקרה של Looker ייפגעו מהשינוי.

לפני שמתחילים

כדי להשתמש בתיעוד מקורות הנתונים ב-Looker (Google Cloud core), צריך לעמוד בדרישות המוקדמות הבאות:

  1. ‫Looker (Google Cloud core): תמיכה בתיעוד מקורות הנתונים זמינה בכל סוגי המהדורות של מופעי Looker (Google Cloud core). אי אפשר לשלב מופעים של Looker (המקורי) עם Knowledge Catalog.
  2. הרשאות נדרשות: כדי להציג גרפים של שרשרת מקורות הנתונים, אתם צריכים את תפקידי ה-IAM הבאים:
    • ‫Looker Schema Viewer ‏ (roles/looker.schemaViewer) בפרויקט שמארח את המופע של Looker (Google Cloud Core)
    • Dataplex Viewer‏ (roles/dataplex.viewer) או הרשאות שוות ערך לצפייה בנכסי Knowledge Catalog
    • ‫Data Lineage Viewer ‏ (roles/datalineage.viewer) כדי לקרוא נתוני שושלת

הפעלת מעקב אחר מקורות נתונים

כדי להפעיל את שושלת הנתונים, מבצעים את כל השלבים הבאים:

  1. הפעלת השילוב של Knowledge Catalog עם Looker (Google Cloud core): השילוב בין מופע Looker (Google Cloud core) לבין Knowledge Catalog מופעל כברירת מחדל במסוף Google Cloud . אם השילוב הושבת, צריך להפעיל אותו מחדש. הוראות מפורטות זמינות במאמר בנושא הפעלת השילוב.
  2. הפעלת התכונה 'תצוגה מקדימה של שושלת הנתונים ב-Knowledge Catalog' ב-Looker: התכונה תצוגה מקדימה של שושלת הנתונים ב-Knowledge Catalog מושבתת כברירת מחדל בדף תכונות בתצוגה מקדימה בחלונית אדמין במופע Looker (Google Cloud core).
  3. הפעלת Data Lineage API: צריך להפעיל את Data Lineage API ‏ (datalineage.googleapis.com) בכל Google Cloud הפרויקטים שמארחים את מופע Looker (Google Cloud core) ואת נתוני BigQuery.

    הפעלת Data Lineage API

  4. הפעלת הטמעה של נתוני שושלת ברמת השירות: Ensure שהשילוב של נתוני השושלת ושל Looker (Google Cloud core) ברמת השירות מופעל. שושלת נתונים ברמת השירות פועלת לפי מצבי ברירת המחדל הבאים:
    • כדי למנוע השלכות על התמחור בעתיד, השבתנו כברירת מחדל את ההטמעה של שושלת נתונים ברמת השירות ב-Looker (Google Cloud core) בפרויקטים שבהם הופעל Data Lineage API בתאריך ההשקה של גרסת הטרום-השקה של התכונה הזו, ושהיה בהם לפחות מופע אחד של Looker (Google Cloud core).
    • הטמעה של שושלת נתונים ברמת השירות מופעלת כברירת מחדל במופעי Looker (Google Cloud core) שנוצרו אחרי תאריך ההשקה של גרסת הטרום-השקה של התכונה הזו בפרויקטים שבהם מופעל Data Lineage API.

כדי לראות את הגדרת שרשרת המקורות של Google Cloud פרויקט, אפשר לעיין במאמר בנושא קבלת ההגדרה הנוכחית. אם השילוב עם Looker (Google Cloud core) מושבת, הפקודה תחזיר פלט דומה לזה:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

מזהה הפרויקט בתשובה ישקף את המזהה שבבקשה שלכם. השדה etag הוא סכום ביקורת שנוצר על ידי השרת ומבוסס על הערך הנוכחי של ההגדרה.

צפייה בשושלת הנתונים

אחרי שמפעילים את השילוב והסנכרון הראשוני מסתיים (יכול להימשך עד 24 שעות), אפשר לראות את שושלת הנתונים במסוף של Knowledge Catalog.

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. לוחצים על חיפוש בחלונית הניווט הימנית.
  3. חיפוש של טבלה ב-BigQuery או נכס Looker (Google Cloud core) (כמו לוח בקרה או Explore).
    • אפשר להשתמש בחלונית Filters (מסננים) כדי לסנן לפי System (מערכת) > Looker.
  4. לוחצים על שם הנכס כדי לפתוח את דף הפרטים שלו.
  5. לוחצים על הכרטיסייה Lineage (מקורות נתונים).

בתרשים השושלת, הנכס מוצג כצומת מרכזי, עם מקורות במעלה הזרם בצד שמאל וצרכנים במורד הזרם בצד ימין.

הסבר על גרף שושלת הנתונים

תרשים השושלת מורכב מצמתים ומקישורים:

  • צמתים: מייצגים נכסי נתונים. הנכסים הנתמכים ב-Looker (Google Cloud Core)‎ כוללים את הנכסים הבאים:
    • מרכז בקרה ב-Looker
    • רכיב בלוח בקרה של Looker (משבצת)
    • Looker Look
    • LookML Explore
    • תצוגת LookML
  • קישורים: מייצגים את זרימת הנתונים. לדוגמה, קישור מטבלה ב-BigQuery לתצוגה ב-LookML מציין שהתצוגה בוחרת נתונים מהטבלה הזו.

זיהוי בעלי נכסים

כדי לגלות מי הבעלים של נכס במורד הזרם שעשוי להיות מושפע משינוי, פועלים לפי השלבים הבאים:

  1. בתרשים של שושלת הנתונים, לוחצים על הצומת של הנכס (לדוגמה, לוח בקרה של Looker).
  2. חלונית מידע תיפתח בצד שמאל של המסך.
  3. מחפשים את הקטע מאפיינים כדי למצוא את הבעלים (כתובת האימייל).

סינון רשימת שושלת הנתונים

בתצוגה List של שרשרת המקור, אפשר לסנן ישויות לפי שם או ערך של מאפיין. לדוגמה, מודלים מורכבים של LookML יכולים ליצור תרשימי שושלת גדולים עם הרבה ישויות ביניים. כדי להתמקד בהשפעה על העסק, אפשר לסנן לפי סוג ישות באופן הבא:

  1. בכרטיסייה Lineage, עוברים לתצוגת List.
  2. מחפשים את האפשרויות של סינון בסרגל הכלים.
  3. במסנן Entity, מזינים Looker Dashboard ו-Looker Look כדי לסנן סוגים ביניים כמו LookML View ו-Looker Explore.

רשימת הישויות מתעדכנת כך שיוצגו בה רק סוגי הנכסים שנבחרו, וכך קל יותר לזהות תוכן שמוצג למשתמשים.

מגבלות

במהלך גרסת הטרום-השקה, יש מגבלות מסוימות לשילוב של Looker (Google Cloud Core)‎ עם מעקב אחר מקורות נתונים:

  • מקורות נתונים: בתצוגה המקדימה, שושלת הנתונים נתמכת רק במקורות נתונים של BigQuery.
  • רמת פירוט: שושלת נתונים מסופקת ברמת האובייקט (טבלה, תצוגה, Explore, לוח בקרה). אין תמיכה בשיוך מקורות נתונים ברמת העמודה.
  • השהיה: נתוני שושלת נתונים לא מתעדכנים בזמן אמת. תהליך הסנכרון נמשך בדרך כלל ארבע שעות. עם זאת, הסנכרון עשוי להימשך עד שמונה שעות, בהתאם לתזמון של ייצוא המטא-נתונים של Looker ושל צריכת נתוני השושלת. יכול להיות שיעבור זמן עד שהשינויים שבוצעו ב-Looker או ב-BigQuery יופיעו בתרשים שושלת הנתונים.
  • SQL מורכב: יכול להיות שלא יתבצע ניתוח מלא של LookML שמוגדר באמצעות SQL מותאם אישית מורכב (לדוגמה, תבניות Liquid, טבלאות נגזרות עם שאילתות איחוד מורכבות), וזה עלול לגרום לניתוק של צמתים.

תמחור

במהלך גרסת הטרום-השקה, לא יחויב שימוש בתכונות של שרשרת מקורות הנתונים שמשולבות עם האינטגרציה הזו.

כששושלת נתונים תהיה זמינה לכלל המשתמשים, תיגרם עלות. כדי למנוע השלכות על התמחור בעתיד, הטמעת שושלת הנתונים של Looker (Google Cloud core) מושבתת כברירת מחדל בפרויקטים שבהם הופעל Data Lineage API, והיו לפחות מופע אחד של Looker (Google Cloud core) במועד ההשקה של גרסת הטרום-השקה של התכונה הזו.

מידע נוסף מופיע בדף המחירון של Knowledge Catalog.

המאמרים הבאים