הצגת קשרים בין נתונים ב-Knowledge Catalog

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מגלה קשרים פוטנציאליים בין נכסי נתונים, ועוזר לכם לגלות את הנתונים שקשורים זה לזה ולהבין את אופי הקשר.

לפני שמתחילים

לפני שצופים בקשרים בין נכסי נתונים, צריך לוודא שהוקצו לכם התפקידים הנדרשים.

התפקידים הנדרשים

כדי לראות את הקשרים בין נכסי הנתונים ב-Knowledge Catalog, לא צריך תפקידי IAM ספציפיים ל-Knowledge Catalog. כדי לקבוע אם אתם יכולים לראות את הקשרים, Knowledge Catalog משתמש בהרשאות הקיימות שלכם במערכות המקוריות שבהן נמצאים הנכסים, כמו BigQuery. לדוגמה, כדי לראות קשרים שכוללים טבלה ב-BigQuery, צריך את ההרשאה bigquery.tables.get.

אם אין לכם הרשאה לצפות בנכס במערכת המקור שלו, בתרשים הקשרים של Knowledge Catalog לא יוצגו קשרים שכוללים את הנכס הזה. כך אפשר לוודא שהגישה לנתוני הקשר תואמת לגבולות האבטחה ולהרשאות שנקבעו במערכות המקור.

מידע על קשרים בין נתונים

הקשרים בין הנתונים ממחישים איך נכסי הנתונים מקושרים. לדוגמה, אם אתם מאתרים טבלה עם נתוני לקוחות, הקשרים שלה יכולים לחשוף טבלאות קשורות שמפרטות הזמנות או כרטיסי תמיכה. בנוסף, הקשרים משמשים כהנחיה מבנית, ומספקים הקשר חיוני למודלי שפה גדולים. כתוצאה מכך, ה-AI יוצר תשובות מדויקות יותר ומנסח שאילתות מדויקות כדי לאחזר מידע ספציפי.

‫Knowledge Catalog מגלה באופן אוטומטי קשרים נפוצים בין נכסי הנתונים ושומר אותם. נתוני הקשר מגיעים ממקורות שונים, כמו:

  • Knowledge Catalog של יומני השאילתות ההיסטוריים מנתח באופן רציף את היסטוריית השאילתות כדי לזהות דפוסי JOIN פוטנציאליים בין טבלאות.
  • תובנות לגבי נתונים מציעות קשרים בין נתונים לפי דרישה, על ידי ניתוח מאפייני סכימה וחפיפות נתונים באמצעות מודלים גדולים של שפה.

נכסי נתונים נתמכים

אפשר לראות את קשרי הנתונים של טבלאות ותצוגות מפורטות ב-BigQuery.

הצגת הקשרים בין הנתונים

כדי לראות את קשרי הנתונים של טבלאות ותצוגות ב-BigQuery, אפשר להשתמש בGoogle Cloud מסוף או ב-Dataplex API.

console

כדי לראות את קשרי הנתונים של טבלה ב-BigQuery:

  1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

    לחיפוש Google

  2. מחפשים טבלה ב-BigQuery שרוצים לראות את הקשרים שלה.

  3. בתוצאות החיפוש, לוחצים על שם הטבלה כדי לפתוח את דף הרשומה שלה.

  4. בכרטיסייה קשרים אפשר לראות את הפרטים הבאים על כל קשר בין נתונים:

    • יעד: השם של נכס הנתונים המקושר.
    • קשר: העמודות הספציפיות שמשמשות לקישור הנכסים.
    • ‫Type: אופי הקישור. לדוגמה, גם הצטרפויות תכופות וגם קשרים שהתגלו על ידי תובנות מנתונים מופיעים כ-JOIN.

    • מקור: המקור של הקשר.

      • ‫Query history הוא המקור לצירופים תכופים.
      • ‫Data insights הוא המקור של הקשרים שמתגלים על ידי תובנות מנתונים.

    • פעולה: שאילתה לדוגמה שבה אפשר להשתמש כדי לגלות את הקישור בין הנכסים.

REST

הקשרים שזוהו נשמרים ב-Knowledge Catalog בתור EntryLinks, שיוצרים קשר בין שני נכסי נתונים (רשומות) ב-Knowledge Catalog. הפרטים על הקשר, כמו העמודות המצורפות ומקור הקשר, נשמרים כמאפיינים של EntryLinks.

כדי לראות את הקשרים בין הנתונים, אפשר להשתמש בשיטות הבאות:

  • ‫LookupEntryLinks מאחזרת את כל EntryLinks שמפנים לרשומה ספציפית של נתונים כמקור או כיעד, כדי להחזיר את כל קבוצת הקשרים שמשויכים לרשומה נתונה.

  • ‫LookupContext מספק נקודת קצה (endpoint) אחת לביסוס סוכני AI באמצעות מטא-נתונים לפי הקשר. היא מחזירה חבילה תמציתית של מטא-נתונים בפורמט מוכן, כולל נכסי נתונים קשורים.

מיקומים

אפשר להשתמש בקשרים בין נתונים בכל המיקומים של BigQuery.

מגבלות

  • מערכת Knowledge Catalog מנתחת מדגם של היסטוריית השאילתות כדי לזהות קשרים, ולכן יכול להיות שחלק מהשאילתות לא יובילו לגילוי קישורים.
  • יכול להיות שיחלפו עד 72 שעות אחרי הפעלת השאילתה עד שהקשרים יתגלו.

המאמרים הבאים