הצגת קשרים בין נתונים ב-Knowledge Catalog

קשרי נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשרים לכם למצוא טבלאות ותצוגות קשורות ב-BigQuery ולבדוק איך הן מקושרות. אחר כך תוכלו לחקור את מערכי הנתונים המקושרים או לספק הקשר מבני לסוכני AI כדי ליצור שאילתות מדויקות יותר.

לפני שמתחילים

לפני שאתם מציגים את הקשרים בין נכסי הנתונים, ודאו שקיבלתם את התפקידים הנדרשים.

התפקידים הנדרשים

כדי לראות את הקשרים בין נכסי הנתונים ב-Knowledge Catalog, לא צריך תפקידי IAM ספציפיים ל-Knowledge Catalog. כדי לקבוע אם אתם יכולים לראות קשרים, ב-Knowledge Catalog נעשה שימוש בהרשאות הקיימות שלכם במערכות המקור שבהן נמצאים הנכסים, כמו BigQuery. לדוגמה, כדי לראות קשרים שכוללים טבלה ב-BigQuery, צריך את ההרשאה bigquery.tables.get.

אם אין לכם הרשאה לצפות בנכס במערכת המקור שלו, בתרשים הקשרים של Knowledge Catalog לא יוצגו קשרים שכוללים את הנכס הזה. כך אפשר לוודא שהחשיפה של הקשרים תואמת לגבולות האבטחה ולהרשאות שנקבעו במערכות המקור.

מידע על קשרי נתונים

קשרי נתונים ממחישים איך נכסי נתונים מתחברים. לדוגמה, אם אתם מאתרים טבלה עם נתוני לקוחות, הקשרים שלה יכולים לחשוף טבלאות קשורות שמכילות הזמנות או כרטיסי תמיכה. בנוסף, הקשרים משמשים כמדריך מבני שמספק הקשר חיוני למודלי שפה גדולים (LLM). כתוצאה מכך, ה-AI יוצר תשובות מדויקות יותר, ומנסח שאילתות מדויקות כדי לאחזר מידע ספציפי.

הכלי Knowledge Catalog מזהה ושומר באופן אוטומטי קישורים פוטנציאליים וקשרים נפוצים בין נכסי נתונים, כדי לעזור לכם להבין את אופי הקשר. נתוני הקשרים מגיעים ממקורות שונים, כמו:

  • Knowledge Catalog של יומני השאילתות ההיסטוריים, שמנתח באופן רציף את היסטוריית השאילתות כדי לזהות דפוסי JOIN פוטנציאליים בין טבלאות.
  • תובנות מנתונים מציעות קשרים בין נתונים על פי דרישה, על ידי ניתוח מאפייני סכימה וחפיפות נתונים באמצעות מודלים גדולים של שפה (LLM).

נכסי נתונים נתמכים

אתם יכולים לראות את קשרי הנתונים של טבלאות ותצוגות ב-BigQuery.

הצגת הקשרים בין הנתונים

כדי לראות את קשרי הנתונים של טבלאות ותצוגות ב-BigQuery, משתמשים במסוףGoogle Cloud או ב-Dataplex API.

console

כדי לראות את קשרי הגומלין בין הנתונים בטבלה ב-BigQuery:

  1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. מחפשים את הטבלה ב-BigQuery שרוצים לראות את הקשרים שלה.

  3. בתוצאות החיפוש, לוחצים על שם הטבלה כדי לפתוח את דף הרשומה שלה.

  4. בכרטיסייה קשרים אפשר לראות את הפרטים הבאים על כל קשר בין נתונים:

    • יעד: השם של נכס הנתונים המקושר.
    • קשר: העמודות הספציפיות שמשמשות לקישור הנכסים.
    • סוג: מהות הקישור. לדוגמה, גם צירופים תכופים וגם קשרים שזוהו על ידי תובנות מנתונים מופיעים בתור JOIN.

    • מקור: המקור של הקשר.

      • ‫Query history הוא המקור לצירופים תכופים.
      • ‫Data insights הוא המקור לקשרים שזוהו בתובנות מנתונים.

    • פעולה: שאילתה לדוגמה שבה אפשר להשתמש כדי לגלות את הקישור בין הנכסים.

REST

הקשרים שמתגלים נשמרים ב-Knowledge Catalog בתור EntryLinks, שיוצרים קשר בין שני נכסי נתונים (רשומות) ב-Knowledge Catalog. הפרטים על הקשר, כמו העמודות המצורפות ומקור הקשר, נשמרים כהיבטים של EntryLinks.

כדי לראות את הקשרים בין הנתונים, אפשר להשתמש בשיטות הבאות:

  • LookupEntryLinks מאחזר את כל EntryLinks שמפנים לרשומת נתונים ספציפית כמקור או כיעד, כדי להחזיר את קבוצת הקשרים המלאה שמשויכת לרשומה נתונה.

  • ‫LookupContext מספק נקודת קצה (endpoint) אחת לביסוס סוכני AI באמצעות מטא-נתונים לפי הקשר. הוא מחזיר חבילה תמציתית של מטא-נתונים בפורמט מוגדר מראש, כולל נכסי נתונים קשורים.

מיקומים

אפשר להשתמש בקשרי נתונים בכל המיקומים של BigQuery.

מגבלות

  • ב-Knowledge Catalog מתבצע ניתוח של דגימה מהיסטוריית השאילתות כדי לזהות קשרים, ולכן יכול להיות שחלק מהשאילתות לא יובילו לגילוי קישורים.
  • תהליך זיהוי הקשרים יכול להימשך עד 72 שעות אחרי הרצת השאילתה.

המאמרים הבאים