Knowledge Catalog (לשעבר Dataplex Universal Catalog) מגלה קישורים פוטנציאליים בין נכסי נתונים, ועוזר לכם לגלות את הנתונים שקשורים זה לזה ולהבין את אופי הקשר.
לפני שמתחילים
לפני שצופים בקשרים בין נכסי נתונים, צריך לוודא שהוקצו לכם התפקידים הנדרשים.
התפקידים הנדרשים
כדי לראות את הקשרים בין נכסי נתונים ב-Knowledge Catalog, לא צריך תפקידי IAM ספציפיים ל-Knowledge Catalog.
כדי לקבוע אם אתם יכולים לראות את הקשרים, Knowledge Catalog משתמש בהרשאות הקיימות שלכם במערכות המקוריות שבהן נמצאים הנכסים, כמו BigQuery. לדוגמה, כדי לראות קשרים שכוללים טבלה ב-BigQuery, צריך את ההרשאה bigquery.tables.get.
אם אין לכם הרשאה לראות נכס במערכת המקור שלו, כל הקשרים שכוללים את הנכס הזה מוסתרים בתרשים הקשרים של Knowledge Catalog. כך אפשר לוודא שהגישה לקשרים תואמת לגבולות האבטחה ולהרשאות שנקבעו במערכות המקור.
מידע על קשרים בין נתונים
קשרי הגומלין בין הנתונים ממחישים את הקשר בין נכסי הנתונים. לדוגמה, אם מאתרים טבלה עם נתוני לקוחות, הקשרים שלה יכולים לחשוף טבלאות קשורות עם רשימה של הזמנות או כרטיסי תמיכה. בנוסף, הקשרים משמשים כהנחיה מבנית, ומספקים הקשר חיוני למודלי שפה גדולים. כתוצאה מכך, ה-AI יוצר תשובות מדויקות יותר ומנסח שאילתות מדויקות כדי לאחזר מידע ספציפי.
Knowledge Catalog מגלה ושומר באופן אוטומטי קשרים נפוצים בין נכסי הנתונים. נתוני הקשר מגיעים ממקורות שונים, כמו:
- Knowledge Catalog של יומני השאילתות ההיסטוריים מנתח באופן רציף את היסטוריית השאילתות כדי לזהות דפוסי
JOINפוטנציאליים בין טבלאות. - תובנות לגבי נתונים מציעות קשרים בין נתונים לפי דרישה, על ידי ניתוח מאפייני סכימה וחפיפות נתונים באמצעות מודלים גדולים של שפה.
נכסי נתונים נתמכים
אפשר לראות את קשרי הנתונים של טבלאות ותצוגות מפורטות ב-BigQuery.
הצגת הקשרים בין הנתונים
כדי לראות את קשרי הנתונים של טבלאות ותצוגות ב-BigQuery, אפשר להשתמש בGoogle Cloud מסוף או ב-Dataplex API.
console
כדי לראות את קשרי הנתונים של טבלה ב-BigQuery:
במסוף Google Cloud , עוברים לדף Search ב-Knowledge Catalog.
מחפשים טבלה ב-BigQuery שרוצים לראות את הקשרים שלה.
בתוצאות החיפוש, לוחצים על הטבלה כדי לפתוח את דף הערך שלה.
בכרטיסייה קשרים מפורטים קשרי הגומלין יחד עם המידע הבא:
- יעד: השם של נכס הנתונים המקושר.
- קשר גומלין: העמודות הספציפיות שמשמשות לקישור הנכסים.
- סוג: אופי הקישור. לדוגמה,
JOIN. - מקור: המקור של הקשר. לדוגמה, היסטוריית שאילתות.
- פעולה: שאילתה לדוגמה שאפשר להשתמש בה כדי לגלות את הקשר בין הנכסים.
REST
הקשרים שמתגלים נשמרים ב-Knowledge Catalog כEntryLinks שיוצרים קשר בין שני נכסי נתונים (רשומות) ב-Knowledge Catalog. הפרטים על הקשר, כמו העמודות המצורפות ומקור הקשר, נשמרים כמאפיינים של EntryLinks.
כדי לראות את הקשרים בין הנתונים, אפשר להשתמש בשיטות הבאות:
LookupEntryLinksמאחזר את כלEntryLinksשמפנים לרשומה ספציפית של נתונים כמקור או כיעד, כדי להחזיר את כל מערכת היחסים שמשויכת לרשומה נתונה.
LookupContextמספק נקודת קצה (endpoint) יחידה להצגת סוכני AI עם מטא-נתונים הקשריים. היא מחזירה חבילה תמציתית של מטא-נתונים בפורמט מוגדר מראש, כולל נכסי נתונים קשורים.
מיקומים
אפשר להשתמש בקשרים בין נתונים בכל המיקומים של BigQuery.
מגבלות
- גילוי אוטומטי של קשרים מיומני שאילתות זמין רק לטבלאות ולתצוגות של BigQuery.
- Knowledge Catalog מנתח מדגם של היסטוריית השאילתות כדי לזהות קשרים, ולכן יכול להיות שחלק מהשאילתות לא יובילו לגילוי קישורים.
- יכול להיות שיחלפו עד 48 שעות אחרי הפעלת השאילתה עד שהקשרים יתגלו.