Knowledge Catalog (לשעבר Dataplex Universal Catalog) מגלה קישורים פוטנציאליים בין נכסי נתונים, ועוזר לכם לגלות את הנתונים הקשורים ולהבין את אופי הקשר.
לפני שמתחילים
לפני שצופים בקשרים בין נכסי נתונים, צריך לוודא שהוקצו לכם התפקידים הנדרשים.
התפקידים הנדרשים
כדי לראות את הקשרים בין נכסי נתונים ב-Knowledge Catalog, לא צריך תפקידי IAM ספציפיים ל-Knowledge Catalog.
ב-Knowledge Catalog נעשה שימוש בהרשאות הקיימות שלכם במערכות המקוריות שבהן נמצאים הנכסים, כמו BigQuery, כדי לקבוע אם אתם יכולים לראות את הקשרים. לדוגמה, כדי לראות קשרים שכוללים טבלה ב-BigQuery, צריך את ההרשאה bigquery.tables.get.
אם אין לכם הרשאה לראות נכס במערכת המקור שלו, כל הקשרים שכוללים את הנכס הזה מוסתרים בתרשים הקשרים של Knowledge Catalog. כך אפשר לוודא שהתצוגה של הקשרים תואמת לגבולות האבטחה ולהרשאות שנקבעו במערכות המקור.
מידע על קשרים בין נתונים
קשרי הנתונים ממחישים איך נכסי הנתונים מתחברים. לדוגמה, אם מאתרים טבלה עם נתוני לקוחות, הקשרים שלה יכולים לחשוף טבלאות קשורות שמפרטות הזמנות או כרטיסי תמיכה. בנוסף, הקשרים משמשים כמדריך מבני, ומספקים הקשר חיוני למודלים גדולים של שפה. כתוצאה מכך, ה-AI יוצר תשובות מדויקות יותר, ומנסח שאילתות מדויקות כדי לאחזר מידע ספציפי.
Knowledge Catalog מגלה ושומר באופן אוטומטי קשרים נפוצים בין נכסי הנתונים. נתוני הקשר מגיעים ממקורות שונים, כמו:
- Knowledge Catalog של יומני השאילתות ההיסטוריים מנתח באופן רציף את היסטוריית השאילתות כדי לזהות דפוסי
JOINפוטנציאליים בין טבלאות. - תובנות לגבי נתונים מציעות קשרים בין נתונים לפי דרישה, על ידי ניתוח מאפייני סכימה וחפיפות נתונים באמצעות מודלים גדולים של שפה.
נכסי נתונים נתמכים
אפשר לראות את קשרי הנתונים של טבלאות ותצוגות מפורטות ב-BigQuery.
הצגת הקשרים בין הנתונים
כדי לראות את קשרי הנתונים של טבלאות ותצוגות ב-BigQuery, אפשר להשתמש בGoogle Cloud מסוף או ב-Dataplex API.
console
כדי לראות את קשרי הנתונים של טבלה ב-BigQuery:
במסוף Google Cloud , עוברים לדף Search ב-Knowledge Catalog.
מחפשים טבלה ב-BigQuery שרוצים לראות את הקשרים שלה.
בתוצאות החיפוש, לוחצים על הטבלה כדי לפתוח את דף הערך שלה.
בכרטיסייה קשרים מפורטים קשרי הגומלין יחד עם המידע הבא:
- יעד: השם של נכס הנתונים המקושר.
- קשר גומלין: העמודות הספציפיות שמשמשות לקישור הנכסים.
- סוג: אופי הקישור. לדוגמה,
JOIN. - מקור: המקור של הקשר. לדוגמה, היסטוריית שאילתות.
- פעולה: שאילתה לדוגמה שאפשר להשתמש בה כדי לגלות את הקשר בין הנכסים.
REST
הקשרים שמתגלים נשמרים ב-Knowledge Catalog כEntryLinks שיוצרים קשר בין שני נכסי נתונים (רשומות) ב-Knowledge Catalog. הפרטים על הקשר, כמו העמודות המצורפות ומקור הקשר, נשמרים כהיבטים של EntryLinks.
כדי לראות את הקשרים בין הנתונים, אפשר להשתמש בשיטות הבאות:
LookupEntryLinksמאחזר את כלEntryLinksשמפנים לרשומה ספציפית של נתונים כמקור או כיעד, כדי להחזיר את כל מערכת היחסים שמשויכת לרשומה נתונה.
LookupContextמספק נקודת קצה יחידה להצגת סוכני AI עם מטא-נתונים הקשריים. הוא מחזיר חבילה תמציתית של מטא-נתונים בפורמט מוגדר מראש, כולל נכסי נתונים קשורים.
מיקומים
אפשר להשתמש בקשרים בין נתונים בכל המיקומים של BigQuery.
מגבלות
- גילוי אוטומטי של קשרים מיומני שאילתות זמין רק לטבלאות ולתצוגות של BigQuery.
- Knowledge Catalog מנתח דגימה של היסטוריית השאילתות כדי לזהות קשרים, ולכן יכול להיות שחלק מהשאילתות לא יובילו לגילוי קישורים.
- יכול להיות שיחלפו עד 48 שעות אחרי הפעלת השאילתה עד שהקשרים יתגלו.