מידע על מחברים של מטא-נתונים

מחברים של Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשרים לייבא לקטלוג מטא-נתונים טכניים, תפעוליים, עסקיים וסמנטיים ממקורות נתונים של צד שלישי. אתם יכולים לתזמן הפעלות חוזרות כדי לסנכרן את הקטלוג עם מערכות המקור, וכך לגלות, לחפש ולנהל נכסים חיצוניים במקום אחד.

מקורות נתונים נתמכים

אתם יכולים לייבא מטא-נתונים מהמקורות הבאים באמצעות מחברים של Knowledge Catalog:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • שרת SQL

שילובים עם שותפים בתחום משילות המידע (data governance)

אפשר לשלב את Knowledge Catalog עם פלטפורמות אחרות של קטלוג נתונים ופיקוח על נתונים בארגון. השילובים האלה עוזרים לוודא שהמטא-נתונים ניתנים לגילוי ועקביים בכל סביבת הנתונים של הארגון, ומאפשרים לכם להעשיר את המטא-נתונים ב-Knowledge Catalog או להציג את המטא-נתונים של Knowledge Catalog בכלים של צד שלישי.

השותפים הבאים מספקים שילובים עם Knowledge Catalog:

איך זה עובד

המחברים של Knowledge Catalog משתמשים בשילובים מובנים מראש ובהגדרות העברה שמנוהלות על ידי שירות העברת הנתונים ל-BigQuery כדי להתחבר למקור הנתונים, לחלץ מטא-נתונים באופן אוטומטי ולמפות אותם לרשומות בקבוצת רשומות ספציפית ב-Knowledge Catalog.

המחברים מחלצים את סוגי המטא-נתונים הבאים:

  • מטא-נתונים טכניים: סכימה, סוג נתונים והגדרות של שמות עמודות.
  • מטא-נתונים תפעוליים: חותמות זמן של יצירה ושינוי, שושלת נתונים, נתוני שימוש ותוצאות של איכות הנתונים.
  • מטא-נתונים עסקיים: תגים, בעלים והערות.
  • מטא-נתונים סמנטיים: מאפיינים, מדדים, שאילתות לדוגמה וקשרים.

אחרי שמגדירים מחבר, ב-Knowledge Catalog מתזמנים את הפעלות הייבוא של המטא-נתונים לפי לוח הזמנים שציינתם, כדי לוודא שהקטלוג יישאר מסונכרן עם מערכת המקור. בכל פעם שמתבצעת הפעלה של ייבוא מטא-נתונים, מתבצעת החלפה מלאה של הרשומות בקבוצת הרשומות של היעד שמנוהלת על ידי ההגדרה הזו. אובייקטים של מטא-נתונים שכבר לא קיימים במקור מוסרים מקבוצת הרשומות, ואובייקטים חדשים מתווספים. אובייקטים בקבוצת הרשומות שלא מיובאים על ידי הגדרת המחבר לא מושפעים.

אפשר להגדיר ולנהל את ההגדרות האלה בדף Connectors בקטע Knowledge Catalog במסוף Google Cloud .

הסברים על המונחים

במסמך הזה מופיעים המונחים הבאים:

  • הגדרת ייבוא מטא-נתונים: ההגדרות של משימה מתוזמנת או לפי דרישה, שמשתמשת בשירות העברת הנתונים ל-BigQuery כדי לחלץ מטא-נתונים ממקור ולטעון אותם ב-Knowledge Catalog.
  • הרצה: מופע ביצוע יחיד של הגדרת ייבוא מטא-נתונים.
  • קבוצת רשומות: משאב ב-Knowledge Catalog שמכיל רשומות של מטא-נתונים. כשמגדירים מחבר, מציינים קבוצת רשומות כיעד למטא-נתונים המיובאים.
  • רשומה: משאב ב-Knowledge Catalog שמייצג נכס נתונים, כמו טבלה או תצוגה.

תמחור

אין חיובים נוספים מ-Knowledge Catalog או משירות העברת הנתונים ל-BigQuery על ייבוא מטא-נתונים באמצעות מחברים.

חיובים רגילים חלים על שימוש אחר ב-Knowledge Catalog (כמו אחסון מטא-נתונים). מידע נוסף זמין במאמר התמחור של Knowledge Catalog.

מגבלות

  • רק המטא-נתונים מיובאים, ולא הנתונים הבסיסיים מהטבלאות או מהתצוגות של המקור. כדי להעביר את הנתונים הבסיסיים, אתם יכולים להשתמש בשירות העברת הנתונים ל-BigQuery.
  • בכל הפעלה, הרשומות שמנוהלות על ידי המחבר בקבוצת הרשומות ביעד נמחקות ומוחלפות. אין תמיכה בעדכונים מצטברים של מטא-נתונים.
  • היסטוריית ההרצות נשמרת למשך 90 יום.

המאמרים הבאים