מידע על מחברים של מטא-נתונים

ככל שסביבות הנתונים הופכות למורכבות יותר, המטא-נתונים עלולים להישמר במאגרים מבודדים בפלטפורמות שונות, מה שמקשה על הצוותים למצוא את הנתונים, לנהל אותם ולסמוך עליהם. כדי לפתור את הבעיה הזו, אתם יכולים להשתמש במחברים של Knowledge Catalog (לשעבר Dataplex Universal Catalog) כדי לייבא באופן אוטומטי מטא-נתונים טכניים, תפעוליים, עסקיים וסמנטיים ממקורות נתונים של צד שלישי ישירות אל Google Cloud.

באמצעות המחברים האלה, אתם יכולים לאפשר למנתחי נתונים לחפש נכסי נתונים חיצוניים בלי להחליף כלים, לאפשר למנהלי מדיניות מידע ארגונית לאכוף משילות מרכזית בסביבה מרובת עננים ולעקוב אחרי איכות הנתונים בפלטפורמות שונות במקום אחד. תזמון של הפעלות חוזרות מאפשר לסנכרן את הקטלוג עם מערכות המקור, כדי שהצוותים יוכלו לראות תמונה מדויקת ועדכנית של סביבת הנתונים.

מקורות נתונים נתמכים

אתם יכולים לייבא מטא-נתונים מהמקורות הבאים באמצעות מחברים של Knowledge Catalog:

  • Databricks Unity Catalog
  • ‫dbt Core ו-Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • שרת SQL

שילובים עם שותפים בתחום משילות המידע (data governance)

אפשר גם לשלב את Knowledge Catalog עם פלטפורמות אחרות לניהול ולקטלוג נתונים. במקום לשלוף נתונים ממקורות של נתונים גולמיים, השילובים האלה מאפשרים לכלים מקבילים של קטלוגים לשתף מידע. אתם יכולים להעשיר את המטא-נתונים ב-Knowledge Catalog או לייצא את המטא-נתונים של Knowledge Catalog כדי להציג אותם בכלים האלה של צד שלישי.

השותפים הבאים מספקים שילובים עם Knowledge Catalog:

בהמשך הדף מוסבר איך לייבא מטא-נתונים באמצעות מחברים. למידע נוסף על שילובים של שותפים, עיינו בדפי השותפים המקושרים.

איך זה עובד

המחברים של Knowledge Catalog משתמשים בשילובים מובְנים מראש כדי להתחבר למקורות הנתונים ולחלץ מטא-נתונים באופן אוטומטי. שירות העברת הנתונים ל-BigQuery מנהל את ההעברות האלה וממפה את המטא-נתונים שחולצו לקבוצת רשומות ספציפית ב-Knowledge Catalog, לפי בחירתכם.

המחברים מחלצים את סוגי המטא-נתונים הבאים:

  • מטא-נתונים טכניים: סכימה, סוג נתונים והגדרות של שמות עמודות.
  • מטא-נתונים תפעוליים: חותמות זמן של יצירה ושינוי, שושלת נתונים, נתוני שימוש ותוצאות של איכות הנתונים.
  • מטא-נתונים עסקיים: תגים, בעלים והערות.
  • מטא-נתונים סמנטיים: מאפיינים, מדדים, שאילתות לדוגמה וקשרים.

אחרי שמגדירים מחבר, ב-Knowledge Catalog מתזמנים את הפעלות הייבוא של המטא-נתונים לפי לוח הזמנים שציינתם, כדי לוודא שהקטלוג יישאר מסונכרן עם מערכת המקור. בכל פעם שמתבצעת הפעלה של ייבוא מטא-נתונים, מתבצעת החלפה מלאה של הרשומות בקבוצת הרשומות של היעד שמנוהלת על ידי ההגדרה הזו. אובייקטים של מטא-נתונים שכבר לא קיימים במקור מוסרים מקבוצת הרשומות, ואובייקטים חדשים מתווספים. אובייקטים בקבוצת הרשומות שלא מיובאים על ידי הגדרת המחבר לא מושפעים.

הסברים על המונחים

במסמך הזה מופיעים המונחים הבאים:

  • הגדרת ייבוא מטא-נתונים: ההגדרות של משימה מתוזמנת או לפי דרישה, שמשתמשת בשירות העברת הנתונים ל-BigQuery כדי לחלץ מטא-נתונים ממקור ולטעון אותם ב-Knowledge Catalog.
  • הרצה: מופע ביצוע יחיד של הגדרת ייבוא מטא-נתונים.
  • קבוצת רשומות: משאב ב-Knowledge Catalog שמכיל רשומות של מטא-נתונים. כשמגדירים מחבר, מציינים קבוצת רשומות כיעד למטא-נתונים המיובאים.
  • רשומה: משאב ב-Knowledge Catalog שמייצג נכס נתונים, כמו טבלה או תצוגה.

תמחור

אין חיובים נוספים מ-Knowledge Catalog או משירות העברת הנתונים ל-BigQuery על ייבוא מטא-נתונים באמצעות מחברים.

חיובים רגילים חלים על שימוש אחר ב-Knowledge Catalog (כמו אחסון מטא-נתונים). מידע נוסף זמין במאמר התמחור של Knowledge Catalog.

מגבלות

  • רק המטא-נתונים מיובאים, ולא הנתונים הבסיסיים מהטבלאות או מהתצוגות של המקור. כדי להעביר את הנתונים הבסיסיים, אתם יכולים להשתמש בשירות העברת הנתונים ל-BigQuery.
  • בכל הפעלה, הרשומות שמנוהלות על ידי המחבר בקבוצת רשומות היעד נמחקות ומוחלפות בחדשות. אין תמיכה בעדכונים מצטברים של מטא-נתונים.
  • היסטוריית ההרצות נשמרת למשך 90 יום.

המאמרים הבאים