מידע על מחברים של מסדי נתונים

במאמר הזה מוסבר איך להשתמש במחברים של Knowledge Catalog (לשעבר Dataplex Universal Catalog) כדי לייבא מטא-נתונים ממקורות נתונים חיצוניים של צד שלישי אל Knowledge Catalog.

מחברים של Knowledge Catalog משתמשים בשירות העברת הנתונים ל-BigQuery כדי לספק שילובים מוכנים מראש שמחלצים אוטומטית מטא-נתונים ממערכות מקור וממפים אותם לרשומות בקבוצת רשומות של Knowledge Catalog.

המחברים מחלצים את סוגי המטא-נתונים הבאים:

  • מטא-נתונים טכניים: הגדרות של מסד נתונים, סכימה, טבלה ותצוגה.
  • מטא-נתונים תפעוליים: חותמות זמן של יצירה ועדכון אחרון של נכסים, כמו טבלאות, תצוגות ושגרות.
  • מטא-נתונים עסקיים: בעלי נכסים והערות.

אחרי שמגדירים מחבר, Knowledge Catalog מתזמן הפעלות של ייבוא מטא-נתונים לפי לוח הזמנים שמציינים, כדי לוודא שהקטלוג נשאר מסונכרן עם מערכת המקור.

מקורות נתונים נתמכים

אתם יכולים לייבא מטא-נתונים מהמקורות הבאים באמצעות מחברים של Knowledge Catalog:

  • Oracle
  • MySQL
  • PostgreSQL
  • שרת SQL

שילובים עם שותפים בתחום משילות הנתונים

אפשר לשלב את Knowledge Catalog עם פלטפורמות אחרות לניהול נתונים ולשליטה בגישה לנתונים בארגון. השילובים האלה עוזרים לוודא שאפשר למצוא את המטא-נתונים ושאין סתירות ביניהם בנתונים של הארגון. כך אפשר להוסיף מטא-נתונים לקטלוג הידע או להציג מטא-נתונים של קטלוג הידע בכלים של צד שלישי.

השותפים הבאים מספקים שילובים עם Knowledge Catalog:

איך זה עובד

מחברים של Knowledge Catalog משתמשים בהגדרות העברה שמנוהלות על ידי שירות העברת הנתונים ל-BigQuery כדי להתחבר למקור הנתונים, לחלץ מטא-נתונים ולהטמיע אותם בקבוצת רשומות של Knowledge Catalog שאתם מציינים.

בכל פעם שמתבצע ייבוא של מטא-נתונים, מתבצע שכתוב מלא של הרשומות בקבוצת הרשומות של היעד שמנוהלת על ידי ההגדרה הזו. אובייקטים של מטא-נתונים שכבר לא קיימים במקור מוסרים מקבוצת הרשומות, ואובייקטים חדשים מתווספים. אין השפעה על אובייקטים בקבוצת הרשומות שלא יובאו על ידי הגדרת המחבר.

אפשר להגדיר ולנהל את ההגדרות האלה בדף מחברים בקטע 'קטלוג הידע' במסוף Google Cloud .

הסברים על המונחים

במסמכי התיעוד האלה נעשה שימוש במונחים הבאים:

  • הגדרת ייבוא מטא-נתונים: ההגדרות של משימה מתוזמנת או של משימה לפי דרישה שמשתמשת בשירות העברת הנתונים ל-BigQuery כדי לחלץ מטא-נתונים ממקור מסוים ולטעון אותם ב-Knowledge Catalog.
  • הרצה: מופע יחיד של הפעלה של הגדרת ייבוא מטא-נתונים.
  • קבוצת רשומות: משאב בקטלוג הידע שמכיל רשומות של מטא-נתונים. כשמגדירים מחבר, מציינים קבוצת רשומות כיעד למטא-נתונים המיובאים.
  • רשומה: משאב בקטלוג הידע שמייצג נכס נתונים, כמו טבלה או תצוגה.

תמחור

אין חיובים נוספים מ-Knowledge Catalog או משירות העברת הנתונים ל-BigQuery על ייבוא מטא-נתונים באמצעות מחברים.

השימוש בקטלוג הידע (למשל אחסון מטא-נתונים) כרוך בחיובים רגילים. מידע נוסף מפורט במאמר בנושא תמחור של Knowledge Catalog.

מגבלות

  • מייבאים רק מטא-נתונים, ולא את הנתונים הבסיסיים מטבלאות המקור או מתצוגות המקור. כדי להעביר את נתוני הבסיס, אפשר להשתמש בשירות העברת הנתונים ל-BigQuery.
  • בכל הרצה מתבצעת החלפה מלאה של רשומות שמנוהלות על ידי המחבר בקבוצת הרשומות של היעד. אין תמיכה בעדכונים מצטברים של מטא-נתונים.
  • היסטוריית ההרצות נשמרת למשך 90 יום.

המאמרים הבאים