סקירה כללית של קישוריות מנוהלת

צינורות קישור מנוהלים מייבאים מטא-נתונים ממקורות של צד שלישי אל Knowledge Catalog (לשעבר Dataplex Universal Catalog). אתם יכולים להשתמש בצינורות האלה כדי לייבא מטא-נתונים ל-Knowledge Catalog בהיקף גדול, כדי לחלץ נתונים מהמקורות שלכם. בנוסף, צינורות הנתונים יוצרים קבוצות של רשומות ב-Knowledge Catalog בפרויקטGoogle Cloud לפי הצורך. בגישה הזו, אתם יכולים לתזמן את תהליכי העבודה ולתזמן את עבודות הייבוא בהתאם לדרישות שלכם.

אתם יוצרים מחברים בהתאמה אישית כדי לחלץ מטא-נתונים ממקורות שונים של צד שלישי, כולל MySQL,‏ SQL Server,‏ Oracle,‏ Snowflake ו-Databricks. אפשרות אחרת היא להשתמש במחברים בהתאמה אישית שנוצרו על ידי הקהילה כדי לגשת למגוון רחב יותר של מקורות.

איך פועלת קישוריות מנוהלת

בתרשים הבא מוצג צינור עיבוד נתונים מנוהל לקישוריות.

פייפליין מנוהל של קישוריות.

באופן כללי, כך פועלת קישוריות מנוהלת:

  1. יוצרים מחבר למקור הנתונים.

    המחבר צריך להיות תמונה ב-Artifact Registry שאפשר להריץ ב-Managed Service for Apache Spark.

  2. מריצים את צינור הקישוריות המנוהל ב-Workflows, פלטפורמת תזמור.

  3. צינור הקישוריות המנוהל מבצע את הפעולות הבאות:

    1. אם קבוצת הכניסה לא קיימת, המערכת יוצרת קבוצת כניסה לטירגוט על סמך ההגדרה שלכם.
    2. הפעלת המחבר. המחבר מחלץ את המטא-נתונים ממקור הנתונים ויוצר קובץ ייבוא של מטא-נתונים שאפשר לייבא ל-Knowledge Catalog.
    3. מעקב אחרי התקדמות החילוץ של המטה-נתונים.
    4. מריצים משימת ייבוא של מטא-נתונים כדי לייבא את המטא-נתונים אל Knowledge Catalog.
    5. עוקב אחרי ההתקדמות של משימת ייבוא המטא-נתונים.

צינור הקישוריות המנוהל משתמש ב-Managed Service for Apache Spark כדי להריץ את המחבר, ובשיטות של Knowledge Catalog metadata import API כדי להריץ את משימת ייבוא המטא-נתונים.

המטא-נתונים שמייבאים כוללים רשומות ב-Knowledge Catalog וההיבטים שלהן. מידע נוסף על מטא-נתונים של Knowledge Catalog זמין במאמר מידע על ניהול מטא-נתונים ב-Knowledge Catalog.

מחברים מותאמים אישית שנוצרו על ידי הקהילה

כדי לייבא מטא-נתונים ממקורות של צד שלישי, אפשר להשתמש במחברים בהתאמה אישית שהקהילה תרמה. הוראות ההגדרה ומידע נוסף על המחבר מופיעים בקובץ ה-README של כל מחבר.

מקור הנתונים מאגר
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
פתית שלג snowflake-connector
שרת SQL sql-server-connector

המאמרים הבאים