סקירה כללית של קישוריות מנוהלת

צינורות קישור מנוהלים מייבאים מטא-נתונים ממקורות של צד שלישי אל Knowledge Catalog (לשעבר Dataplex Universal Catalog). אתם יכולים להשתמש בפייפליינים האלה כדי לייבא מטא-נתונים ל-Knowledge Catalog בקנה מידה גדול, כדי לחלץ נתונים מהמקורות שלכם. בנוסף, צינורות הנתונים יוצרים קבוצות של רשומות ב-Knowledge Catalog בפרויקט Google Cloud שלכם לפי הצורך. בגישה הזו, אתם יכולים לתזמן את תהליכי העבודה ולתזמן את משימות הייבוא בהתאם לדרישות שלכם.

אתם יוצרים מחברים בהתאמה אישית כדי לחלץ מטא-נתונים ממקורות שונים של צד שלישי, כולל MySQL,‏ SQL Server,‏ Oracle,‏ Snowflake ו-Databricks. אפשרות אחרת היא להשתמש במחברים מותאמים אישית שנוצרו על ידי הקהילה כדי לגשת למגוון רחב יותר של מקורות.

איך פועלת קישוריות מנוהלת

בתרשים הבא מוצג צינור עיבוד נתונים מנוהל לקישוריות.

פייפליין מנוהל של קישוריות.

באופן כללי, כך פועל קישוריות מנוהלת:

  1. יוצרים מחבר למקור הנתונים.

    המחבר צריך להיות תמונה ב-Artifact Registry שאפשר להפעיל ב-Managed Service for Apache Spark.

  2. מריצים את צינור הקישוריות המנוהל ב-Workflows, פלטפורמת תזמור.

  3. צינור הקישוריות המנוהל מבצע את הפעולות הבאות:

    1. אם קבוצת הכניסה לא קיימת, הפונקציה יוצרת קבוצת כניסה לטירגוט על סמך ההגדרה.
    2. מריץ את המחבר. המחבר מחלץ את המטא-נתונים ממקור הנתונים ויוצר קובץ ייבוא של מטא-נתונים שאפשר לייבא ל-Knowledge Catalog.
    3. מעקב אחרי התקדמות החילוץ של המטה-נתונים.
    4. מריצים משימה לייבוא מטא-נתונים כדי לייבא את המטא-נתונים אל Knowledge Catalog.
    5. מעקב אחר ההתקדמות של משימת ייבוא המטא-נתונים.

צינור הקישוריות המנוהל משתמש ב-Managed Service for Apache Spark כדי להריץ את המחבר, ובשיטות של Knowledge Catalog metadata import API כדי להריץ את משימת ייבוא המטא-נתונים.

המטא-נתונים שמייבאים כוללים רשומות ב-Knowledge Catalog וה-aspects שלהן. מידע נוסף על מטא-נתונים של Knowledge Catalog זמין במאמר מידע על ניהול מטא-נתונים ב-Knowledge Catalog.

מחברים בהתאמה אישית שנוצרו על ידי הקהילה

כדי לייבא מטא-נתונים ממקורות של צד שלישי, אפשר להשתמש במחברים בהתאמה אישית שנוצרו על ידי הקהילה. הוראות ההגדרה ומידע נוסף על המחבר מופיעים בקובץ ה-README של כל מחבר.

מקור הנתונים מאגר
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
פתית שלג snowflake-connector
שרת SQL sql-server-connector

המאמרים הבאים