סקירה כללית של קישוריות מנוהלת

במסמך הזה מובאת סקירה כללית של צינורות הנתונים המנוהלים לקישוריות, שבהם אפשר להשתמש כדי לייבא מטא-נתונים ממקורות של צד שלישי אל Dataplex Universal Catalog.

קישוריות מנוהלת מאפשרת לייבא מטא-נתונים ל-Dataplex Universal Catalog בהיקף גדול. צינור קישוריות מנוהל מחלץ מטא-נתונים ממקורות הנתונים ואז מייבא את המטא-נתונים אל Dataplex Universal Catalog. במקרה הצורך, צינור הנתונים יוצר גם קבוצות של רשומות ב-Dataplex Universal Catalog בGoogle Cloud פרויקט. אתם יכולים לתזמן את תהליכי העבודה ולתזמן את משימות הייבוא בהתאם לדרישות שלכם.

אתם יוצרים מחברים מותאמים אישית משלכם כדי לחלץ מטא-נתונים ממקורות של צד שלישי. לדוגמה, אתם יכולים לבנות מחבר כדי לחלץ מטא-נתונים ממקורות כמו MySQL,‏ SQL Server,‏ Oracle,‏ Snowflake,‏ Databricks ועוד. במאמר פיתוח מחבר בהתאמה אישית לייבוא מטא-נתונים מוסבר איך ליצור מחבר לדוגמה בהתאמה אישית. אפשר גם להשתמש במחברים בהתאמה אישית שנוצרו על ידי הקהילה, שזמינים למגוון מקורות של צד שלישי.

הוראות להפעלת צינור קישוריות מנוהל מופיעות במאמר בנושא ייבוא מטא-נתונים ממקור מותאם אישית באמצעות Workflows.

איך קישוריות מנוהלת פועלת

בתרשים הבא מוצג צינור עיבוד נתונים מנוהל לקישוריות.

צינור מאוחד לניהול קישוריות.

באופן כללי, כך פועלת קישוריות מנוהלת:

  1. יוצרים מחבר למקור הנתונים.

    המחבר צריך להיות תמונה ב-Artifact Registry שאפשר להריץ ב-Serverless for Apache Spark.

  2. מריצים את צינור הנתונים של הקישוריות המנוהלת ב-Workflows, פלטפורמת תזמור.

  3. צינור הקישוריות המנוהל מבצע את הפעולות הבאות:

    1. יוצר קבוצת רשומות של יעד על סמך ההגדרה, אם קבוצת הרשומות עדיין לא קיימת.
    2. מפעילים את המחבר. המחבר מחלץ את המטא-נתונים ממקור הנתונים ויוצר קובץ ייבוא של מטא-נתונים שאפשר לייבא ל-Dataplex Universal Catalog.
    3. מעקב אחרי התקדמות חילוץ המטה-נתונים.
    4. מריצים משימת ייבוא של מטא-נתונים כדי לייבא את המטא-נתונים אל Dataplex Universal Catalog.
    5. מעקב אחר התקדמות משימת ייבוא המטא-נתונים.

צינור הקישוריות המנוהל משתמש ב- Google Cloud Serverless for Apache Spark כדי להריץ את המחבר, ובשיטות של Dataplex Universal Catalog metadata import API כדי להריץ את משימת ייבוא המטא-נתונים.

המטא-נתונים שאתם מייבאים מורכבים מרשומות של Dataplex Universal Catalog וההיבטים שלהן. מידע נוסף על מטא-נתונים ב-Dataplex Universal Catalog זמין במאמר מידע על ניהול מטא-נתונים ב-Dataplex Universal Catalog.

מחברים בהתאמה אישית שנוצרו על ידי הקהילה

כדי לייבא מטא-נתונים ממקורות של צד שלישי, אפשר להשתמש במחברים בהתאמה אישית שנוצרו על ידי הקהילה. הוראות ההגדרה ומידע נוסף על המחבר מופיעים בקובץ ה-README של כל מחבר.

מקור הנתונים מאגר
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
פתית שלג snowflake-connector
שרת SQL sql-server-connector

המאמרים הבאים