ייבוא מטא-נתונים מ-Oracle

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לחלץ ולייבא מטא-נתונים ממסדי נתונים של Oracle באמצעות מחבר מנוהל. אחרי שהנתונים יתווספו לקטלוג, תוכלו לחפש ולמצוא את הנכסים של Oracle לצד נתונים אחרים בקטלוג, ולאחזר הקשר לעומסי עבודה של מודל שפה גדול (LLM).

המחבר הזה תומך במכונות של Oracle שמתארחות באופן מקומי, ב- Google Cloudאו בסביבות ענן אחרות. מידע נוסף על מחברי מטא-נתונים

לפני שמתחילים

לפני שאתם מייבאים מטא-נתונים מ-Oracle, אתם צריכים לבצע את הפעולות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את Dataplex API ואת שירות העברת נתונים ל-BigQuery API.
  3. עומדים בדרישות המוקדמות של Oracle.
  4. עומדים בדרישות המוקדמות של הרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל משימת קישור של Knowledge Catalog, אתם צריכים תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים הרשאות ל-Knowledge Catalog ולשירות העברת הנתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר Oracle, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

בנוסף, צריך לתת לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר להקצות את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

במאמר ניהול הגישה תוכלו לקרוא מידע נוסף על מתן תפקידים.

הפעלת ממשקי ה-API

מפעילים את Dataplex API ואת שירות העברת נתונים ל-BigQuery API.

הפעלת ממשקי ה-API

דרישות מוקדמות של Oracle

מוודאים שאתם עומדים בדרישות המוקדמות להעברות מ-Oracle. לפרטים, קראו את המאמר דרישות מוקדמות של Oracle במסמכי התיעוד של שירות העברת הנתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת הנתונים ל-BigQuery, מכונת Oracle צריכה לעמוד בדרישות הבאות:

  • גרסה מינימלית: נדרשת גרסה 12 ומעלה של Oracle כדי לתמוך במאפייני מטא-נתונים של מסד נתונים, כמו type ו-parentContainer.

  • הרשאות מינימליות: צריך לתת למשתמש במסד הנתונים את ההרשאות הבאות:

    הרשאות בסיסיות (נדרשות לכל ההגדרות):

    GRANT SELECT_CATALOG_ROLE TO USER_NAME;
GRANT CREATE SESSION TO USER_NAME;
GRANT SELECT ON SYS.COL$ TO USER_NAME;

    הרשאות גישה לסכימה ספציפית (Oracle מגרסה 23 ואילך):

    GRANT SELECT ANY TABLE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT EXECUTE ANY PROCEDURE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT EXECUTE ANY TYPE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT ALTER ANY TRIGGER ON SCHEMA TARGET_SCHEMA TO USER_NAME;

    הרשאות גישה לכל הסכימות האחרות:

    GRANT SELECT ANY TABLE TO USER_NAME;
GRANT EXECUTE ANY PROCEDURE TO USER_NAME;
GRANT EXECUTE ANY TYPE TO USER_NAME;
GRANT ALTER ANY TRIGGER TO USER_NAME;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫USER_NAME: המשתמש במסד הנתונים שרוצים להגדיר.
    • ‫TARGET_SCHEMA: השם של הסכימה של Oracle שרוצים לגשת אליה.

דרישות מוקדמות לרשת

כדי לאפשר לשירות העברת הנתונים ל-BigQuery לגשת למסד הנתונים שלכם, צריך חיבור רשת באמצעות Private Service Connect כשמתחברים באופן מאובטח למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית.

אם אתם מתחברים לסביבה מקומית או למכונה שמתארחת בענן באמצעות כתובת IP ציבורית, אתם לא צריכים מחבר רשת.

הגדרת מחבר של Oracle

מגדירים מחבר של Oracle באמצעות Google Cloud המסוף או ה-API.

המסוף

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים.

  3. לוחצים על הוספת חיבור.

  4. ברשימה מחברים, בוחרים בכרטיס Oracle.

  5. בקטע Data source details, מזינים את פרטי החיבור למכונה של Oracle:

    • בשדה Network attachment, בוחרים חיבור רשת קיים או יוצרים חיבור חדש.
    • מזינים את הפרטים הבאים: Host,‏ Port,‏ Database name,‏ Connection type,‏ Username ו-Password.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן. מידע נוסף זמין במאמר הגדרת TLS.
    • בקטע Oracle metadata objects to import, לוחצים על Browse כדי לבחור אובייקטים.

  6. בקטע הגדרות היעד:

    • לוחצים על Browse ובוחרים קבוצת רשומות קיימת ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על Create new entry group.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מומלץ להגדיר הרשאות כדי שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא נתתם את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) ברמת הפרויקט, אתם צריכים לתת אותם ברמת קבוצת הרשומות.

  7. בקטע Connector config name, בשדה השם המוצג מזינים שם למשימת ייבוא המטא-נתונים.

  8. בקטע Schedule options, מגדירים את התדירות של משימת הייבוא של המטא-נתונים. אם בוחרים באפשרות On-demand, המשימה פועלת רק כשמפעילים אותה באופן ידני.

  9. אופציונלי: בקטע Notification options, מגדירים התראות באימייל או ב-Pub/Sub על כשלים במשימות.

  10. אופציונלי: בקטע Advanced options, מגדירים את ההצפנה. אם אתם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), שימו לב שהמפתח משמש להצפנת כל הנתונים הזמניים שנוצרו לפני שהתחילו משימות הייבוא של המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.

  11. לוחצים על Save.

REST

משתמשים ב-method‏ projects.locations.transferConfigs.create. במשאב TransferConfig, מגדירים את השדות הבאים:

  • מגדירים את השדה dataSourceId לערך "oracle".
  • בשדה metadataDestination, מאכלסים את האובייקט dataplexConfiguration בנתיב המשאב של קבוצת הרשומות ב-Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

אחרי שיוצרים את המשימה, Knowledge Catalog מתזמן את ההרצה הראשונה לפי ההגדרות שלכם, או שאתם יכולים להפעיל אותה ידנית.

חיפוש וצפייה במטא-נתונים של Oracle

  1. במסוף Google Cloud , נכנסים לדף Search ב-Knowledge Catalog.

    מעבר לחיפוש

  2. בחלונית Filters, אתם יכולים לסנן את נכסי Oracle באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע System, בוחרים באפשרות Imported Context. כשבוחרים את המסנן הזה, נפתח קטע המשנה מחברים מנוהלים. בוחרים באפשרות Oracle כדי לסנן את כל המטא-נתונים של Oracle.

  3. אתם יכולים להשתמש בשדה החיפוש כדי להזין שאילתות חיפוש. אפשר לחפש לפי מילת מפתח או בשפה טבעית. לדוגמה, כדי לראות את כל הטבלאות של Oracle באמצעות חיפוש של מילת מפתח, מזינים system=ORACLE AND type=TABLE.

    מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. במאמר תחביר החיפוש של Knowledge Catalog מוסבר אילו ביטויים אפשר להזין בשדה החיפוש.

  4. אפשר גם להשתמש ב-API‏ LookupContext כדי לאחזר הקשר של LLM למשאבים ספציפיים של Oracle.

המאמרים הבאים