ייבוא מטא-נתונים מ-Oracle

במאמר הזה מוסבר איך לייבא מטא-נתונים מ-Oracle אל Knowledge Catalog (לשעבר Dataplex Universal Catalog) באמצעות מחבר של Knowledge Catalog.

המחבר הזה תומך במופעי Oracle שמתארחים באופן מקומי, ב-Google Cloudאו בסביבות ענן אחרות.

לפני שתוכלו לייבא מטא-נתונים מ-Oracle, תצטרכו לבצע את המשימות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.
  3. עמידה בדרישות המוקדמות של Oracle.
  4. עמידה בדרישות המוקדמות בנוגע לרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל עבודת מחבר של Knowledge Catalog, אתם צריכים תפקידים בניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת נתונים ל-BigQuery.

כדי לקבל את ההרשאות שנדרשות להגדרת מחבר Oracle, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

בנוסף, צריך להעניק לסוכן השירות של שירות העברת נתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר לתת את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על מתן תפקידים זמין במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות של Oracle

חשוב לוודא שאתם עומדים בדרישות הסף להעברות של Oracle. פרטים נוספים זמינים במאמר בנושא דרישות מוקדמות ל-Oracle במסמכי העזרה של שירות העברת נתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת נתונים ל-BigQuery, מופע Oracle צריך לעמוד בדרישות הבאות:

  • גרסה מינימלית: נדרשת גרסה 12 של Oracle ואילך כדי לתמוך במאפייני מטא-נתונים של מסד נתונים, כמו type ו-parentContainer.

  • הרשאות מינימליות: צריך להעניק למשתמש במסד הנתונים את ההרשאות הבאות:

    הרשאות בסיסיות (נדרשות לכל ההגדרות):

    GRANT SELECT_CATALOG_ROLE TO USER_NAME;
GRANT CREATE SESSION TO USER_NAME;
GRANT SELECT ON SYS.COL$ TO USER_NAME;

    הרשאות גישה לסכימה ספציפית (Oracle גרסה 23 ואילך):

    GRANT SELECT ANY TABLE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT EXECUTE ANY PROCEDURE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT EXECUTE ANY TYPE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT ALTER ANY TRIGGER ON SCHEMA TARGET_SCHEMA TO USER_NAME;

    הרשאות גישה לכל הסכימות האחרות:

    GRANT SELECT ANY TABLE TO USER_NAME;
GRANT EXECUTE ANY PROCEDURE TO USER_NAME;
GRANT EXECUTE ANY TYPE TO USER_NAME;
GRANT ALTER ANY TRIGGER TO USER_NAME;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫USER_NAME: משתמש מסד הנתונים שרוצים להגדיר.
    • ‫TARGET_SCHEMA: השם של סכמת Oracle שרוצים לגשת אליה.

דרישות מוקדמות בנושא רשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, צריך חיבור לרשת דרך Private Service Connect כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם מתחברים לסביבה מקומית או למופע שמתארח בענן באמצעות כתובת IP ציבורית, לא נדרש מחבר רשת.

הגדרת מחבר Oracle

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים.

  3. לוחצים על הוספת חיבור.

  4. ברשימה Connectors (מחברים), בוחרים בכרטיס Oracle.

  5. בקטע פרטים של מקור הנתונים, מזינים את פרטי החיבור למופע Oracle:

    • בקטע Network attachment (מחבר רשת), בוחרים מחבר רשת קיים אם נדרש, או יוצרים מחבר רשת.
    • מזינים את המארח, היציאה, שם מסד הנתונים, סוג החיבור, שם המשתמש והסיסמה.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן. מידע נוסף זמין במאמר בנושא הגדרת TLS.
    • בקטע Oracle metadata objects to import (אובייקטים של מטא-נתונים של Oracle לייבוא), לוחצים על Browse (עיון) כדי לבחור אובייקטים.

  6. בקטע הגדרות היעד:

    • לוחצים על עיון ובוחרים קבוצה קיימת של רשומות ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על יצירה של קבוצה חדשה של רשומות.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מומלץ להגדיר הרשאות כך שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא הענקתם את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) של שירות העברת הנתונים ל-BigQuery ברמת הפרויקט, אתם צריכים להעניק אותם ברמת קבוצת הרשומות.

  7. בקטע Connector config name (שם הגדרת המחבר), בשדה Display name (שם מוצג), מזינים שם למשימת ייבוא המטא-נתונים.

  8. בקטע Schedule options (אפשרויות תזמון), מגדירים את התדירות של משימת ייבוא המטא-נתונים. אם בוחרים באפשרות על פי דרישה, העבודה מופעלת רק כשמפעילים אותה באופן ידני.

  9. אופציונלי: בקטע אפשרויות התראה, מגדירים התראות באימייל או ב-Pub/Sub על כשלים בעבודות.

  10. אופציונלי: בקטע אפשרויות מתקדמות, מגדירים את הגדרות ההצפנה. אם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), חשוב לדעת שהמפתח משמש להצפנת נתונים זמניים שמוכנים לפני התחלת עבודות הייבוא של המטא-נתונים של Knowledge Catalog. היא לא משמשת להצפנה של המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.

  11. לוחצים על Save.

אחרי שיוצרים את העבודה, Knowledge Catalog מתזמן את ההרצה הראשונה בהתאם להגדרות, או שאפשר להתחיל אותה באופן ידני.

המאמרים הבאים