ייבוא מטא-נתונים מ-Oracle

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

במאמר הזה מוסבר איך לייבא מטא-נתונים מ-Oracle אל Knowledge Catalog (לשעבר Dataplex Universal Catalog) באמצעות מחבר של Knowledge Catalog.

המחבר הזה תומך במופעי Oracle שמתארחים באופן מקומי, ב-Google Cloudאו בסביבות ענן אחרות.

לפני שתוכלו לייבא מטא-נתונים מ-Oracle, תצטרכו לבצע את המשימות הבאות:

1. נותנים את התפקידים וההרשאות הנדרשים.
2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.
3. עמידה בדרישות המוקדמות של Oracle.
4. עמידה בדרישות המוקדמות בנושא רשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל עבודת מחבר של Knowledge Catalog, אתם צריכים תפקידים בממשק של ניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ול-BigQuery Data Transfer Service.

כדי לקבל את ההרשאות שנדרשות להגדרת מחבר Oracle, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• כדי ליצור ולנהל קבוצות של רשומות: אדמין של Dataplex Catalog (roles/dataplex.catalogAdmin), עורך של Dataplex Catalog (roles/dataplex.catalogEditor) או בעלים של קבוצת רשומות ב-Dataplex (roles/dataplex.entryGroupOwner) בפרויקט.
• כדי ליצור משימות העברה בשירות העברת נתונים ל-BigQuery ולנהל אותן: BigQuery Admin (roles/bigquery.admin) בפרויקט.
• כדי לצפות ביומנים ב-Cloud Logging: מציג היומנים (roles/logging.viewer) בפרויקט.

בנוסף, צריך להעניק לסוכן השירות של שירות העברת נתונים ל-BigQuery‏ ([e-mail]) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר לתת את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על מתן תפקידים זמין במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות של Oracle

מוודאים שאתם עומדים בדרישות הסף להעברות של Oracle. פרטים נוספים זמינים במאמר בנושא דרישות מוקדמות ל-Oracle במסמכי העזרה של שירות העברת נתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת נתונים ל-BigQuery, מופע Oracle צריך לעמוד בדרישות הבאות:

• גרסה מינימלית: נדרשת גרסה 12 של Oracle ואילך כדי לתמוך במאפייני מטא-נתונים של מסד נתונים, כמו type ו-parentContainer.

• הרשאות מינימליות: צריך להעניק למשתמש במסד הנתונים את ההרשאות הבאות:

  הרשאות בסיסיות (נדרשות לכל ההגדרות):

  GRANT SELECT_CATALOG_ROLE TO USER_NAME;
  GRANT CREATE SESSION TO USER_NAME;
  GRANT SELECT ON SYS.COL$ TO USER_NAME;
  

  הרשאות גישה לסכימה ספציפית (Oracle גרסה 23 ואילך):

  GRANT SELECT ANY TABLE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
  GRANT EXECUTE ANY PROCEDURE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
  GRANT EXECUTE ANY TYPE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
  GRANT ALTER ANY TRIGGER ON SCHEMA TARGET_SCHEMA TO USER_NAME;
  

  הרשאות גישה לכל הסכימות האחרות:

  GRANT SELECT ANY TABLE TO USER_NAME;
  GRANT EXECUTE ANY PROCEDURE TO USER_NAME;
  GRANT EXECUTE ANY TYPE TO USER_NAME;
  GRANT ALTER ANY TRIGGER TO USER_NAME;
  

  מחליפים את מה שכתוב בשדות הבאים:

  • ‫USER_NAME: משתמש מסד הנתונים שרוצים להגדיר.
  • ‫TARGET_SCHEMA: השם של סכמת Oracle שרוצים לגשת אליה.

דרישות מוקדמות בנושא רשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, צריך חיבור לרשת דרך Private Service Connect כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם מתחברים לסביבה מקומית או למופע שמתארח בענן באמצעות כתובת IP ציבורית, לא נדרש מחבר רשת.

הגדרת מחבר Oracle

מגדירים מחבר Oracle באמצעות מסוף Google Cloud או ה-API.

המסוף

1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

   מעבר אל Knowledge Catalog

2. בתפריט הניווט, בקטע Manage (ניהול), לוחצים על Connectors (מחברים).

3. לוחצים על הוספת חיבור.

4. ברשימה Connectors (מחברים), בוחרים בכרטיס Oracle.

5. בקטע פרטים של מקור הנתונים, מזינים את פרטי החיבור למופע Oracle:

   • בקטע Network attachment (צירוף לרשת), בוחרים צירוף לרשת קיים אם צריך, או יוצרים צירוף לרשת.
   • מזינים את המארח, היציאה, שם מסד הנתונים, סוג החיבור, שם המשתמש והסיסמה.
   • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן. מידע נוסף זמין במאמר בנושא הגדרת TLS.
   • בקטע Oracle metadata objects to import (אובייקטים של מטא-נתונים של Oracle לייבוא), לוחצים על Browse (עיון) כדי לבחור אובייקטים.

6. בקטע הגדרות היעד:

   • לוחצים על עיון ובוחרים קבוצה קיימת של רשומות ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על יצירה של קבוצה חדשה של רשומות.
   • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מומלץ להגדיר הרשאות כך שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא הענקתם את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות ([e-mail]) של שירות העברת הנתונים ל-BigQuery ברמת הפרויקט, אתם צריכים להעניק אותם ברמת קבוצת הרשומות.

7. בקטע Connector config name (שם הגדרת המחבר), בשדה Display name (שם מוצג), מזינים שם למשימת ייבוא המטא-נתונים.

8. בקטע Schedule options, מגדירים את התדירות של משימת ייבוא המטא-נתונים. אם בוחרים באפשרות על פי דרישה, העבודה מופעלת רק כשמפעילים אותה באופן ידני.

9. אופציונלי: בקטע אפשרויות התראה, מגדירים התראות באימייל או ב-Pub/Sub על כשלים בעבודות.

10. אופציונלי: בקטע Advanced options, מגדירים את הגדרות ההצפנה. אם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), חשוב לדעת שהמפתח משמש להצפנת נתונים זמניים שמועברים לפני התחלת עבודות הייבוא של המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות ביעד Knowledge Catalog.

11. לוחצים על Save.

REST

משתמשים בשיטה projects.locations.transferConfigs.create. במשאב TransferConfig, מגדירים את השדות הבאים:

• מגדירים את השדה dataSourceId לערך "oracle".
• בשדה metadataDestination, מאכלסים את אובייקט dataplexConfiguration בנתיב המשאב של קבוצת הרשומות של Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

אחרי שיוצרים את העבודה, Knowledge Catalog מתזמן את ההרצה הראשונה בהתאם להגדרות, או שאפשר להתחיל אותה באופן ידני.

חיפוש מטא-נתונים של Oracle וצפייה בהם

1. נכנסים לדף Search בKnowledge Catalog במסוף Google Cloud .

   מעבר אל חיפוש

2. בחלונית Filters, אפשר לסנן נכסי Oracle באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע מערכת, בוחרים באפשרות הקשר מיובא. בחירה במסנן הזה תפתח את קטע המשנה Managed Connectors (מחברים מנוהלים). בוחרים באפשרות Oracle כדי לסנן את כל המטא-נתונים של Oracle.

3. אפשר להשתמש בשדה החיפוש כדי להריץ שאילתות חיפוש. אפשר לבצע חיפוש לפי מילות מפתח או חיפוש בשפה טבעית. לדוגמה, כדי להציג את כל טבלאות Oracle באמצעות חיפוש מילות מפתח, מזינים system=ORACLE AND type=TABLE.

   מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש מופיע במאמר תחביר החיפוש ב-Knowledge Catalog.

4. אפשר גם להשתמש ב-API‏ LookupContext כדי לאחזר הקשר של LLM למשאבי Oracle ספציפיים.

המאמרים הבאים

• איך מנהלים את עבודות המחבר