ייבוא מטא-נתונים מ-PostgreSQL

במאמר הזה מוסבר איך לייבא מטא-נתונים מ-PostgreSQL אל Knowledge Catalog (לשעבר Dataplex Universal Catalog) באמצעות מחבר של Knowledge Catalog.

המחבר הזה תומך במופעי PostgreSQL שמתארחים בתשתית מקומית, ב-Cloud SQL או בסביבות ענן אחרות.

לפני שמתחילים

כדי לייבא מטא-נתונים מ-PostgreSQL, צריך לבצע את המשימות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.
  3. עומדים בדרישות המוקדמות של PostgreSQL.
  4. עמידה בדרישות המוקדמות בנוגע לרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל משימת מחבר של Knowledge Catalog, צריך תפקידים בממשק לניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת נתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר PostgreSQL, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

בנוסף, צריך להעניק לסוכן השירות של שירות העברת נתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר לתת את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על מתן תפקידים זמין במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות ל-PostgreSQL

חשוב לוודא שאתם עומדים בדרישות הסף להעברות של PostgreSQL. פרטים נוספים זמינים במאמר בנושא דרישות מוקדמות ל-PostgreSQL במסמכי התיעוד של שירות העברת הנתונים ל-BigQuery.

דרישות מוקדמות בנושא רשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, נדרש מחבר רשת דרך Private Service Connect כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם מתחברים לסביבה מקומית או למופע שמתארח בענן באמצעות כתובת IP ציבורית, לא נדרש מחבר רשת.

הגדרת מחבר PostgreSQL

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים.

  3. לוחצים על הוספת חיבור.

  4. ברשימה Connectors, בוחרים בכרטיס PostgreSQL.

  5. בקטע פרטי מקור הנתונים, מזינים את פרטי החיבור למופע PostgreSQL:

    • בקטע Network attachment (מחבר רשת), בוחרים מחבר רשת קיים אם נדרש, או יוצרים מחבר רשת.
    • מזינים את המארח, היציאה, שם מסד הנתונים, שם המשתמש והסיסמה.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן.
    • בקטע PostgreSQL metadata objects to import (אובייקטים של מטא-נתונים של PostgreSQL לייבוא), לוחצים על Browse (עיון) כדי לבחור אובייקטים.

  6. בקטע הגדרות היעד:

    • לוחצים על עיון ובוחרים קבוצה קיימת של רשומות ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על יצירה של קבוצה חדשה של רשומות.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מומלץ להגדיר הרשאות כך שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא הענקתם את התפקיד Dataplex Entry Group Importer (ייבוא קבוצות של רשומות ב-Dataplex) ‏(roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות של שירות העברת הנתונים ל-BigQuery ‏(service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) ברמת הפרויקט, אתם צריכים להעניק אותם ברמת קבוצת הרשומות.

  7. בקטע Connector config name (שם הגדרת המחבר), בשדה Display name (שם מוצג), מזינים שם למשימת ייבוא המטא-נתונים.

  8. בקטע Schedule options (אפשרויות תזמון), מגדירים את התדירות של משימת ייבוא המטא-נתונים. אם בוחרים באפשרות על פי דרישה, העבודה מופעלת רק כשמפעילים אותה באופן ידני.

  9. אופציונלי: בקטע אפשרויות התראה, מגדירים התראות באימייל או ב-Pub/Sub על כשלים בעבודות.

  10. אופציונלי: בקטע אפשרויות מתקדמות, מגדירים את הגדרות ההצפנה. אם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), חשוב לדעת שהמפתח משמש להצפנת נתונים זמניים שמוכנים לפני שמתחילים את עבודות הייבוא של המטא-נתונים של Knowledge Catalog. היא לא משמשת להצפנה של המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.

  11. לוחצים על Save.

אחרי שיוצרים את העבודה, Knowledge Catalog מתזמן את ההרצה הראשונה בהתאם להגדרות, או שאפשר להתחיל אותה באופן ידני.

המאמרים הבאים