ייבוא מטא-נתונים מ-PostgreSQL

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לייבא מטא-נתונים ממסדי נתונים של PostgreSQL באמצעות מחבר מנוהל. לאחר מכן תוכלו לחפש, לגלות ולנהל את נכסי מסד הנתונים האלה בקטלוג מאוחד, ולאחזר את ההקשר של המשאבים לעומסי עבודה של מודל שפה גדול (LLM).

המחבר הזה תומך במכונות של PostgreSQL שמתארחות באופן מקומי, ב-Cloud SQL או בסביבות ענן אחרות. מידע נוסף על אופן הפעולה של מחברים זמין במאמר מידע על מחברי מטא-נתונים.

לפני שמתחילים

לפני שתוכלו לייבא מטא-נתונים מ-PostgreSQL, תצטרכו לבצע את המשימות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת הנתונים ל-BigQuery.
  3. עומדים בדרישות המוקדמות של PostgreSQL.
  4. לעמוד בדרישות המוקדמות של הרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל עבודת מחבר של Knowledge Catalog, צריך תפקידים בניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת נתונים ל-BigQuery.

כדי לקבל את ההרשאות שנדרשות להגדרת מחבר PostgreSQL, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

בנוסף, צריך לתת לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר להקצות את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על הקצאת תפקידים מופיע במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת הנתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות ל-PostgreSQL

מוודאים שאתם עומדים בדרישות המוקדמות להעברות מ-PostgreSQL. פרטים נוספים זמינים במאמר דרישות מוקדמות ל-PostgreSQL במסמכי התיעוד של שירות העברת הנתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת הנתונים ל-BigQuery, מסד הנתונים של PostgreSQL צריך לעמוד בדרישות הבאות לחילוץ מטא-נתונים:

  • גרסה מינימלית: PostgreSQL גרסה 15 ואילך.
  • הרשאות מינימליות נדרשות: כדי שהכלי לחילוץ יאסוף מטא-נתונים בהצלחה, נדרשות הרשאות ספציפיות.

כדי להעניק את ההרשאות האלה, מריצים את הצהרות ה-SQL הבאות:

  1. נותנים הרשאת חיבור למסד הנתונים:

    GRANT CONNECT ON DATABASE DATABASE_NAME TO USERNAME;

  2. הענקת הרשאה לשימוש בסכימה:

    GRANT USAGE ON SCHEMA SCHEMA_NAME TO USERNAME;

  3. מקצים למשתמש את תפקידי הקריאה הנדרשים:

    GRANT pg_read_all_data TO USERNAME;
GRANT pg_read_all_settings TO USERNAME;
GRANT pg_read_all_stats TO USERNAME;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DATABASE_NAME: השם של מסד הנתונים של PostgreSQL שרוצים לגשת אליו.
  • ‫USERNAME: משתמש מסד הנתונים שרוצים להגדיר.
  • ‫SCHEMA_NAME: שם הסכימה שרוצים לגשת אליה.

דרישות סף לרשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, נדרש מחבר רשת דרך Private Service Connect כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם אתם מתחברים לסביבה מקומית או למכונה שמתארחת בענן באמצעות כתובת IP ציבורית, אתם לא צריכים מחבר רשת.

הגדרת מחבר PostgreSQL

מגדירים מחבר PostgreSQL באמצעות Google Cloud המסוף או ה-API.

המסוף

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  1. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים.
  2. לוחצים על הוספת חיבור.
  3. ברשימה מחברים, בוחרים בכרטיס PostgreSQL.
  4. בקטע Data source details, מזינים את פרטי החיבור למכונה של PostgreSQL:
    • בקטע Network attachment (צירוף לרשת), בוחרים צירוף לרשת קיים אם צריך, או יוצרים צירוף לרשת.
    • מזינים את הפרטים הבאים: Host,‏ Port,‏ Database name,‏ Username ו-Password.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן.
    • בשדה PostgreSQL metadata objects to import, לוחצים על Browse כדי לבחור אובייקטים.
  5. בקטע הגדרות היעד:
    • לוחצים על Browse ובוחרים קבוצת רשומות קיימת ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על Create new entry group.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מומלץ להגדיר הרשאות כך שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא נתתם את התפקיד "מייבא קבוצות של רשומות ב-Dataplex"‏ (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) ברמת הפרויקט, אתם צריכים לתת אותם ברמת קבוצת הרשומות.
  6. בקטע Connector config name, בשדה השם המוצג, מזינים שם למשימת ייבוא המטא-נתונים.
  7. בקטע Schedule options (אפשרויות תזמון), מגדירים את התדירות של משימת ייבוא המטא-נתונים. אם בוחרים באפשרות על פי דרישה, העבודה מופעלת רק כשמפעילים אותה באופן ידני.
  8. אופציונלי: בקטע אפשרויות התראה, מגדירים התראות באימייל או ב-Pub/Sub על כשלים בעבודות.
  9. אופציונלי: בקטע Advanced options מגדירים את ההצפנה. אם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), חשוב לדעת שהמפתח משמש להצפנת נתונים זמניים שמועברים לפני התחלת העבודות של ייבוא המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.
  10. לוחצים על Save.

REST

משתמשים ב-method‏ projects.locations.transferConfigs.create. במשאב TransferConfig, מגדירים את השדות הבאים:

  • מגדירים את השדה dataSourceId לערך "postgresql".
  • בשדה metadataDestination, מאכלסים את האובייקט dataplexConfiguration בנתיב המשאב של קבוצת הרשומות ב-Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

אחרי שיוצרים את העבודה, Knowledge Catalog מתזמן את ההרצה הראשונה בהתאם להגדרות, או שאפשר להתחיל אותה באופן ידני.

חיפוש וצפייה במטא-נתונים של PostgreSQL

  1. נכנסים לדף Search בKnowledge Catalog במסוף Google Cloud .

    לחיפוש Google

  2. בחלונית Filters, אפשר לסנן נכסי PostgreSQL באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע System, בוחרים באפשרות Imported Context. כשבוחרים במסנן הזה, נפתח קטע המשנה Managed Connectors (מחברים מנוהלים). בוחרים באפשרות PostgreSQL כדי לסנן את כל המטא-נתונים של PostgreSQL.

  3. אתם יכולים להשתמש בשדה החיפוש כדי לבצע שאילתות חיפוש. אפשר לחפש לפי מילת מפתח או בשפה טבעית. לדוגמה, כדי לראות את כל הטבלאות של PostgreSQL באמצעות חיפוש מילות מפתח, מזינים system=POSTGRESQL AND type=TABLE.

    מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. במאמר תחביר החיפוש של Knowledge Catalog מוסבר על הביטויים שאפשר להשתמש בהם בשדה החיפוש.

  4. אפשר גם להשתמש ב-API של LookupContext כדי לאחזר הקשר של LLM למשאבים ספציפיים של PostgreSQL.

המאמרים הבאים