ייבוא מטא-נתונים מ-SQL Server

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשר לכם לחלץ ולייבא מטא-נתונים ממסדי נתונים של SQL Server באמצעות מחבר מנוהל. לאחר מכן תוכלו לגלות, לחפש ולנהל נכסי SQL Server לצד מקורות נתונים אחרים, ולאחזר הקשר למודלים גדולים של שפה (LLM).

המחבר הזה תומך במופעים של SQL Server שמתארחים באופן מקומי, ב-Cloud SQL או בסביבות ענן אחרות. מידע נוסף על אופן הפעולה של מחברים זמין במאמר מידע על מחברים של מטא-נתונים.

לפני שמתחילים

לפני שתוכלו לייבא מטא-נתונים מ-SQL Server, תצטרכו לבצע את המשימות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.
  3. עומדים בדרישות המוקדמות של SQL Server.
  4. עמידה בדרישות המוקדמות בנוגע לרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל עבודת מחבר של Knowledge Catalog, צריך תפקידים בניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת נתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר SQL Server, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

בנוסף, צריך להעניק לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר לתת את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על מתן תפקידים זמין במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות ל-SQL Server

מוודאים שיש לכם חשבון משתמש במסד הנתונים של Microsoft SQL Server. מידע נוסף זמין במאמר יצירת משתמש עם פרטי כניסה.

המכונה של SQL Server צריכה לעמוד בדרישות הבאות:

  • סביבות נתמכות: המחבר תומך במופעי SQL Server שמארחים בתשתית מקומית, ב-Cloud SQL או בסביבות ענן אחרות.

  • גרסה מינימלית: קטלוג הידע תומך ב-Microsoft SQL Server בגרסה 14 (2017) ומעלה.

  • משתמש במסד הנתונים: צריך לוודא שיש לכם חשבון משתמש במסד הנתונים של Microsoft SQL Server. מידע נוסף זמין במאמר יצירת משתמש עם פרטי כניסה.

  • הרשאות מינימליות: צריך להעניק למשתמש במסד הנתונים את ההרשאות הבאות:

    הרשאות בסיסיות (נדרשות לכל ההגדרות):

    GRANT VIEW DATABASE STATE TO USER_NAME;

    הרשאות גישה לסכימה ספציפית:

    GRANT VIEW DEFINITION ON SCHEMA::TARGET_SCHEMA TO USER_NAME;

    הרשאות גישה לכל הסכימות האחרות:

    GRANT VIEW DEFINITION ON DATABASE::TARGET_DATABASE TO USER_NAME;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫USER_NAME: משתמש מסד הנתונים שרוצים להגדיר.
    • ‫TARGET_SCHEMA: השם של סכמת SQL Server שרוצים לגשת אליה.
    • ‫TARGET_DATABASE: השם של מסד הנתונים של SQL Server שרוצים לגשת אליו.

דרישות מוקדמות בנושא רשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, נדרש מחבר רשת דרך Private Service Connect כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם מתחברים לסביבה מקומית או למופע שמתארח בענן באמצעות כתובת IP ציבורית, לא נדרש מחבר רשת.

הגדרת מחבר SQL Server

מגדירים מחבר SQL Server באמצעות Google Cloud המסוף או ה-API.

המסוף

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע Manage (ניהול), לוחצים על Connectors (מחברים).

  3. לוחצים על הוספת חיבור.

  4. ברשימה Connectors, בוחרים בכרטיס SQL Server.

  5. בקטע פרטים של מקור הנתונים, מזינים את פרטי החיבור למופע של SQL Server:

    • בקטע Network attachment (צירוף לרשת), בוחרים צירוף לרשת קיים אם צריך, או יוצרים צירוף לרשת.
    • מזינים את המארח, היציאה, שם מסד הנתונים, שם המשתמש והסיסמה.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן.
    • בקטע SQL Server metadata objects to import (אובייקטים של מטא-נתונים של SQL Server לייבוא), לוחצים על Browse (עיון) כדי לבחור אובייקטים.

  6. בקטע הגדרות היעד:

    • לוחצים על עיון ובוחרים קבוצה קיימת של רשומות ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על יצירה של קבוצה חדשה של רשומות.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מומלץ להגדיר הרשאות כך שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא הענקתם את התפקיד Dataplex Entry Group Importer (ייבוא קבוצות רשומות ב-Dataplex) ‏(roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות של שירות העברת הנתונים ל-BigQuery ‏(service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) ברמת הפרויקט, אתם צריכים להעניק אותם ברמת קבוצת הרשומות.

  7. בקטע Connector config name (שם הגדרת המחבר), בשדה Display name (שם מוצג), מזינים שם למשימת ייבוא המטא-נתונים.

  8. בקטע Schedule options (אפשרויות תזמון), מגדירים את התדירות של משימת ייבוא המטא-נתונים. אם בוחרים באפשרות על פי דרישה, העבודה מופעלת רק כשמפעילים אותה באופן ידני.

  9. אופציונלי: בקטע אפשרויות התראה, מגדירים התראות באימייל או ב-Pub/Sub על כשלים בעבודות.

  10. אופציונלי: בקטע Advanced options, מגדירים את הגדרות ההצפנה. אם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), חשוב לדעת שהמפתח משמש להצפנת נתונים זמניים שמועברים לפני התחלת העבודות של ייבוא המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.

  11. לוחצים על Save.

REST

משתמשים בשיטה projects.locations.transferConfigs.create. במשאב TransferConfig, מגדירים את השדות הבאים:

  • מגדירים את השדה dataSourceId לערך "sqlserver".
  • בשדה metadataDestination, מאכלסים את האובייקט dataplexConfiguration בנתיב המשאב של קבוצת הרשומות של Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

אחרי שיוצרים את העבודה, Knowledge Catalog מתזמן את ההרצה הראשונה בהתאם להגדרות, או שאפשר להתחיל אותה באופן ידני.

חיפוש והצגה של מטא-נתונים של SQL Server

  1. נכנסים לדף Search בKnowledge Catalog במסוף Google Cloud .

    לחיפוש Google

  2. בחלונית Filters, אפשר לסנן נכסי SQL Server באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע מערכת, בוחרים באפשרות הקשר מיובא. כשבוחרים במסנן הזה, נפתח קטע המשנה Managed Connectors (מחברים מנוהלים). בוחרים באפשרות SQL Server כדי לסנן את כל המטא-נתונים של SQL Server.

  3. אפשר להשתמש בשדה החיפוש כדי להריץ שאילתות חיפוש. אפשר לבצע חיפוש של מילות מפתח או חיפוש בשפה טבעית. לדוגמה, כדי להציג את כל הטבלאות של SQL Server באמצעות חיפוש מילות מפתח, מזינים system=SQLSERVER AND type=TABLE.

    מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש מופיע במאמר תחביר החיפוש ב-Knowledge Catalog.

  4. אפשר גם להשתמש ב-API‏ LookupContext כדי לאחזר הקשר של LLM למשאבי SQL Server ספציפיים.

המאמרים הבאים