ייבוא מטא-נתונים מ-SQL Server

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לחלץ ולייבא מטא-נתונים ממסדי נתונים של SQL Server באמצעות מחבר מנוהל. אחר כך תוכלו לגלות, לחפש ולנהל נכסים של SQL Server לצד מקורות נתונים אחרים, ולאחזר הקשר למודלים גדולים של שפה (LLM).

המחבר הזה תומך במכונות של SQL Server שמתארחות באופן מקומי, ב-Cloud SQL או בסביבות ענן אחרות. למידע נוסף על אופן הפעולה של מחברים, קראו את המאמר מידע על מחברי מטא-נתונים.

לפני שמתחילים

לפני שאתם מייבאים מטא-נתונים מ-SQL Server, אתם צריכים לבצע את המשימות הבאות:

1. נותנים את התפקידים וההרשאות הנדרשים.
2. מפעילים את Dataplex API ואת שירות העברת נתונים ל-BigQuery API.
3. עומדים בדרישות המוקדמות של שרת SQL.
4. עומדים בדרישות המוקדמות של הרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל משימת קישור ל-Knowledge Catalog, אתם צריכים תפקידים ב-Identity and Access Management (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת הנתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר של SQL Server, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

• כדי ליצור ולנהל קבוצות של רשומות: אדמין של Dataplex Catalog (roles/dataplex.catalogAdmin), עריכה של Dataplex Catalog (roles/dataplex.catalogEditor) או בעלים של קבוצת רשומות ב-Dataplex (roles/dataplex.entryGroupOwner) בפרויקט.
• כדי ליצור ולנהל משימות העברה של שירות העברת הנתונים ל-BigQuery: אדמין של BigQuery (roles/bigquery.admin) בפרויקט.
• כדי לצפות ביומנים ב-Cloud Logging: התפקיד צפייה ביומנים (roles/logging.viewer) בפרויקט.

בנוסף, צריך לתת לסוכן השירות של שירות העברת הנתונים ל-BigQuery ([e-mail]) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter). אפשר להקצות את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

במאמר ניהול הגישה תוכלו לקרוא מידע נוסף על מתן תפקידים.

הפעלת ממשקי ה-API

מפעילים את Dataplex API ואת שירות העברת נתונים ל-BigQuery API.

הפעלת ממשקי ה-API

דרישות מוקדמות לשרת SQL

מוודאים שיש לכם חשבון משתמש במסד הנתונים של Microsoft SQL Server. מידע נוסף זמין במאמר יצירת משתמש עם פרטי התחברות.

מכונת SQL Server צריכה לעמוד בדרישות הבאות:

• סביבות נתמכות: המחבר תומך במכונות של SQL Server שמתארחות באופן מקומי, ב-Cloud SQL או בסביבות ענן אחרות.

• גרסה מינימלית: ב-Knowledge Catalog יש תמיכה ב-Microsoft SQL Server מגרסה 14 (2017) ואילך.

• משתמש במסד הנתונים: ודאו שיש לכם חשבון משתמש במסד הנתונים של Microsoft SQL Server. מידע נוסף זמין במאמר יצירת משתמש עם פרטי התחברות.

• הרשאות מינימליות: צריך לתת למשתמש במסד הנתונים את ההרשאות הבאות:

  הרשאות בסיסיות (נדרשות לכל ההגדרות):

  GRANT VIEW DATABASE STATE TO USER_NAME;
  

  הרשאות גישה לסכימה ספציפית:

  GRANT VIEW DEFINITION ON SCHEMA::TARGET_SCHEMA TO USER_NAME;
  

  הרשאות גישה לכל הסכימות האחרות:

  GRANT VIEW DEFINITION ON DATABASE::TARGET_DATABASE TO USER_NAME;
  

  מחליפים את מה שכתוב בשדות הבאים:

  • ‫USER_NAME: המשתמש במסד הנתונים שרוצים להגדיר.
  • ‫TARGET_SCHEMA: השם של הסכימה של SQL Server שרוצים לגשת אליה.
  • ‫TARGET_DATABASE: השם של מסד הנתונים ב-SQL Server שרוצים לגשת אליו.

דרישות מוקדמות לרשת

כדי ששירות העברת הנתונים ל-BigQuery יוכל לגשת למסד הנתונים, צריך מחבר רשת לחיבור דרך Private Service Connect כשמתחברים באופן מאובטח למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית.

אם אתם מתחברים לסביבה מקומית או למכונה שמתארחת בענן באמצעות כתובת IP ציבורית, אתם לא צריכים מחבר רשת.

הגדרת מחבר של SQL Server

מגדירים מחבר של SQL Server באמצעות מסוף Google Cloud או ה-API.

המסוף

1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

   מעבר אל Knowledge Catalog

2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים.

3. לוחצים על הוספת חיבור.

4. ברשימה Connectors, בוחרים בכרטיס SQL Server.

5. בקטע Data source details, מזינים את פרטי החיבור של המכונה של SQL Server:

   • בשדה Network attachment, בוחרים חיבור רשת קיים או יוצרים חיבור חדש.
   • מזינים את הפרטים הבאים: Host,‏ Port,‏ Database name,‏ Username ו-Password.
   • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן.
   • בקטע SQL Server metadata objects to import, לוחצים על Browse כדי לבחור אובייקטים.

6. בקטע הגדרות היעד:

   • לוחצים על Browse ובוחרים קבוצת רשומות קיימת ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על Create new entry group.
   • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מומלץ להגדיר הרשאות כך שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא נתתם את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ ([e-mail]) ברמת הפרויקט, אתם צריכים לתת אותו ברמת קבוצת הרשומות.

7. בקטע Connector config name, בשדה השם המוצג, מזינים שם למשימת ייבוא המטא-נתונים.

8. בקטע Schedule options, מגדירים את התדירות של משימת הייבוא של המטא-נתונים. אם בוחרים באפשרות On-demand, המשימה פועלת רק כשמפעילים אותה באופן ידני.

9. אופציונלי: בקטע Notification options, מגדירים התראות באימייל או ב-Pub/Sub על כשלים במשימות.

10. אופציונלי: בקטע Advanced options, מגדירים את ההצפנה. אם אתם בוחרים במפתח הצפנה בניהול הלקוח (CMEK), שימו לב שהמפתח משמש להצפנת כל הנתונים הזמניים שנוצרו לפני שהתחילו משימות הייבוא של המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.

11. לוחצים על Save.

REST

משתמשים ב-method‏ projects.locations.transferConfigs.create. במשאב TransferConfig, מגדירים את השדות הבאים:

• מגדירים את השדה dataSourceId לערך "sqlserver".
• בשדה metadataDestination, מאכלסים את האובייקט dataplexConfiguration בנתיב המשאב של קבוצת הרשומות ב-Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

אחרי שיוצרים את המשימה, Knowledge Catalog מתזמן את ההרצה הראשונה לפי ההגדרות שלכם, או שאתם יכולים להפעיל אותה ידנית.

חיפוש וצפייה במטא-נתונים של SQL Server

1. במסוף Google Cloud , נכנסים לדף Search ב-Knowledge Catalog.

   מעבר לחיפוש

2. בחלונית Filters, אתם יכולים לסנן את נכסי SQL Server באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע System, בוחרים באפשרות Imported Context. כשבוחרים את המסנן הזה, נפתח קטע המשנה מחברים מנוהלים. בוחרים באפשרות SQL Server כדי לסנן את כל המטא-נתונים של SQL Server.

3. אתם יכולים להשתמש בשדה החיפוש כדי להזין שאילתות חיפוש. אפשר לחפש לפי מילת מפתח או בשפה טבעית. לדוגמה, כדי להציג את כל הטבלאות של SQL Server באמצעות חיפוש של מילת מפתח, מזינים system=SQLSERVER AND type=TABLE.

   מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. במאמר תחביר החיפוש של Knowledge Catalog מוסבר אילו ביטויים אפשר להזין בשדה החיפוש.

4. אפשר גם להשתמש ב-API‏ LookupContext כדי לאחזר הקשר של LLM למשאבים ספציפיים של SQL Server.

המאמרים הבאים

• איך מנהלים משימות של מחברים