ייבוא מטא-נתונים מ-MySQL

באמצעות Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לחלץ ולייבא מטא-נתונים ממסדי נתונים של MySQL לקבוצת רשומות באמצעות מחבר מנוהל. אחרי שהנתונים מקוטלגים, אתם יכולים לחפש, לראות ולנהל את הנכסים של MySQL לצד נתונים אחרים, או לאחזר הקשר למודלים גדולים של שפה (LLM). המחבר הזה תומך במכונות MySQL שמתארחות באופן מקומי, ב-Cloud SQL או בסביבות ענן אחרות. מידע נוסף על מחברי מטא-נתונים

לפני שמתחילים

לפני שאתם מייבאים מטא-נתונים מ-MySQL, אתם צריכים לבצע את הפעולות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את Dataplex API ואת שירות העברת נתונים ל-BigQuery API.
  3. עומדים בדרישות המוקדמות של MySQL.
  4. עומדים בדרישות המוקדמות של הרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל משימת קישור ל-Knowledge Catalog, אתם צריכים תפקידים ב-Identity and Access Management (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת הנתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר MySQL, צריך לבקש מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

בנוסף, צריך לתת לסוכן השירות של שירות העברת הנתונים ל-BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter). אפשר להקצות את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

במאמר ניהול הגישה תוכלו לקרוא מידע נוסף על מתן תפקידים.

הפעלת ממשקי ה-API

מפעילים את Dataplex API ואת שירות העברת נתונים ל-BigQuery API.

הפעלת ממשקי ה-API

דרישות מוקדמות ל-MySQL

מוודאים שאתם עומדים בדרישות המוקדמות להעברות מ-MySQL. לפרטים, קראו את המאמר דרישות מוקדמות ל-MySQL במסמכי התיעוד של שירות העברת הנתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת הנתונים ל-BigQuery, מסד הנתונים של MySQL צריך לעמוד בדרישות הבאות לחילוץ מטא-נתונים:

  • גרסה מינימלית: MySQL בגרסה 8.0 ואילך.
  • הרשאות מינימליות נדרשות: כלי החילוץ דורש הרשאות ספציפיות כדי לשלוח שאילתות ל-INFORMATION_SCHEMA ולאסוף מטא-נתונים.

ההרשאות האלה מבטיחות כיסוי של המטא-נתונים הבאים:

  • פרטי המכונה ומסד הנתונים: שם המארח, היציאה, הגרסה והגדרות הסכימה.
  • טבלאות ועמודות: מבנה ליבה, סוגי נתונים ומטא-נתונים תפעוליים, כמו גדלים ומספרי שורות.
  • אינדקסים ומחיצות: אינדקסים משניים, שיטות חלוקה למחיצות וביטויים.
  • תצוגות: מבנים והגדרות של טבלאות וירטואליות.
  • פרוצדורות: פרוצדורות מאוחסנות, פונקציות והפרמטרים שלהן.
  • אילוצים: אילוצים מפורטים של מפתח ראשי, מפתח זר, ייחודיות ובדיקה.
  • טריגרים: הגדרות הטריגרים ותזמון האירועים.

כדי לתת את ההרשאות האלה, מריצים את הסקריפטים הבאים של SQL.

  1. יוצרים את המשתמש:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. לתת גישה למטא-נתונים. אתם יכולים לתת גישה למסד נתונים יחיד או לכל מסדי הנתונים במכונה.

    כדי לתת גישה למסד נתונים או לסכימה יחידים:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    לחלופין, כדי לתת גישה לכל מסדי הנתונים במכונה:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. מאפשרים לכלי החילוץ להציג את כל מסדי הנתונים הזמינים במכונה:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. מחילים את השינויים:

    FLUSH PRIVILEGES;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫USERNAME: המשתמש במסד הנתונים שרוצים להגדיר.
  • ‫PASSWORD: הסיסמה של המשתמש במסד הנתונים.
  • ‫DATABASE_NAME: השם של מסד הנתונים ב-MySQL שרוצים לגשת אליו.

דרישות מוקדמות לרשת

כדי ששירות העברת הנתונים ל-BigQuery יוכל לגשת למסד הנתונים שלכם, צריך חיבור לרשת באמצעות Private Service Connect כשמתחברים באופן מאובטח למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית.

אם אתם מתחברים לסביבה מקומית או למכונה שמתארחת בענן באמצעות כתובת IP ציבורית, אתם לא צריכים מחבר רשת.

הגדרת מחבר MySQL

מגדירים מחבר MySQL באמצעות מסוף Google Cloud או ה-API.

המסוף

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים.

  3. לוחצים על הוספת חיבור.

  4. ברשימה Connectors, בוחרים בכרטיס MySQL.

  5. בקטע Data source details, מזינים את פרטי החיבור למכונה של MySQL:

    • בשדה Network attachment, בוחרים חיבור רשת קיים או יוצרים חיבור חדש.
    • מזינים את הפרטים הבאים: Host,‏ Port,‏ Database name,‏ Username ו-Password.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן.
    • בשדה MySQL metadata objects to import, לוחצים על Browse כדי לבחור אובייקטים.

  6. בקטע הגדרות היעד:

    • לוחצים על Browse ובוחרים קבוצת רשומות קיימת ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על Create new entry group.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מגדירים הרשאות כדי שהמשתמשים יוכלו לראות את המטא-נתונים שיובאו. אם לא נתתם את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) ברמת הפרויקט, אתם צריכים לתת אותם ברמת קבוצת הרשומות.

  7. בקטע Connector config name, בשדה השם המוצג, מזינים שם למשימת ייבוא המטא-נתונים.

  8. בקטע Schedule options, מגדירים את התדירות של משימת הייבוא של המטא-נתונים. אם בוחרים באפשרות On-demand, המשימה פועלת רק כשמפעילים אותה באופן ידני.

  9. אופציונלי: בקטע Notification options, מגדירים התראות באימייל או ב-Pub/Sub על כשלים במשימות.

  10. אופציונלי: בקטע Advanced options, מגדירים את ההצפנה. אם אתם בוחרים במפתח הצפנה בניהול הלקוח (CMEK), שימו לב שהמפתח משמש להצפנת כל הנתונים הזמניים שנוצרו לפני שהתחילו משימות הייבוא של המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.

  11. לוחצים על Save.

REST

משתמשים ב-method‏ projects.locations.transferConfigs.create. במשאב TransferConfig, מגדירים את השדות הבאים:

  • מגדירים את השדה dataSourceId לערך "mysql".
  • בשדה metadataDestination, מאכלסים את האובייקט dataplexConfiguration בנתיב המשאב של קבוצת הרשומות ב-Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

אחרי שיוצרים את המשימה, Knowledge Catalog מתזמן את ההרצה הראשונה לפי ההגדרות שלכם, או שאתם יכולים להפעיל אותה ידנית.

חיפוש וצפייה במטא-נתונים של MySQL

  1. במסוף Google Cloud , נכנסים לדף Search ב-Knowledge Catalog.

    מעבר לחיפוש

  2. בחלונית Filters, אפשר לסנן נכסי MySQL באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע System, בוחרים באפשרות Imported Context. כשבוחרים את המסנן הזה, נפתח קטע המשנה מחברים מנוהלים. בוחרים באפשרות MySQL כדי לסנן את כל המטא-נתונים של MySQL.

  3. אתם יכולים להשתמש בשדה החיפוש כדי להזין שאילתות חיפוש. אפשר לחפש לפי מילת מפתח או בשפה טבעית. לדוגמה, כדי לראות את כל הטבלאות של MySQL באמצעות חיפוש מילות מפתח, מזינים system=MYSQL AND type=TABLE.

    מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. במאמר תחביר החיפוש של Knowledge Catalog מוסבר אילו ביטויים אפשר להזין בשדה החיפוש.

  4. אפשר גם להשתמש ב-API‏ LookupContext כדי לאחזר הקשר של LLM למשאבי MySQL ספציפיים.

המאמרים הבאים