ייבוא מטא-נתונים מ-MySQL

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשר לכם לחלץ ולייבא מטא-נתונים ממסדי נתונים של MySQL לקבוצת רשומות באמצעות מחבר מנוהל. לאחר מכן תוכלו לחפש, לראות ולנהל את נכסי MySQL לצד הנתונים האחרים שמופיעים בקטלוג, או לאחזר הקשר למודלים גדולים של שפה (LLM). המחבר הזה תומך במכונות MySQL שמתארחות באופן מקומי, ב-Cloud SQL או בסביבות ענן אחרות. מידע נוסף על מחברים של מטא-נתונים

לפני שמתחילים

לפני שאתם מייבאים מטא-נתונים מ-MySQL, אתם צריכים לבצע את הפעולות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת הנתונים ל-BigQuery.
  3. עומדים בדרישות המוקדמות של MySQL.
  4. לעמוד בדרישות המוקדמות של הרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל משימת קישור ל-Knowledge Catalog, צריך תפקידים בממשק לניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת הנתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר MySQL, צריך לבקש מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

בנוסף, צריך לתת לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר לתת את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על הקצאת תפקידים מופיע במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות ל-MySQL

חשוב לוודא שאתם עומדים בדרישות הסף להעברות של MySQL. לפרטים, קראו את המאמר דרישות מוקדמות ל-MySQL במסמכי התיעוד של שירות העברת הנתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת הנתונים ל-BigQuery, מסד הנתונים של MySQL צריך לעמוד בדרישות הבאות לחילוץ מטא-נתונים:

  • גרסה מינימלית: MySQL מגרסה 8.0 ואילך.
  • הרשאות מינימליות נדרשות: כלי החילוץ דורש הרשאות ספציפיות כדי לשלוח שאילתות ל-INFORMATION_SCHEMA ולאסוף מטא-נתונים.

ההרשאות האלה מבטיחות את הכיסוי של המטא-נתונים הבאים:

  • פרטי המכונה ומסד הנתונים: שם המארח, היציאה, הגרסה והגדרות הסכימה.
  • טבלאות ועמודות: מבנה ליבה, סוגי נתונים ומטא-נתונים תפעוליים, כמו גדלים ומספר השורות.
  • אינדקסים ומחיצות: אינדקסים משניים, שיטות חלוקה למחיצות וביטויים.
  • תצוגות: מבנים והגדרות של טבלאות וירטואליות.
  • שגרות: פרוצדורות מאוחסנות, פונקציות והפרמטרים שלהן.
  • אילוצים: אילוצים מפורטים של מפתח ראשי, מפתח זר, ייחודיות ובדיקה.
  • טריגרים: הגדרות של טריגרים ותזמון אירועים.

כדי לתת את ההרשאות האלה, מריצים את הסקריפטים הבאים של SQL.

  1. יוצרים את המשתמש:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. לתת גישה למטא-נתונים. אתם יכולים לתת גישה למסד נתונים יחיד או לכל מסדי הנתונים במכונה.

    כדי לתת גישה למסד נתונים או לסכימה יחידים:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    לחלופין, כדי להעניק גישה לכל מסדי הנתונים במופע:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. מאפשרים לכלי החילוץ להציג את כל מסדי הנתונים הזמינים במכונה:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. מחילים את השינויים:

    FLUSH PRIVILEGES;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫USERNAME: המשתמש במסד הנתונים שרוצים להגדיר.
  • ‫PASSWORD: הסיסמה של משתמש מסד הנתונים.
  • ‫DATABASE_NAME: השם של מסד הנתונים ב-MySQL שרוצים לגשת אליו.

דרישות מוקדמות לרשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, נדרש מחבר רשת לחיבור דרך Private Service Connect, כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם מתחברים לסביבה מקומית או למופע שמתארח בענן באמצעות כתובת IP ציבורית, לא נדרש מחבר רשת.

הגדרת מחבר MySQL

מגדירים מחבר MySQL באמצעות מסוף Google Cloud או ה-API.

המסוף

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע Manage (ניהול), לוחצים על Connectors (מחברים).

  3. לוחצים על הוספת חיבור.

  4. ברשימה Connectors, בוחרים בכרטיס MySQL.

  5. בקטע Data source details, מזינים את פרטי החיבור למכונה של MySQL:

    • בקטע Network attachment (צירוף לרשת), בוחרים צירוף לרשת קיים אם צריך, או יוצרים צירוף לרשת.
    • מזינים את הפרטים הבאים: Host,‏ Port,‏ Database name,‏ Username ו-Password.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן.
    • בשדה MySQL metadata objects to import, לוחצים על Browse כדי לבחור אובייקטים.

  6. בקטע הגדרות היעד:

    • לוחצים על Browse ובוחרים קבוצת רשומות קיימת ב-Knowledge Catalog כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על Create new entry group.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מגדירים הרשאות כדי שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא נתתם את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות של שירות העברת הנתונים ל-BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) ברמת הפרויקט, אתם צריכים לתת אותם ברמת קבוצת הרשומות.

  7. בקטע Connector config name, בשדה השם המוצג, מזינים שם למשימת ייבוא המטא-נתונים.

  8. בקטע Schedule options, מגדירים את התדירות של משימת הייבוא של המטא-נתונים. אם בוחרים באפשרות על פי דרישה, העבודה מופעלת רק כשמפעילים אותה באופן ידני.

  9. אופציונלי: בקטע Notification options, מגדירים התראות באימייל או ב-Pub/Sub על כשלים במשימות.

  10. אופציונלי: בקטע Advanced options, מגדירים את הגדרות ההצפנה. אם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), חשוב לדעת שהמפתח משמש להצפנת נתונים זמניים שמועברים לפני התחלת העבודות של ייבוא המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות של Knowledge Catalog ביעד.

  11. לוחצים על Save.

REST

משתמשים ב-method‏ projects.locations.transferConfigs.create. במשאב TransferConfig, מגדירים את השדות הבאים:

  • מגדירים את השדה dataSourceId לערך "mysql".
  • בשדה metadataDestination, מאכלסים את האובייקט dataplexConfiguration בנתיב המשאב של קבוצת הרשומות ב-Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

אחרי שיוצרים את המשימה, Knowledge Catalog מתזמן את ההרצה הראשונה לפי ההגדרות שלכם, או שאתם יכולים להפעיל אותה ידנית.

חיפוש וצפייה במטא-נתונים של MySQL

  1. במסוף Google Cloud , נכנסים לדף Search ב-Knowledge Catalog.

    מעבר לחיפוש

  2. בחלונית Filters, אפשר לסנן נכסי MySQL באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע System, בוחרים באפשרות Imported Context. כשבוחרים את המסנן הזה, נפתח קטע המשנה מחברים מנוהלים. בוחרים באפשרות MySQL כדי לסנן את כל המטא-נתונים של MySQL.

  3. אתם יכולים להשתמש בשדה החיפוש כדי לבצע שאילתות חיפוש. אפשר לחפש לפי מילת מפתח או בשפה טבעית. לדוגמה, כדי לראות את כל הטבלאות של MySQL באמצעות חיפוש מילות מפתח, מזינים system=MYSQL AND type=TABLE.

    מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. במאמר תחביר החיפוש של Knowledge Catalog מוסבר על הביטויים שאפשר להשתמש בהם בשדה החיפוש.

  4. אפשר גם להשתמש ב-API‏ LookupContext כדי לאחזר הקשר של LLM למשאבים ספציפיים של MySQL.

המאמרים הבאים