ייבוא מטא-נתונים מ-MySQL

במסמך הזה מוסבר איך לייבא מטא-נתונים מ-MySQL אל Knowledge Catalog (לשעבר Dataplex Universal Catalog) באמצעות מחבר של Knowledge Catalog.

המחבר הזה תומך במכונות MySQL שמתארחות בתשתית מקומית, ב-Cloud SQL או בסביבות ענן אחרות.

לפני שתוכלו לייבא מטא-נתונים מ-MySQL, תצטרכו לבצע את המשימות הבאות:

  1. נותנים את התפקידים וההרשאות הנדרשים.
  2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.
  3. עמידה בדרישות המוקדמות של MySQL.
  4. לעמוד בדרישות המוקדמות בנוגע לרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל משימת מחבר של Knowledge Catalog, צריך תפקידים בממשק לניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת נתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר MySQL, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

בנוסף, צריך להעניק לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר לתת את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על מתן תפקידים זמין במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות ל-MySQL

מוודאים שאתם עומדים בדרישות הסף להעברות של MySQL. פרטים נוספים זמינים במאמר בנושא דרישות מוקדמות ל-MySQL במסמכי התיעוד של שירות העברת הנתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת הנתונים ל-BigQuery, מסד הנתונים של MySQL צריך לעמוד בדרישות הבאות לחילוץ מטא-נתונים:

  • גרסה מינימלית: MySQL בגרסה 8.0 ואילך.
  • הרשאות מינימליות נדרשות: כדי להריץ שאילתות בהצלחה ב-INFORMATION_SCHEMA ולאסוף מטא-נתונים, כלי החילוץ דורש הרשאות ספציפיות.

ההרשאות האלה מבטיחות את הכיסוי של המטא-נתונים הבאים:

  • פרטים על המופע ומסד הנתונים: שם המארח, היציאה, הגרסה והגדרות הסכימה.
  • טבלאות ועמודות: המבנה הבסיסי, סוגי הנתונים ומטא-נתונים תפעוליים, כמו גדלים ומספר השורות.
  • אינדקסים ומחיצות: אינדקסים משניים, שיטות חלוקה למחיצות וביטויים.
  • תצוגות: הגדרות ומבנים של טבלאות וירטואליות.
  • שגרות: פרוצדורות מאוחסנות, פונקציות והפרמטרים שלהן.
  • מגבלות: מגבלות מפורטות של מפתח ראשי, מפתח זר, ייחודיות ובדיקה.
  • טריגרים: הגדרות של טריגרים ותזמון של אירועים.

כדי להעניק את ההרשאות האלה, מריצים את סקריפטי ה-SQL הבאים.

  1. יוצרים את המשתמש:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. הענקת גישה למטא-נתונים. אפשר להעניק גישה למסד נתונים יעד יחיד או לכל מסדי הנתונים במופע.

    כדי להעניק גישה למסד נתונים או לסכימה יחידים של יעד:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    לחלופין, כדי להעניק גישה לכל מסדי הנתונים במופע:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. מאפשרים לכלי החילוץ לרשום את כל מסדי הנתונים שזמינים במופע:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. מחילים את השינויים:

    FLUSH PRIVILEGES;

דרישות מוקדמות בנושא רשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, צריך צירוף רשת לחיבור דרך Private Service Connect, כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם מתחברים לסביבה מקומית או למופע שמתארח בענן באמצעות כתובת IP ציבורית, לא נדרש צירוף רשת.

הגדרת מחבר MySQL

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע Manage, לוחצים על Connectors.

  3. לוחצים על הוספת חיבור.

  4. ברשימה Connectors, בוחרים בכרטיס MySQL.

  5. בקטע פרטים של מקור נתונים, מזינים את פרטי החיבור למופע MySQL:

    • בקטע Network attachment (צירוף לרשת), בוחרים צירוף לרשת קיים אם נדרש, או יוצרים צירוף לרשת.
    • מזינים את המארח, היציאה, שם מסד הנתונים, שם המשתמש והסיסמה.
    • אם משתמשים ב-TLS, בוחרים מצב TLS ומספקים אישור PEM מהימן.
    • בקטע MySQL metadata objects to import (אובייקטים של מטא-נתונים של MySQL לייבוא), לוחצים על Browse (עיון) כדי לבחור אובייקטים.

  6. בקטע הגדרות היעד:

    • לוחצים על עיון ובוחרים קבוצה קיימת של רשומות בקטלוג הידע כדי לאחסן את המטא-נתונים המיובאים, או לוחצים על יצירת קבוצה חדשה של רשומות.
    • בוחרים אם להגדיר הרשאות לקבוצת הרשומות עכשיו או מאוחר יותר. מגדירים הרשאות כדי שהמשתמשים יוכלו לראות את המטא-נתונים המיובאים. אם לא הענקתם את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) או את ההרשאה dataplex.entryGroups.import לסוכן השירות (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) של שירות העברת הנתונים ל-BigQuery ברמת הפרויקט, אתם צריכים להעניק אותם ברמת קבוצת הרשומות.

  7. בקטע Connector config name (שם הגדרת המחבר), בשדה Display name (שם מוצג), מזינים שם למשימת ייבוא המטא-נתונים.

  8. בקטע Schedule options (אפשרויות תזמון), מגדירים את התדירות של משימת ייבוא המטא-נתונים. אם בוחרים באפשרות על פי דרישה, העבודה מופעלת רק כשמפעילים אותה באופן ידני.

  9. אופציונלי: בקטע אפשרויות התראה, מגדירים התראות באימייל או ב-Pub/Sub על כשלים בעבודות.

  10. אופציונלי: בקטע אפשרויות מתקדמות, מגדירים את הגדרות ההצפנה. אם בוחרים מפתח הצפנה בניהול הלקוח (CMEK), חשוב לדעת שהמפתח משמש להצפנת נתונים זמניים שמוכנים לפני שמתחילים את עבודות הייבוא של המטא-נתונים של Knowledge Catalog. הוא לא משמש להצפנת המטא-נתונים בקבוצת הרשומות של קטלוג הידע ביעד.

  11. לוחצים על Save.

אחרי שיוצרים את העבודה, Knowledge Catalog מתזמן את ההרצה הראשונה בהתאם להגדרות, או שאפשר להתחיל אותה באופן ידני.

המאמרים הבאים