מידע על ייבוא וייצוא של מילונים וקישורים לרשומות

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לייבא ולייצא בכמות גדולה מילוני מונחים ארגוניים וקישורים לרשומות, כדי לנהל את אוצר המילים של הארגון בקנה מידה נרחב. ככל שהקטלוג גדל, פעולות בכמות גדולה עוזרות לעדכן את התנאים ואת הקשרים ביניהם בלי לנהל אותם בנפרד במסוף Google Cloud .

הסברים על המונחים

מילון המונחים הארגוני של Knowledge Catalog מאפשר לכם להגדיר אוצר מילים עסקי משותף ולשייך את המונחים האלה לנכסי נתונים פיזיים. לפני שמתחילים לעבוד עם כלי הייבוא והייצוא, כדאי להכיר את הרכיבים העיקריים הבאים:

  • משאבי מילון מונחים: מורכבים מקטגוריות ומונחים שיוצרים את אוצר המילים של העסק.

  • קישורי כניסה: הקשרים או האסוציאציות בין משאבים, למשל בין מונחים במילון מונחים לבין נכסי נתונים. ב-Knowledge Catalog יש תמיכה בשלושה סוגים של קישורים לרשומות:

    • ‫definition: משייך מונח במילון המונחים לנכס נתונים ספציפי (לדוגמה, עמודה ב-BigQuery)
    • ‫related: קובעת קשר בין שני מונחים קשורים במילון המונחים
    • ‫synonym: יוצר קשר בין שני מונחים נרדפים במילון המונחים

שיטות לייבוא ולייצוא של מונחונים וקישורים לערכים

Knowledge Catalog תומך בשתי שיטות עיקריות לניהול מונחים במילון מונחים בכמות גדולה. בוחרים את השיטה שהכי מתאימה לצרכים שלכם מבחינת אוטומציה ולממשק שאתם מעדיפים:

  • ייבוא מטא-נתונים מבוסס JSON
  • כלי ייבוא וייצוא מבוססי Google Sheets

ייבוא מטא-נתונים מבוססי-JSON

זהו מנגנון מובנה ומנוהל במלואו של Knowledge Catalog. אתם יכולים להשתמש ב-Dataplex API כדי לייבא מונחים ממילון המונחים והשיוכים שלהם, שמוגדרים בקובצי מטא-נתונים בפורמט JSON.

תרחיש שימוש לדוגמה: עדכון אוטומטי של המטא-נתונים של Knowledge Catalog כחלק מ-פייפליין נתונים מתוזמן יומי – למשל, סנכרון מונחים ישירות ממסד נתונים חיצוני של הארגון.

מידע נוסף זמין במאמר ייבוא מילונים וקישורים לערכים באמצעות קובצי JSON.

כלי עזר מבוססי-Google Sheets לייבוא וייצוא

זו גישה מבוססת-סקריפט בקוד פתוח שמופיעה במאגר dataplex-labs. הוא משתמש בסקריפט של Python כדי לסנכרן מטא-נתונים של מילון מונחים בין גיליון אלקטרוני ב-Google Sheets לבין Knowledge Catalog.

תרחיש לדוגמה: צוות פיקוח על נתונים רוצה לנסח ולבדוק בשיתוף פעולה עשרות מונחים עסקיים חדשים עם בעלי עניין עסקיים לא טכניים. הצוות משתמש בשיטה הזו שמבוססת על גיליון אלקטרוני כדי שכולם יוכלו לערוך את המונחים, להגיב עליהם ולאשר אותם ב-Google Sheets לפני שהאדמין מריץ את הסקריפט כדי להעלות אותם בכמות גדולה ל-Knowledge Catalog.

מידע נוסף זמין במאמרים הבאים:

תרחיש שימוש נפוץ: עריכה דו-כיוונית באמצעות Google Sheets

תהליך עבודה נפוץ לאדמינים הוא לבצע עריכה הלוך ושוב. כדי לעשות את זה, צריך לייצא את הגדרת הקטלוג הקיימת, לבצע שינויים בכמות גדולה ולהחיל את השינויים האלה בחזרה על Knowledge Catalog.

בתרשים הבא מוצג תהליך העבודה לביצוע הפעולה הזו:

  1. מייצאים מטא-נתונים קיימים מ-Knowledge Catalog ל-Google Sheets.

    משתמשים בכלי השירות ייצוא מילון המונחים וייצוא קישורי הרשומות כדי לחלץ את המבנה הקיים של מילון המונחים ואת קישורי הרשומות לגיליון אלקטרוני ב-Google Sheets.

  2. משנים את המטא-נתונים ב-Google Sheets.

    מבצעים את השינויים הנדרשים בגיליון האלקטרוני ב-Google Sheets. קישורים סימטריים (כמו קישורי כניסה synonym ו-related) מפושטים לכיוון אחד במהלך הייצוא כדי למנוע שורות כפולות, ולכן צריך לנהל אותם רק פעם אחת.

    אפשר להוסיף שורות חדשות לגיליון המתאים לפי סכימת העמודות הנדרשת. אפשר גם לשנות פרטים כמו תיאורים או שמות לתצוגה ישירות בשורות.

  3. להכין את השינויים ולייבא אותם מ-Google Sheets בחזרה אל Knowledge Catalog.

    קודם מריצים את כלי השירות glossary import. כך תוכלו לוודא שכל המונחים או הקטגוריות החדשים נוצרו בהצלחה במילון המונחים העסקי לפני שתנסו לקשר אותם.

    מריצים את כלי השירות ייבוא קישורים לרשומות. הכלי הזה קורא את השיוכים המעודכנים, מעביר אותם לקטגוריה של Cloud Storage ומחיל את הקישורים definition,‏ related ו-synonym על מילוי המונחים המעודכן.

המאמרים הבאים