מידע על ייבוא וייצוא של מילונים וקישורים לרשומות

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לייבא ולייצא בכמות גדולה מילוני מונחים ארגוניים וקישורים לרשומות, כדי לנהל את אוצר המילים של הארגון בקנה מידה נרחב. ככל שהקטלוג גדל, פעולות בכמות גדולה עוזרות לעדכן את המונחים ואת הקשרים ביניהם בלי לנהל אותם בנפרד במסוף Google Cloud .

הסברים על המונחים

מילון המונחים הארגוני של Knowledge Catalog מאפשר לכם להגדיר אוצר מילים עסקי משותף ולשייך את המונחים האלה לנכסי נתונים פיזיים. לפני שמתחילים לעבוד עם כלי הייבוא והייצוא, כדאי להכיר את הרכיבים העיקריים הבאים:

  • משאבי מילון מונחים: מורכבים מקטגוריות ומונחים שיוצרים את אוצר המילים של העסק.

  • קישורים לרשומות: הקשרים או השיוכים בין משאבים, כמו בין מונחים במילון המונחים לבין נכסי נתונים. ב-Knowledge Catalog יש תמיכה בשלושה סוגים של קישורים לרשומות:

    • ‫definition: משייך מונח במילון המונחים לנכס נתונים ספציפי (לדוגמה, עמודה ב-BigQuery)
    • ‫related: יוצר קשר בין שני מונחים קשורים במילון המונחים
    • ‫synonym: יוצר קשר בין שני מונחים נרדפים במילון המונחים

שיטות לייבוא ולייצוא של מילוני מונחים וקישורים לערכים

ב-Knowledge Catalog יש שתי שיטות עיקריות לניהול מילון מונחים בכמות גדולה. בוחרים את השיטה שהכי מתאימה לצרכים שלכם מבחינת אוטומציה ולממשק שאתם מעדיפים:

  • ייבוא מטא-נתונים מבוססי-JSON
  • כלי עזר מבוססי-Google Sheets לייבוא וייצוא

ייבוא מטא-נתונים מבוססי-JSON

זהו מנגנון Knowledge Catalog המובנה והמנוהל באופן מלא. אתם יכולים להשתמש ב-Dataplex API כדי לייבא מונחים ממילון המונחים והשיוכים שלהם, שמוגדרים בקובצי מטא-נתונים בפורמט JSON.

תרחיש לדוגמה: עדכון אוטומטי של המטא-נתונים של Knowledge Catalog כחלק מפייפליין נתונים מתוזמן יומי – כמו סנכרון מונחים ישירות ממסד נתונים ארגוני חיצוני.

מידע נוסף זמין במאמר ייבוא מילוני מונחים וקישורים לערכים באמצעות קובצי JSON.

כלי עזר מבוססי-Google Sheets לייבוא וייצוא

זו גישה מבוססת-סקריפט בקוד פתוח, שזמינה במאגר dataplex-labs. הוא משתמש בסקריפט של Python כדי לסנכרן מטא-נתונים של מילון מונחים בין גיליון אלקטרוני ב-Google Sheets לבין Knowledge Catalog.

תרחיש לדוגמה: צוות משילות מידע רוצה לנסח ולבדוק עשרות מונחים עסקיים חדשים בשיתוף עם בעלי עניין עסקיים לא טכניים. הצוות משתמש בשיטה הזו שמבוססת על גיליון אלקטרוני כדי שכולם יוכלו לערוך את המונחים, להגיב עליהם ולאשר אותם ב-Google Sheets לפני שהאדמין מריץ את הסקריפט כדי להעלות אותם בכמות גדולה ל-Knowledge Catalog.

מידע נוסף זמין במאמרים הבאים:

תרחיש שימוש נפוץ: עריכה דו-כיוונית באמצעות Google Sheets

תהליך עבודה אדמיניסטרטיבי נפוץ הוא ביצוע עריכה הלוך ושוב. כדי לעשות את זה, צריך לייצא את הגדרת הקטלוג הקיימת, לבצע שינויים בכמות גדולה ולהחיל את השינויים האלה בחזרה על Knowledge Catalog.

תהליך העבודה הבא ממחיש איך לבצע את התהליך הזה:

  1. מייצאים מטא-נתונים קיימים מ-Knowledge Catalog ל-Google Sheets.

    משתמשים בכלי השירות ייצוא מילון המונחים וייצוא קישורי הרשומות כדי לחלץ את המבנה הקיים של מילון המונחים ואת קישורי הרשומות לגיליון אלקטרוני ב-Google Sheets.

  2. משנים את המטא-נתונים ב-Google Sheets.

    מבצעים את השינויים הנדרשים בגיליון האלקטרוני ב-Google Sheets. קישורים סימטריים (כמו קישורי כניסה של synonym ו-related) מפושטים לכיוון אחד במהלך הייצוא כדי למנוע שורות כפולות, ולכן צריך לנהל אותם רק פעם אחת.

    אפשר להוסיף שורות חדשות לגיליון הרלוונטי בהתאם לסכימת העמודות הנדרשת. אפשר גם לשנות פרטים כמו תיאורים או שמות לתצוגה ישירות בשורות.

  3. להכין את השינויים ב-Google Sheets ולייבא אותם בחזרה אל Knowledge Catalog.

    קודם מריצים את הכלי glossary import. כך אפשר לוודא שכל המונחים או הקטגוריות החדשים נוצרים בהצלחה במילון המונחים הארגוני לפני שמנסים לקשר אותם.

    מריצים את כלי השירות ייבוא קישורים לרשומות. הכלי הזה קורא את השיוכים המעודכנים, מעביר אותם לקטגוריה של Cloud Storage ומחיל את הקישורים definition,‏ related ו-synonym על מילוי המונחים המעודכן.

המאמרים הבאים