ייבוא מילוני מונחים עסקיים מגיליון אלקטרוני ב-Google Sheets

כלי הייבוא של מילון המונחים מאפשר לייבא מילוני מונחים, קטגוריות ומונחים בכמות גדולה מגיליון אלקטרוני ב-Google Sheets אל Knowledge Catalog (לשעבר Dataplex Universal Catalog). אתם יכולים להשתמש בגיליון אלקטרוני כדי לאסוף, לעדכן ולתקנן את אוצר המילים העסקי שלכם בקנה מידה נרחב, לפני שאתם מעלים את השינויים לקטלוג.

לפני שמתחילים

לפני שמייבאים מילוני מונחים, צריך לבצע את הפעולות הבאות.

הגדרת חשבון השירות

כדי להריץ את כלי הייבוא באמצעות גיליון אלקטרוני ב-Google Sheets, צריך להגדיר חשבון שירות עם ההרשאות הנדרשות כדי לגשת ל-Google Sheets API ולהתחזות לפרטי הכניסה של המשתמש:

  1. מאתרים או יוצרים חשבון שירות.

    בוחרים חשבון שירות קיים או יוצרים חשבון שירות חדש בפרויקט שבו מפעילים את כלי הייבוא. למידע נוסף, קראו את המאמר יצירת חשבונות שירות. שימו לב לכתובת האימייל של חשבון השירות (לדוגמה, SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com).

  2. מגדירים התחזות לחשבון שירות.

    כדי להריץ את הסקריפט של כלי הייבוא באופן מקומי, לחשבון המשתמש שלכם צריכה להיות הרשאה להתחזות לחשבון השירות. מקצים לחשבון המשתמש את התפקיד יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator) בחשבון השירות.

    איך מנהלים את הגישה לחשבונות שירות

  3. נותנים לחשבון השירות Editor גישה לגיליון האלקטרוני ב-Google Sheets.

    פותחים את הגיליון האלקטרוני ב-Google Sheets שרוצים להשתמש בו לתהליך הייבוא, לוחצים על שיתוף ומוסיפים את כתובת האימייל של חשבון השירות בתור Editor. ההרשאה הזו מאפשרת לחשבון השירות לקרוא נתונים מהגיליון או לכתוב נתונים בגיליון.

יצירת קטגוריה של Cloud Storage

יוצרים קטגוריה של Cloud Storage שתשמש כאזור ביניים לקובצי הייבוא.

התפקידים הנדרשים

כדי לוודא שלחשבון השירות יש את ההרשאות הנדרשות לייבוא מילוני מונחים מגיליון אלקטרוני ב-Google Sheets, צריך לבקש מהאדמין להקצות לחשבון השירות את תפקידי ה-IAM הבאים:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שהאדמין גם יוכל לתת לחשבון השירות את ההרשאות שנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הפעלת ממשקי ה-API

כדי לייבא מילוני מונחים, צריך להפעיל את ממשקי ה-API הבאים בפרויקט:

התפקידים שנדרשים כדי להפעיל ממשקי API

כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

הפעלת ממשקי ה-API

הגדרת מאגר Git

משכפלים את המאגר של dataplex-labs:

git clone https://github.com/GoogleCloudPlatform/dataplex-labs.git
cd dataplex-labs/dataplex-quickstart-labs/00-resources/scripts/python/business-glossary-import/dataplex-glossary/import

התקנת יחסי תלות

מתקינים את יחסי התלות הנדרשים של Python:

pip3 install -r requirements.txt

אם נתקלתם בבעיות בהתקנת החבילה, הגדירו סביבת פיתוח חדשה ב-Python.

אימות והגדרה של התחזות לחשבון שירות

מפעילים את Google Cloud CLI ומבצעים אימות באמצעות Application Default Credentials ‏ (ADC) עם התחזות לחשבון שירות:

# Set your service account email address
SA_EMAIL="SERVICE_ACCOUNT_EMAIL"

# Authenticate ADC using service account impersonation and required scopes
gcloud auth application-default login \
  --impersonate-service-account="${SA_EMAIL}" \
  --scopes="https://www.googleapis.com/auth/spreadsheets"

מחליפים את SERVICE_ACCOUNT_EMAIL במזהה האימייל של חשבון השירות. לדוגמה:

SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

יצירה והגדרה של הגיליון האלקטרוני ב-Google Sheets לייבוא

כדי להפעיל ייבוא בכמות גדולה, צריך ליצור גיליון אלקטרוני חדש ב-Google Sheets עם סכימת עמודות מדויקת, כדי שכלי הייבוא יוכל לנתח ולאמת את שדות המטא-נתונים. מוודאים שנתתם לחשבון השירות Editor גישה לגיליון האלקטרוני ב-Google Sheets.

השורה הראשונה בגיליון חייבת להכיל את כותרות הסכימה המדויקות הבאות, תוך הקפדה על אותיות רישיות:

שדה חובה או אופציונלי תיאור
id חובה מזהה ייחודי של המונח או הקטגוריה במילון המונחים.
parent אופציונלי המזהה של קטגוריית ההורה. אם הוא ריק, הפריט הוא צאצא ברמת הבסיס של מילון המונחים. חשוב לזכור: מזהה ההורה שאליו מפנים חייב להיות קיים בגיליון ולהשתייך לקטגוריה.
display_name חובה השם המוצג של המונח או הקטגוריה.
description אופציונלי תיאור קצר של המונח או הקטגוריה.
overview אופציונלי תיאור בטקסט עשיר של המונח או הקטגוריה (תומך בתגי HTML).
type חובה סוג השורה. הערכים התקינים הם TERM או CATEGORY.
contact1_email אופציונלי כתובת האימייל של מנהל המידע הראשי של המונח או הקטגוריה.
contact1_name אופציונלי השם של מנהל המידע הראשי של המונח או הקטגוריה.
contact2_email אופציונלי כתובת האימייל של מנהל המידע המשני של המונח או הקטגוריה.
contact2_name אופציונלי השם של מנהל המידע המשני של המונח או הקטגוריה.
label1_key אופציונלי המפתח של התווית הראשונה שהוקצתה.
label1_value אופציונלי הערך של התווית הראשונה שהוקצתה.
label2_key אופציונלי המפתח של התווית השנייה שהוקצתה.
label2_value אופציונלי הערך של התווית השנייה שהוקצתה.

ייבוא מילון מונחים מגיליון אלקטרוני ב-Google Sheets

אחרי שמגדירים את הסביבה ומכינים את הגיליון האלקטרוני ב-Google Sheets, מריצים את הסקריפט glossary_import.py:

python3 bg_import/dataplex-glossary/glossary_import.py

כלי השירות glossary_import מנתח ומאמת נתונים מגיליון אלקטרוני ב-Google Sheets, ממיר אותם לפורמט שתואם ל-CreateMetadataJob API של Knowledge Catalog ומעלה אותם לקטגוריה של Cloud Storage לפני הפעלת משימת הייבוא. כלי הייבוא מדפיס את התוצאה של הפעלת ה-API של CreateMetadataJob ישירות בטרמינל. מוודאים שסטטוס המשימה מציין הצלחה.

אפשר לעיין ביומני הביצוע בספרייה logs/ בנתיב הביצוע המקומי. היומנים האלה עוזרים לכם לבדוק את תהליך ההעברה ולזהות רשומות שדילגתם עליהן או אזהרות לגבי עיצוב.

המאמרים הבאים