יצירת הקשר בסיסי של הנתונים באמצעות Knowledge Catalog

כשעובדים עם נתונים, בטח שואלים שאלות כמו "מה המשמעות של שם העמודה הזה?", "מי הבעלים של מערך הנתונים הפגום הזה?" או "האם הטבלה הזו אושרה לשימוש?" תגי מטא-נתונים מנסים לענות על השאלות האלה, אבל הם מתיישנים במהירות או שהם לא עקביים. ‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) פותר את הבעיה הזו בכך שהוא מאפשר לכם לצרף מטא-נתונים מובְנים והגדרות עסקיות ברורות ישירות לנכסי נתונים. הקשר ברור של הנתונים מבסס את סוכני ה-AI ויוצר בסיס של אמון לכל משתמש שמקיים אינטראקציה עם הנתונים.

במדריך הזה נסביר איך ליצור הקשר של נתונים ב-Knowledge Catalog. המדריך הזה מיועד למשתמשים כמו מנהלי מדיניות מידע ארגונית ואנליסטים עסקיים. הוא כולל הוראות מפורטות לשימוש בממשק המשתמש כדי ליצור מונחים עסקיים סטנדרטיים והקשרים לפני שמבצעים אוטומציה של תהליכי העבודה האלה. ההדרכה מבהירה את הקשרים בין מושגים מרכזיים ב-Knowledge Catalog. בסיום, תדעו איך להפוך את הנתונים שלכם לנגישים ומהימנים.

מטרות

במדריך הזה תלמדו איך:

  • יוצרים מקור יחיד של מידע מהימן למונחים עסקיים באמצעות מילון המונחים הארגוני.
  • אפשר להשתמש בסוגי היבטים כדי לארגן את המטא-נתונים.
  • מצרפים מטא-נתונים לנכסי נתונים באמצעות היבטים.
  • אפשר להשתמש בחיפוש ב-Knowledge Catalog כדי למצוא בדיוק את מה שצריך באמצעות המטא-נתונים המובְנים החדשים האלה.

לפני שמתחילים

לפני שמתחילים, צריך לבצע את הפעולות הבאות:

מגדירים את הסביבה

במדריך הזה משתמשים ב-Cloud Shell, סביבה של שורת פקודה שפועלת בענן.

  1. בסרגל הכלים בפינה השמאלית העליונה של Google Cloud המסוף, לוחצים על Activate Cloud Shell. יחלפו כמה רגעים עד שההקצאה והחיבור לסביבת העבודה יושלמו.

  2. ב-Cloud Shell, מגדירים את המשתנים PROJECT_ID ו-LOCATION כך שכל הפקודות העתידיות יופנו לפרויקט הספציפי Google Cloud שלכם.

    export PROJECT_ID=$(gcloud config get-value project)
gcloud config set project $PROJECT_ID
export LOCATION="us-central1"

  3. מפעילים את השירותים הנדרשים. Google Cloud 

    gcloud services enable \
  dataplex.googleapis.com \
  bigquery.googleapis.com

יצירת מערך נתונים ב-BigQuery והכנת נתונים לדוגמה

משתמשים בקוד הבא כדי ליצור מערך נתונים ב-BigQuery ולטעון כמה עסקאות לדוגמה בפורמט CSV לטבלה. אחרי שיוצרים את הטבלה, היא מזוהה על ידי Knowledge Catalog ונוצרת בשבילה רשומה בקטלוג.

אפשר לחשוב על רשומה כייצוג של נכס נתונים ב-Knowledge Catalog. זה כמו רשומה בקטלוג שאפשר לצרף לה מטא-נתונים. במקום להוסיף הקשר לטבלה ב-BigQuery ישירות (או להעשיר אותה), מוסיפים אותו לרשומה שלה ב-Knowledge Catalog.

# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
    --description "Sample retail data for foundational data context tutorial" \
    $PROJECT_ID:retail_data

# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,test@example.com,150.50,2025-08-28
1002,user@example.com,75.00,2025-08-28" > /tmp/transactions.csv

# Load the data from the temporary CSV file into a BigQuery table
bq load \
    --source_format=CSV \
    --autodetect \
    retail_data.transactions \
    /tmp/transactions.csv

# (Optional) Clean up the temporary file
rm /tmp/transactions.csv

מריצים שאילתת SELECT כדי לוודא שההגדרה תקינה:

bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"

פלט לדוגמה:

+----------------+------------------+-------+------------------+
| transaction_id |    user_email    |  gmv  | transaction_date |
+----------------+------------------+-------+------------------+
|           1001 | test@example.com | 150.5 |       2025-08-28 |
|           1002 | user@example.com |  75.0 |       2025-08-28 |
+----------------+------------------+-------+------------------+

יצירת מילון המונחים הארגוני

כדי להבין את ההקשר של הנתונים, צריך הגדרות ברורות. לדוגמה, מפתח לא צריך לנחש אם עמודה בשם gmv מייצגת את ערך המסחר ברוטו או אם היא כוללת מיסים והחזרות. מילון המונחים הארגוני יוצר מקור מידע אמין אחד להגדרות האלה בכל הארגון. כשחברי הצוות או סוכני ה-AI מנתחים את הנתונים, הם מקבלים את ההקשר העסקי המדויק הזה. הגדרות משותפות עוזרות ליישר קו בין המדדים בצוותים שונים, כמו צוותי הכספים, המכירות והתפעול, וגם עוזרות לסוכני AI להימנע מהזיות.

כדי ליצור מילון מונחים ולהגדיר את המונח הראשון:

  1. נכנסים לדף Glossaries ב-Knowledge Catalog במסוף Google Cloud .

    אל מילוני המונחים

  2. לוחצים על יצירת מילון המונחים הארגוני.

  3. מזינים את הפרטים הבאים:

    • שם לתצוגה: Retail Business Glossary
    • מיקום: us-central1 (Iowa)

  4. לוחצים על יצירה.

  5. לוחצים על יצירת קטגוריה.

  6. נותנים שם לקטגוריה Sales Metrics ולוחצים על יצירה.

  7. בוחרים בקטגוריה מדדי מכירות ולוחצים על הוספת מונח.

  8. נותנים למונח את השם Gross Merchandise Value ולוחצים על יצירה.

  9. לוחצים על המונח ערך מסחר ברוטו כדי לפתוח את דף הפרטים שלו.

  10. לצד סקירה כללית, לוחצים על הוספה. מזינים את הפרטים הבאים: The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.

  11. לוחצים על Save.

עכשיו יצרתם מונח במילון שאפשר לקשר לרשומות נתונים בארגון.

הגדרת מטא-נתונים טכניים עם סוג היבט

כשמשתמשים בתגי מטא-נתונים לא מובנים, לרוב מקבלים רשומות לא עקביות בקטלוג. לדוגמה, טבלה אחת יכולה להיות מתויגת בתור owner:bob וטבלה אחרת בתור steward:alice@example.com. כדי לארגן את המטא-נתונים בקנה מידה גדול, צריך סכימה עקבית.

כאן נכנסים לתמונה סוגי ההיבטים. סוג היבט הוא תוכנית אב למטא-נתונים שמאפשרת להגדיר כללים ברורים ושדות חובה. אם דורשים שדות סטנדרטיים כמו כתובות אימייל תקינות של נאמני מידע, סקריפטים במורד הזרם יכולים לאמת ולהגן על המטא-נתונים באופן אוטומטי.

כדי ליצור סוג היבט:

  1. במסוף Google Cloud , עוברים לכרטיסייה Aspect types בקטלוג הידע בדף Metadata types.

    כניסה לדף Aspect types

  2. בכרטיסייה Custom, לוחצים על Create.

  3. מזינים את הפרטים הבאים:

    • שם לתצוגה: Data Asset Context
    • מיקום: us-central1 (Iowa)

  4. בקטע Template, לוחצים על Add field כדי ליצור את שלושת השדות הבאים:

    • שדה 1:

      • שם לתצוגה: Data Steward
      • סוג: Text
      • חובה: מסמנים את תיבת הסימון.
      • סוג הטקסט: Plain text

    • שדה 2 (לוחצים על הוספת שדה):

      • שם לתצוגה: Data Sensitivity
      • Type (סוג): Enum
      • חובה: השאירו את האפשרות 'אופציונלי'.
      • ערכים: מוסיפים Public,‏ Internal וConfidential

    • שדה 3 (לוחצים על הוספת שדה):

      • שם לתצוגה: Last Review Date
      • חובה: השאירו את האפשרות 'אופציונלי'.
      • Type (סוג): Date and time

  5. לוחצים על Save.

עכשיו יש לכם סוג היבט לשדות מטא-נתונים שקשורים לניהול נתונים, כמו מנהל נתונים, רמת רגישות ותאריך בדיקה. בקטע הבא, אתם מצרפים היבט עם ערכים ספציפיים לשדות האלה כדי להחיל את הסכימה הזו על רשומה בטבלה.

העשרת רשומה בהקשר עסקי וטכני

שמות העמודות הם בדרך כלל מקוצרים או לא ברורים. קישור עמודה למונח במילון המונחים הארגוני מספק הגדרה ברורה ועקבית. בשלב הזה, מעשירים את הרשומה של הטבלה retail_data.transactions על ידי קישור המונח Gross Merchandise Value לעמודה בשם gmv וצירוף היבט לרשומה בטבלה באמצעות סוג ההיבט.

כדי להבהיר מהי העמודה gmv ב-retail_data.transactions, מקשרים אותה למונח Gross Merchandise Value.

  1. במסוף Google Cloud , עוברים לדף Search ב-Knowledge Catalog.

    מעבר לחיפוש

  2. לוחצים על Filters (מסננים) כדי לפתוח את החלונית Filters (מסננים).

  3. בקטע היקף, בוחרים באפשרות הפרויקט הנוכחי.

  4. מחפשים את retail_data.transactions ולוחצים על טבלת העסקאות שהוחזרו.

  5. לוחצים על הכרטיסייה סכימה.

  6. מסמנים את התיבה לצד העמודה gmv ולוחצים על הוספת מונח עסקי.

  7. בוחרים באפשרות Gross Merchandise Value.

צירוף היבט לרשומה בטבלה

בנוסף לקישור של מונחים עסקיים לעמודות, אתם יכולים לצרף היבט לרשומה בטבלה כדי לתעד מטא-נתונים ברמת הטבלה, כמו בעלות על נתונים ורגישות.

היבט הוא מופע של סוג היבט, עם ערכים ספציפיים לשדות של מטא-נתונים. כשמצרפים היבט לרשומה, Knowledge Catalog בודק את המידע שסיפקתם מול הסכימה שמוגדרת בסוג ההיבט כדי לוודא שיש עקביות.

כדי להגדיר בעלות ורגישות לטבלה retail_data.transactions, צריך לצרף את ההיבט Data Asset Context:

  1. בכרטיסייה פרטים של דף הכניסה retail_data.transactions, לוחצים על הוספה לצד היבטים אופציונליים.
  2. בוחרים באפשרות Data Asset Context מהרשימה.

  3. מזינים ערכים בשדות:

    • אחראי נתונים: finance-team@example.com
    • רגישות הנתונים: בוחרים באפשרות פנימי.
    • תאריך הבדיקה האחרונה: בוחרים את התאריך של היום.

  4. לוחצים על Save.

העשרת נתוני העסקאות לדוגמה בקמעונאות מאפשרת לכם להגדיר בסיס חזק של הקשר נתונים ב-Knowledge Catalog.

חיפוש רשומות באמצעות מטא-נתונים מועשרים

עכשיו אפשר להשתמש בחיפוש בקטלוג הידע כדי למצוא רשומות על סמך ההקשר העסקי שהגדרתם. לדוגמה, אפשר למצוא את כל הנכסים עם רמת רגישות ספציפית, או לחפש מונח במילון המונחים כדי לגלות את הטבלאות הבסיסיות.

  1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. לוחצים על Filters (מסננים) כדי לפתוח את החלונית Filters (מסננים).

  3. בקטע היקף, בוחרים באפשרות הפרויקט הנוכחי.

  4. בשורת החיפוש, מזינים Find tables where the Data Asset Context aspect has Internal sensitivity.

  5. הטבלה retail_data.transactions אמורה להופיע ברשימת התוצאות.

  6. מנקים את שורת החיפוש ומזינים Find tables with the Gross Merchandise Value term attached.

  7. שוב תופיע הטבלה retail_data.transactions בתוצאות, כי העמודה gmv שלה מקושרת ישירות למונח העסקי הזה.

כשמחברים סוכן AI ל-Knowledge Catalog, הוא מקבל בירושה את המטא-נתונים המועשרים האלה באופן אוטומטי. לדוגמה, כשמבקשים מסוכן AI לאחזר מדדי מכירות פנימיים, הוא קורא את ההיבט 'רגישות הנתונים' (שהגדרתם כ'פנימיים') ואת מונח המילון 'ערך מסחר ברוטו' שמקושר אליו. ההקשר המשותף הזה עוזר לסוכן לאמת את מקורות הנתונים שלו, לפעול בהתאם למדיניות הגישה ולמנוע הזיות.

הסרת המשאבים

כדי להימנע מחיובים, צריך למחוק את המשאבים שיצרתם במדריך הזה.

מחיקת מערך הנתונים לדוגמה

כדי למחוק את מערך הנתונים לדוגמה ב-BigQuery ואת כל הטבלאות שלו, משתמשים בפקודה הבאה. אי אפשר לבטל את הפעולה הזו.

# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)

# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data

מחיקת פריטי מידע ב-Knowledge Catalog

  1. במסוף Google Cloud , עוברים לכרטיסייה Aspect types בקטלוג הידע בדף Metadata types.

    כניסה לדף Aspect types

  2. בוחרים את סוג היחס Data Asset Context ולוחצים על מחיקה.

  3. נכנסים לדף Glossaries ב-Knowledge Catalog במסוף Google Cloud .

    כניסה לדף Glossaries

  4. בוחרים את המונח Gross Merchandise Value ולוחצים על מחיקה.

  5. בוחרים את הקטגוריה Sales Metrics ולוחצים על מחיקה.

  6. בוחרים את Retail Business Glossary ולוחצים על מחיקה.

המאמרים הבאים

מידע נוסף על אוצרות קטלוגים ועל בניית סוכנים באמצעות Knowledge Catalog זמין במקורות המידע הבאים: