יצירת הקשר בסיסי של הנתונים באמצעות Knowledge Catalog

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לצרף מטא-נתונים מובְנים והגדרות עסקיות ברורות ישירות לנכסי הנתונים. ההקשר הזה מאפשר למשתמשים למצוא את הנתונים שלכם, בונה אמון אצל המשתמשים ומבסס את סוכני ה-AI.

במדריך הזה, שמיועד למנהלי מדיניות מידע ארגונית ולמנתחי נתונים עסקיים, תבצעו שלבים שמבוססים על ממשק המשתמש כדי ליצור מונחים עסקיים סטנדרטיים והקשר של מטא-נתונים, לפני שתהפכו את תהליכי העבודה האלה לאוטומטיים. בנוסף, תלמדו איך המושגים המרכזיים של Knowledge Catalog פועלים יחד.

מטרות

במדריך הזה תלמדו איך:

  • ליצור מקור אמת יחיד (SSOT) למונחים עסקיים באמצעות מילון המונחים הארגוני.
  • מבנים ומארגנים מטא-נתונים באמצעות סוגי היבטים.
  • צירוף מטא-נתונים לנכסי נתונים באמצעות היבטים.
  • אתם יכולים להשתמש בחיפוש ב-Knowledge Catalog כדי למצוא בדיוק את מה שאתם צריכים באמצעות המטא-נתונים המובְנים החדשים האלה.

לפני שמתחילים

לפני שמתחילים, צריך לבצע את הפעולות הבאות:

מגדירים את הסביבה

במדריך הזה משתמשים ב-Cloud Shell, סביבה של שורת פקודה שפועלת בענן.

  1. במסוף Google Cloud , לוחצים על Activate Cloud Shell בסרגל הכלים שבפינה הימנית העליונה. יחלפו כמה רגעים עד שההקצאה והחיבור לסביבת העבודה יושלמו.

  2. ב-Cloud Shell, מגדירים את המשתנים PROJECT_ID ו-LOCATION כך שכל הפקודות הבאות יטרגטו את הפרויקט הספציפי שלכם ב- Google Cloud .

    export PROJECT_ID=$(gcloud config get-value project)
gcloud config set project $PROJECT_ID
export LOCATION="us-central1"

  3. מפעילים את שירותי Google Cloud הנדרשים.

    gcloud services enable \
  dataplex.googleapis.com \
  bigquery.googleapis.com

יצירת מערך נתונים ב-BigQuery והכנת נתונים לדוגמה

משתמשים בקוד הבא כדי ליצור קבוצת נתונים ב-BigQuery ולטעון כמה טרנזקציות לדוגמה ב-CSV לטבלה. אחרי שיוצרים את הטבלה, היא מזוהה על ידי Knowledge Catalog ונוצרת בשבילה רשומה בקטלוג.

אפשר לחשוב על רשומה כייצוג של נכס נתונים ב-Knowledge Catalog. הוא כמו רשומה בקטלוג שאפשר לצרף אליה מטא-נתונים. במקום להוסיף הקשר לטבלה ב-BigQuery (או להעשיר אותה) ישירות, אתם מוסיפים אותו לרשומה שלה ב-Knowledge Catalog.

# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
    --description "Sample retail data for foundational data context tutorial" \
    $PROJECT_ID:retail_data

# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,test@example.com,150.50,2025-08-28
1002,user@example.com,75.00,2025-08-28" > /tmp/transactions.csv

# Load the data from the temporary CSV file into a BigQuery table
bq load \
    --source_format=CSV \
    --autodetect \
    retail_data.transactions \
    /tmp/transactions.csv

# (Optional) Clean up the temporary file
rm /tmp/transactions.csv

מריצים שאילתת SELECT כדי לאמת את ההגדרה:

bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"

פלט לדוגמה:

+----------------+------------------+-------+------------------+
| transaction_id |    user_email    |  gmv  | transaction_date |
+----------------+------------------+-------+------------------+
|           1001 | test@example.com | 150.5 |       2025-08-28 |
|           1002 | user@example.com |  75.0 |       2025-08-28 |
+----------------+------------------+-------+------------------+

הגדרת מונחים נפוצים באמצעות מילון המונחים הארגוני

הקשר טוב של נתונים מסתמך על הגדרות ברורות שעונות על שאלות כמו "מה המשמעות של שם העמודה הזה?" לדוגמה, מפתח לא צריך לנחש אם עמודה בשם gmv מייצגת את ערך המסחר ברוטו, או אם היא כוללת מיסים והחזרות. מילון המונחים הארגוני יוצר מקור מידע אמין אחד להגדרות האלה בארגון. כשחברי הצוות או סוכני ה-AI מנתחים את הנתונים, הם מקבלים את ההקשר העסקי המדויק הזה. הגדרות משותפות מאפשרות לתאם בין מדדים בצוותים שונים, כמו כספים, מכירות ותפעול, ועוזרות לסוכני AI להימנע מהזיות.

כדי ליצור מילון מונחים ולהגדיר את המונח הראשון:

  1. נכנסים לדף Glossaries של Knowledge Catalog במסוף Google Cloud .

    כניסה לדף Glossaries

  2. לוחצים על Create Business Glossary.

  3. ממלאים את הפרטים הבאים:

    • שם לתצוגה: Retail Business Glossary
    • מיקום: us-central1 (Iowa)

  4. לוחצים על יצירה.

  5. לוחצים על יצירת קטגוריה.

  6. נותנים שם לקטגוריה Sales Metrics ולוחצים על יצירה.

  7. בוחרים בקטגוריה מדדי מכירות ולוחצים על הוספת מונח.

  8. נותנים למונח את השם Gross Merchandise Value ולוחצים על יצירה.

  9. לוחצים על המונח ערך מסחר ברוטו כדי לפתוח את דף הפרטים שלו.

  10. לוחצים על הוספה לצד סקירה כללית. ממלאים את הפרטים הבאים: The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.

  11. לוחצים על Save.

עכשיו יצרתם מונח במילון שאפשר לקשר לרשומות נתונים בארגון.

הגדרת מטא-נתונים טכניים באמצעות סוג היבט

כשעובדים עם נתונים, לעיתים קרובות צריך לענות על שאלות כמו "מי הבעלים של מערך הנתונים הפגום הזה?" או "האם הטבלה הזו אושרה לשימוש?" תגי מטא-נתונים לא מובנים מנסים לענות על השאלות האלה, אבל הם מתיישנים במהירות או שהם לא עקביים. לדוגמה, טבלה אחת יכולה להיות מתויגת בתור owner:bob וטבלה אחרת בתור steward:alice@example.com. כדי שהמטא-נתונים יהיו מאורגנים בקנה מידה גדול, צריך סכימה עקבית.

כאן נכנסים לתמונה סוגי ההיבטים. סוג היבט הוא תוכנית אב של מטא-נתונים שמאפשרת להגדיר כללים ברורים ושדות חובה. אם דורשים שדות סטנדרטיים כמו כתובות אימייל תקינות של מנהלי מדיניות מידע ארגונית, סקריפטים במורד הזרם יכולים לאמת ולהגן על המטא-נתונים באופן אוטומטי.

כדי ליצור סוג היבט:

  1. במסוף Google Cloud , נכנסים לכרטיסייה Aspect types בקטלוג הידע שבדף Metadata types.

    כניסה לדף Aspect types

  2. בכרטיסייה בהתאמה אישית, לוחצים על יצירה.

  3. ממלאים את הפרטים הבאים:

    • שם לתצוגה: Data Asset Context
    • מיקום: us-central1 (Iowa)

  4. בקטע Template, לוחצים על Add field כדי ליצור את שלושת השדות הבאים:

    • שדה 1:

      • שם לתצוגה: Data Steward
      • סוג: Text
      • Is Required: מסמנים את התיבה.
      • סוג הטקסט: Plain text

    • שדה 2 (לוחצים על הוספת שדה):

      • שם לתצוגה: Data Sensitivity
      • סוג: Enum
      • Is Required: משאירים את האפשרות הזו לא מסומנת.
      • ערכים: מוסיפים את Public,‏ Internal ו-Confidential

    • שדה 3 (לוחצים על הוספת שדה):

      • שם לתצוגה: Last Review Date
      • Is Required: משאירים את האפשרות הזו לא מסומנת.
      • סוג: Date and time

  5. לוחצים על Save.

עכשיו יש לכם סוג מאפיין לשדות של מטא-נתונים שקשורים למשילות מידע (data governance), כמו מדיניות מידע ארגונית, רמת רגישות ותאריך בדיקה. בקטע הבא תיישמו את הסכימה הזו על רשומה בטבלה, על ידי צירוף היבט עם ערכים ספציפיים לשדות האלה.

העשרת רשומה בהקשר עסקי וטכני

שמות העמודות הם בדרך כלל מקוצרים או לא ברורים. קישור עמודה למונח במילון המונחים הארגוני מספק הגדרה ברורה ועקבית. בשלב הזה, אתם מעשירים את הרשומה של הטבלה retail_data.transactions על ידי קישור המונח Gross Merchandise Value לעמודה בשם gmv, וצירוף היבט לרשומת הטבלה באמצעות סוג ההיבט שלכם.

כדי להבהיר מהי העמודה gmv ב-retail_data.transactions, צריך לקשר אותה למונח Gross Merchandise Value.

  1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. לוחצים על מסננים כדי לפתוח את החלונית מסננים.

  3. בשדה Scope, בוחרים באפשרות Current Project.

  4. מחפשים את retail_data.transactions ולוחצים על טבלת העסקאות שהוחזרו.

  5. לוחצים על הכרטיסייה Schema.

  6. מסמנים את התיבה לצד העמודה gmv ולוחצים על הוספת מונח עסקי.

  7. בוחרים באפשרות Gross Merchandise Value.

צירוף היבט לרשומה בטבלה

בנוסף לקישור של מונחים עסקיים לעמודות, אתם יכולים לצרף היבט לרשומה בטבלה כדי לתעד מטא-נתונים ברמת הטבלה, כמו בעלות על נתונים ורגישות.

היבט הוא מופע של סוג היבט, עם ערכים ספציפיים לשדות של מטא-נתונים. כשמצרפים היבט לרשומה, Knowledge Catalog בודק את המידע שסיפקתם מול הסכימה שמוגדרת בסוג ההיבט כדי לוודא שיש עקביות.

כדי להגדיר בעלות ורגישות לטבלה retail_data.transactions, צריך לצרף את ההיבט Data Asset Context:

  1. בכרטיסייה פרטים בדף של הרשומה retail_data.transactions, לוחצים על הוספה לצד היבטים אופציונליים.
  2. בוחרים באפשרות Data Asset Context מהרשימה.

  3. מזינים ערכים בשדות:

    • מנהל הנתונים: finance-team@example.com
    • רגישות הנתונים: בוחרים באפשרות פנימי.
    • תאריך הבדיקה האחרונה: בוחרים את התאריך של היום.

  4. לוחצים על Save.

העשרת נתוני העסקאות לדוגמה בקמעונאות מאפשרת לכם להגדיר בסיס חזק של הקשר נתונים ב-Knowledge Catalog.

חיפוש ערכים באמצעות מטא-נתונים מועשרים

עכשיו אתם יכולים להשתמש בחיפוש ב-Knowledge Catalog כדי למצוא רשומות על סמך ההקשר העסקי שהגדרתם. לדוגמה, אתם יכולים למצוא את כל הנכסים עם רמת רגישות ספציפית, או לחפש את המונח במילון המונחים כדי לגלות את הטבלאות הבסיסיות.

  1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. לוחצים על מסננים כדי לפתוח את החלונית מסננים.

  3. בשדה Scope, בוחרים באפשרות Current Project.

  4. בשורת החיפוש, מקלידים Find tables where the Data Asset Context aspect has Internal sensitivity.

  5. הטבלה retail_data.transactions אמורה להופיע ברשימת התוצאות.

  6. מנקים את שורת החיפוש ומזינים Find tables with the Gross Merchandise Value term attached.

  7. הטבלה retail_data.transactions אמורה להופיע שוב בתוצאות, כי העמודה gmv שלה מקושרת ישירות למונח העסקי הזה.

כשמקשרים סוכן AI ל-Knowledge Catalog, הוא מקבל את המטא-נתונים המועשרים האלה באופן אוטומטי. לדוגמה, כשמבקשים מסוכן לאחזר מדדי מכירות פנימיים, הוא קורא את ההיבט "רגישות הנתונים" (שהגדרתם כ"פנימי") ואת המונח המקושר "ערך מסחר ברוטו" במילון המונחים. ההקשר המשותף הזה עוזר לסוכן לאמת את מקורות הנתונים שלו, לפעול בהתאם למדיניות הגישה ולמנוע הזיות.

הסרת המשאבים

כדי להימנע מחיובים, מחקו את המשאבים שיצרתם במדריך הזה.

מחיקת מערך הנתונים לדוגמה

כדי למחוק את מערך הנתונים לדוגמה ב-BigQuery ואת כל הטבלאות שלו, משתמשים בפקודה הבאה. אי אפשר לבטל את הפעולה הזו.

# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)

# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data

מחיקת פריטי מידע ב-Knowledge Catalog

  1. במסוף Google Cloud , נכנסים לכרטיסייה Aspect types בקטלוג הידע שבדף Metadata types.

    כניסה לדף Aspect types

  2. בוחרים את סוג ההיבט Data Asset Context ולוחצים על מחיקה.

  3. נכנסים לדף Glossaries של Knowledge Catalog במסוף Google Cloud .

    כניסה לדף Glossaries

  4. בוחרים את המונח Gross Merchandise Value ולוחצים על מחיקה.

  5. בוחרים את הקטגוריה Sales Metrics ולוחצים על מחיקה.

  6. בוחרים את Retail Business Glossary ולוחצים על מחיקה.

המאמרים הבאים

במקורות המידע הבאים מוסבר בהרחבה איך לאסוף נתונים לקטלוג ואיך ליצור סוכנים באמצעות Knowledge Catalog: