מידע על פידים של שינויים במטא-נתונים

במסמך הזה מפורטת סקירה כללית על פידים של שינויים במטא-נתונים של Knowledge Catalog (לשעבר Dataplex Universal Catalog). פידים של שינויים במטא-נתונים מאפשרים לכם לעקוב אחרי שינויים במטא-נתונים במופע של Knowledge Catalog כמעט בזמן אמת, ולבנות Workflows מבוססי-אירועים על סמך השינויים האלה.

מעקב אוטומטי אחרי שינויים במטא-נתונים

ב-Knowledge Catalog, רשומה מייצגת נכס נתונים, כמו טבלה ב-BigQuery, ואספקט הוא קבוצה של שדות מטא-נתונים קשורים שמצורפים לרשומה ומתארים אותה. כשיוצרים, מעדכנים או מוחקים רשומה או היבט, Knowledge Catalog מפרסם הודעת התראה בנושא Pub/Sub שאתם מציינים. ההתראות האלה, שנקראות גם פיד של שינויים במטא-נתונים, מכילות מידע על השינוי. היא כוללת את המידע הבא: מתי השינוי קרה, איזה משאב השתנה ומה סוג השינוי. מידע נוסף על רשומות והיבטים זמין במאמר מידע על ניהול מטא-נתונים ב-Knowledge Catalog.

בתרשים הארכיטקטורה הבא מוצג איך Knowledge Catalog מתעד שינויים במטא-נתונים (יצירה, עדכון, מחיקה) ושולח אותם ל-Pub/Sub לתהליכי עבודה מבוססי-אירועים במורד הזרם.

תרשים שמראה איך שינויים במטא-נתונים של Dataplex מתפרסמים ב-Pub/Sub ונצרכים על ידי מנויים.
איור 1. סקירה כללית על פידים של שינויים במטא-נתונים

כדי לקבוע אילו שינויים ייצרו התראות, אפשר להגדיר פיד של שינויים במטא-נתונים כדי לעקוב אחרי משאבים ספציפיים. כדי לעשות זאת, צריך לציין היקף, כמו כל הארגון, פרויקטים ספציפיים או קבוצות ספציפיות של רשומות. ההיקף מאפשר להגדיר אילו משאבים לעקוב אחריהם, אבל אפשר להשתמש במסננים כדי להגדיר בצורה מדויקת יותר מתי יתקבלו התראות מ-Knowledge Catalog. לדוגמה, יכול להיות שתרצו לקבל התראות רק כשמתעדכנים טבלאות מהסוג bigquery-table, אבל לא כשיוצרים או מוחקים אותן. כדי לעשות את זה, אפשר להחיל מסנן אחד או יותר על פיד השינויים במטא-נתונים על סמך סוג הרשומה, סוג ההיבט או סוג השינוי (CREATE,‏ UPDATE או DELETE).

לדוגמה, חברת קמעונאות אונליין משתמשת ב-BigQuery כדי לנהל את מלאי המוצרים בפרויקט ייעודי. כדי לעקוב רק אחרי שינויים בסכימה בטבלאות המלאי שלהם, הם יוצרים פיד של שינויים במטא-נתונים עם הפרויקט כהיקף, ומחילים מסננים על entry_type=bigquery-table ועל change_type=UPDATE. אם הסכימה של טבלה קריטית, כמו product_stock, מתעדכנת, השינוי הזה יוצר התראה מסוג UPDATE שתואמת למסנן של פיד השינויים במטא-נתונים. לאחר מכן, פיד השינויים במטא-נתונים שולח התראה לנושא Pub/Sub. תהליך עבודה אוטומטי שרשום לנושא הזה ב-Pub/Sub יכול להשהות באופן מיידי את צינורות הדיווח במורד הזרם ולהתריע לצוות ניהול מלאי שטחי הפרסום כדי למנוע קבלת החלטות שמבוססות על נתונים לא עקביים.

תרחישים לדוגמה

אפשר להשתמש בפידים של שינויים במטא-נתונים למטרות שונות, כולל:

  • סנכרון מטא-נתונים: סנכרון רציף של שינויים במטא-נתונים של Knowledge Catalog לקטלוג נתונים חיצוני או של צד שלישי, או לאינדקס חיפוש.
  • אכיפת מדיניות: החלה או עדכון אוטומטי של מדיניות אבטחה כשמשתנה היבט של סיווג נתונים ברשומה.
  • אוטומציה של איכות הנתונים: הפעלה של סריקת איכות נתונים או שליחת התראה לבעלי הנתונים כשסכימת הטבלה משתנה.
  • הפעלה של ETL/ELT: אפשר להפעיל משימה של טרנספורמציה של נתונים כשנוצר או מתעדכן רשומה חדשה בטבלה.
  • ביקורת: רישום של כל השינויים במטא-נתונים בטבלת ביקורת לצורך תאימות.

הסברים על המונחים

פיד של שינויים במטא-נתונים הוא משאב בקטלוג הידע שעוקב אחרי שינויים במטא-נתונים (יצירה, עדכון, מחיקה) של רשומות והיבטים, ושולח התראות לנושא Pub/Sub. ב-API, המשאב הזה נקרא metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

כדי להגדיר פיד של שינויים במטא-נתונים, צריך להגדיר את ההיקף, המסננים והיעד שלו. כשמתרחש שינוי במטא-נתונים שתואם להיקף ולמסננים של פיד השינויים במטא-נתונים, Knowledge Catalog מפרסם הודעת התראה בנושא היעד של Pub/Sub.

הגדרת פיד לשינויים במטא-נתונים

כדי להגדיר פיד לשינויים במטא-נתונים, צריך להגדיר את הפרטים הבאים:

  • ‫Scope: קבוצת המשאבים שרוצים לעקוב אחרי השינויים בהם, כמו הארגון כולו, פרויקטים ספציפיים או קבוצות ספציפיות של רשומות. ב-API, מציינים את שם המשאב. בדוגמה הבאה מוצג פורמט שם המשאב של קבוצת רשומות: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • מסננים: קריטריונים לסינון השינויים שיוצרים התראות על סמך סוג הרשומה, סוג ההיבט או סוג השינוי (CREATE,‏ UPDATE או DELETE). ב-API, מציינים את שם המשאב. בדוגמה הבאה מוצג פורמט שם המשאב לסוג רשומה: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. אם לא מציינים מסננים, כל סוגי השינויים (CREATE,‏ UPDATE וDELETE) בהיקף של הפיד יוצרים התראות.

  • יעד: נושא Pub/Sub שבו Knowledge Catalog מפרסם הודעות התראה. ב-API, מציינים את שם הנושא. בדוגמה הבאה מוצג פורמט שם המשאב של נושא Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

בדוגמה הבאה מוצג פיד של שינויים במטא-נתונים שהוגדר למעקב אחרי פרויקטים PROJECT_ID_1 ו-PROJECT_ID_2 לגבי אירועי CREATE, ושליחת התראות אל TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

הוראות ליצירה ולניהול של פידים לשינוי מטא-נתונים מופיעות במאמר קבלת התראות באמצעות פידים לשינוי מטא-נתונים.

פורמט ההודעה של ההתראה

כששינוי במטא-נתונים מפעיל התראה, Knowledge Catalog מפרסם הודעה בנושא Pub/Sub שצוין. פרטי אירוע השינוי נשמרים בהודעה ב-Pub/Sub. ההודעה מורכבת ממאפיינים לסינון וממטען ייעודי (payload) עם פרטים על השינוי.

מידע נוסף על צריכת ההודעות האלה זמין במאמר צריכת הודעות התראה.

מאפיינים

המאפיינים מאפשרים לסנן הודעות בתוך הנושא. אפשר לסנן הודעות במינוי באמצעות מסנני מינוי ל-Pub/Sub.

השדות הבאים מופיעים במאפיינים:

  • ‫timestamp: חותמת הזמן של השינוי.
  • ‫entry_name: שם המשאב של הרשומה, בפורמט projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • ‫feed_name: שם המשאב של פיד השינויים במטא-נתונים, בפורמט projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • ‫entry_type: שם המשאב של סוג הרשומה, בפורמט projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. מידע נוסף זמין במאמר בנושא סוגי רשומות.
  • ‫entry_change_type: סוג השינוי: CREATED,‏ UPDATED או DELETED.

בדוגמה הבאה מוצגים המאפיינים של אירוע יצירת רשומה:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

מטען ייעודי (payload) של נתונים

המטען הייעודי (payload) של הודעת Pub/Sub הוא מחרוזת JSON שמכילה פרטים על השינוי.

דוגמה למטען ייעודי (payload) של נתונים:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

שיקולים לגבי VPC Service Controls

פידים של שינויים במטא-נתונים תואמים ל-VPC Service Controls ‏ (VPC-SC).

  • אם פיד השינויים במטא-נתונים הוא בהיקף הארגון, רק פרויקטים שנמצאים בגבול הגזרה של VPC Service Controls של פיד השינויים במטא-נתונים יוצרים התראות.

  • אם פיד שינויי המטא-נתונים מוגבל לפרויקט או לקבוצת רשומות, כל הפרויקטים או קבוצות הרשומות שצוינו צריכים להימצא באותו מתחם אבטחה היקפית של VPC Service Controls כמו פיד שינויי המטא-נתונים. אחרת, יצירת פיד שינויי המטא-נתונים תיכשל.

מכסות ומגבלות

מידע על מכסות שקשורות לעדכוני שינויים במטא-נתונים זמין במאמר מכסות.

הנה הגבלות שקשורות לפידים של שינויים במטא-נתונים:

  • מסירה: פידים של שינויים במטא-נתונים מספקים התראות על בסיס 'לפחות פעם אחת'. צריך לטפל בהודעות כפולות פוטנציאליות במנוי.

  • סדר: Knowledge Catalog לא מבטיח את סדר מסירת ההודעות.

  • זמן אחזור: ההתראות על שינויים במטא-נתונים של הפיד מתקבלות כמעט בזמן אמת.

  • עיכוב בהפעלה: יכולות לעבור עד 10 דקות עד שההגדרה של פיד חדש או מעודכן של שינויים במטא-נתונים תופעל, בגלל שמירה במטמון בקצה העורפי.

  • המטען הייעודי (Payload): הודעת ההתראה הראשונית מכילה רק חתימות של שינויים. לדוגמה, שם הרשומה, סוג הרשומה, סוג השינוי ורשימה של סוגי המאפיינים או המפתחות שהשתנו, והוא לא מכיל את הנתונים שהשתנו בפועל (מטען הייעודי של המאפיין). אם צריך, אפשר לשלוח קריאה ל-Dataplex API ‏(GetEntry) כדי לאחזר את המצב הנוכחי של הרשומה או ההיבט.

  • היבטים כלליים של אחסון: פידים של שינויים במטא-נתונים לא מספקים תמיכה בהיבטים כלליים של אחסון.

תמחור

אין חיובים ישירים על פידים של שינויים במטא-נתונים של Knowledge Catalog. עם זאת, יש עלויות על המשאבים שבהם נעשה שימוש, כמו מסירת הודעות, אחסון ותעבורת נתונים יוצאת (egress) ב-Pub/Sub. למחירון של Pub/Sub

המאמרים הבאים