פתרון בעיות בפידים של שינויים במטא-נתונים

פידים של שינויים במטא-נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשרים לכם לעקוב אחרי שינויים ברשומות ובהיבטים של המטא-נתונים כמעט בזמן אמת, על ידי פרסום התראות ב-Pub/Sub. כשמגדירים את הפידים האלה או עוקבים אחריהם, אפשר לאבחן ולפתור בעיות נפוצות שקשורות להרשאות ליצירת פידים, להיקפים של VPC Service Controls, לשליחת התראות ולמטענים ייעודיים (payloads) של הודעות. מידע נוסף זמין במאמר מידע על פידים של שינויים במטא-נתונים.

אם אתם צריכים עזרה בפתרון בעיה שלא מופיעה במאמר הזה, תוכלו להיעזר ב-Cloud Customer Care.

שגיאות ביצירת פידים של שינויים במטא-נתונים

בקטע הזה מוסבר איך לפתור שגיאות שעלולות להתרחש כשיוצרים פידים של שינויים במטא-נתונים.

שגיאות מסוג Permission denied

מוצגת השגיאה PERMISSION_DENIED כשמנסים ליצור פיד של שינויים במטא-נתונים.

הבעיה נגרמת כי יכול להיות שאין לכם או לחשבון השירות של Knowledge Catalog את ההרשאות הנדרשות.

כדי לפתור את הבעיה, צריך לבדוק את הדרישות הבאות:

  • מוודאים שיש לכם את ההרשאה dataplex.metadataFeeds.create.

  • מוודאים שיש לכם את ההרשאה dataplex.entryGroups.export בהיקף של הפיד (ארגון, פרויקט או קבוצת רשומות).

  • מוודאים שלחשבון השירות של Knowledge Catalog ‏(service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) יש את התפקיד roles/pubsub.publisher בנושא Pub/Sub של היעד.

שגיאות ב-VPC Service Controls

מוצגת שגיאה של PERMISSION_DENIED או של VPC Service Controls כשיוצרים פיד.

כדי לפתור את הבעיה, צריך לוודא שפיד השינויים במטא-נתונים והמשאבים שהוא עוקב אחריהם שייכים לאותו היקף של VPC Service Controls:

  • אם הפיד מוגדר ברמת הארגון, המערכת עוקבת רק אחרי פרויקטים שנמצאים באותו היקף.

  • אם הפיד מוגדר ברמת הפרויקט או ברמת קבוצת הרשומות, ודאו שכל הפרויקטים או קבוצות הרשומות שצוינו נמצאים באותו היקף כמו הפרויקט שבו אתם יוצרים את הפיד.

בעיות בקבלת התראות

בקטע הזה מוסבר איך לפתור בעיות שקשורות לשליחת התראות.

ההתראות לא התקבלו

לא מתקבלות התראות בנושא Pub/Sub. יכולות להיות לכך כמה סיבות:

  • הרשאות חסרות: לחשבון השירות של Knowledge Catalog אין יותר את התפקיד roles/pubsub.publisher בנושא.

  • עיכוב בהפעלה: יכולות לעבור עד 10 דקות עד שפיד חדש או מעודכן יהפוך לפעיל.

  • הנושא נמחק: אם נושא היעד ב-Pub/Sub נמחק, Knowledge Catalog מפסיק לפרסם.

  • חוסר התאמה בהיקף או במסנן: יכול להיות שהשינויים לא תואמים להיקף או למסננים שהוגדרו.

כדי לפתור את הבעיה, צריך לבדוק את הפרטים הבאים:

  • מוודאים שלחשבון השירות של Knowledge Catalog יש את התפקיד roles/pubsub.publisher בנושא.

  • צריך להמתין לפחות 10 דקות אחרי שיוצרים או מעדכנים פיד.

  • בודקים אם הנושא קיים ב-Pub/Sub. אם הוא נמחק, צריך ליצור אותו מחדש.

  • בודקים את הגדרת הפיד כדי לוודא שההיקף והמסננים תואמים לשינויים במטא-נתונים שאתם מצפים לקבל.

התראות כפולות

אתם מקבלים הודעות כפולות. ב-Knowledge Catalog מובטחת מסירה של "לפחות פעם אחת", כלומר יכול להיות שיהיו הודעות כפולות, במיוחד במהלך ניסיונות חוזרים.

מגדירים את אפליקציית המנוי כך שתטפל בכפילויות פוטנציאליות. אתם יכולים להשתמש ב-messageId או בחותמת הזמן של השינוי כדי לזהות הודעות ולבטל כפילויות.

בעיות בתוכן

בקטע הזה מוסבר איך לפתור בעיות בתוכן של התראות בפיד השינויים במטא-נתונים.

חסרים מטא-נתונים מלאים במטען הייעודי (payload)

הודעת ההתראה מכילה רק את שם המשאב וסוג השינוי, ולא את המטא-נתונים המלאים או את השינויים הספציפיים.

הסיבה לכך היא שבהתאם לתכנון, ההתראות של פיד השינויים במטא-נתונים מספקות "חתימות שינוי" (מה השתנה) ולא את המטען הייעודי (payload) המלא. כך ההודעות נשארות קלות ולא חורגות ממגבלות הגודל של המטען הייעודי (payload).

משתמשים בשם המשאב שמופיע בהתראה כדי לשלוח קריאה ל-Dataplex API (לדוגמה, GetEntry) ולאחזר את המצב הנוכחי של המשאב.