מעקב אחרי מדדים של Knowledge Catalog

במאמר הזה מוסבר איך להשתמש ב-Cloud Monitoring כדי לעקוב אחרי תקינות השירות של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשפר את הביצועים ולקבל תובנות לגבי פלטפורמת הנתונים. ניטור פרואקטיבי עוזר לוודא את המהימנות של אפליקציות נתונים ולקבל החלטות מושכלות לגבי הקצאת משאבים וניהול עלויות.

מידע על העלויות מופיע במאמר תמחור של Monitoring.

מידע נוסף על שמירת נתוני מדדים זמין במאמר מכסות ומגבלות ב-Monitoring.

תרחישים לדוגמה

אתם יכולים להשתמש במדדים של Knowledge Catalog ב-Cloud Monitoring כדי לתמוך בתרחישים הבאים:

  • הבטחת אמינות של צינורות עיבוד הנתונים: מעקב אחרי שיעורי ההצלחה והכישלון של משימות ב-Knowledge Catalog, כמו הטמעת נתונים או משימות שקשורות לאיכות הנתונים. כדי למזער את זמן ההשבתה של עומסי עבודה קריטיים, מומלץ להגדיר התראות לגבי כשלים או משכי זמן חריגים.
  • אופטימיזציה של הביצועים: אפשר לעקוב אחרי משך העבודות ומדדי השימוש במשאבים כדי לזהות צווארי בקבוק בביצועים של עומסי העבודה של עיבוד הנתונים, איכות הנתונים וגילוי הנתונים, ולפתור אותם.
  • ניהול עלויות: מעקב אחרי צריכת המשאבים ב-Knowledge Catalog כדי לזהות הזדמנויות לאופטימיזציה של העלויות, לאכוף אמצעי בקרה על התקציב ולהבטיח ניצול יעיל של המשאבים.
  • שמירה על ניהול נתונים: מעקב אחרי מדדים שקשורים לגילוי מטא-נתונים ולהעשרת הקטלוג כדי לוודא שנכסי הנתונים נסרקים ומתויגים בהתאם למדיניות ניהול הנתונים.

איך זה עובד

‫Knowledge Catalog משולב עם Cloud Monitoring, שאוסף מדדים, אירועים ומטא-נתונים משירותי Knowledge Catalog. המדדים האלה מספקים תובנות לגבי תחומים כמו סטטוס הביצוע של העבודות, השימוש ב-API והתקינות של המשאבים. אפשר לנתח את המדדים האלה באמצעות כלים ב-Cloud Monitoring, כמו Metrics Explorer, לוחות בקרה מותאמים אישית והתראות. הכלים האלה מאפשרים לכם לראות את ההתנהגות של השירות, לזהות מגמות בביצועים וליצור מדיניות התראות שתשלח לכם התראות כשהביצועים חורגים מספים מוגדרים או כשמתרחשים כשלים.

גישה למדדי שירות בניטור

מדדי משאבי שירות של Knowledge Catalog מופעלים באופן אוטומטי בשירותי Knowledge Catalog. כדי לראות את המדדים האלה, משתמשים ב-Monitoring.

אפשר לגשת אל Monitoring דרך מסוףGoogle Cloud או באמצעות Monitoring API.

אם אתם לא מצליחים לראות את הגרפים של המעקב או ליצור התראות, יכול להיות שאתם צריכים הרשאות נוספות למעקב.

המסוף

  1. נכנסים לדף Metrics explorer במסוף Google Cloud .

    כניסה לדף Metrics Explorer

  2. בתפריט Select a metric בוחרים משאב Cloud Dataplex.

  3. בוחרים קטגוריית מדדים, ואז בוחרים מדד מהרשימה.

    כדי להציג מידע על מדד, מעבירים את הסמן מעל שם המדד.

  4. לוחצים על אישור.

  5. אופציונלי: בוחרים מסננים, מקבצים לפי תוויות מדדים, מבצעים צבירות ובוחרים אפשרויות לתצוגת התרשים.

REST

כדי לתעד ולרשום מדדים שמוגדרים על ידי ביטוי filter, צריך להשתמש בשיטה timeSeries.list של Monitoring.

כדי לשלוח בקשת API ולהציג את התגובה, משתמשים בתבנית Try this API בדף ה-API.

מדדי שירות של Knowledge Catalog ב-Monitoring

המדדים של שירות Knowledge Catalog מאפשרים לעקוב אחרי תקינות השירות.

לפני המחרוזות של 'סוג המדד' בטבלה הזו צריך להוסיף את הקידומת dataplex.googleapis.com/. הקידומת הזו הושמטה מהערכים בטבלה. כשמבצעים שאילתה על תווית, משתמשים בקידומת metric.labels.. לדוגמה, metric.labels.LABEL="VALUE".

סוג המדד שלב ההשקה (רמות בהיררכיית המשאבים)
שם לתצוגה
סוג, יחידה
משאבים במעקב		 תיאור
תוויות
asset/active בטא  (שם הפרויקט)
פעיל
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		האם הנכס פעיל. ‫
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
asset/data_items בטא  (פרויקט)
פריטי נתונים
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		מספר הפריטים במשאב שאליו מתייחסים. ‫
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
asset/data_size בטא  (project)
גודל הנתונים
GAUGE, INT64, By
dataplex.googleapis.com/Asset 		מספר הבייטים שמאוחסנים במשאב שאליו יש הפניה.
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
asset/entities_pending_bigquery_iampolicy_updates בטא  (project)
Entities with BigQuery IAM policy updates pending
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		מספר הישויות שמשויכות לנכס עם עדכונים ממדיניות IAM ב-BigQuery שממתינים לאישור. ‫
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
asset/entities_pending_bigquery_metadata_updates בטא  (project)
Entities with BigQuery metadata updates pending
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		מספר הישויות שמשויכות לנכס עם עדכוני מטא-נתונים ממתינים ב-BigQuery. ‫
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
asset/filesets בטא  (פרויקט)
ערכות קבצים
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		מספר הישויות של קבוצת הקבצים במשאב שאליו יש הפניה. ‫
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
asset/requires_action בטא  (project)
נדרשת פעולה
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		האם יש פעולות אדמין שלא נפתרו בנכס. ‫
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
asset/tables בטא  (project)
Tables
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		מספר הישויות בטבלה במשאב שאליו יש הפניה. ‫
resource_type: סוג המשאב שאליו מתייחסים. ‫
zone_type: סוג אזור האב.
lake/requires_action בטא  (project)
נדרשת פעולה
GAUGE, INT64, 1
dataplex.googleapis.com/Lake 		האם יש פעולות אדמין שלא נפתרו באגם.
zone/requires_action בטא  (project)
נדרשת פעולה
GAUGE, INT64, 1
dataplex.googleapis.com/Zone 		האם יש פעולות אדמין שלא נפתרו באזור.
type: סוג האזור.

הטבלה נוצרה בתאריך 2026-07-10 בשעה 17:48:44 לפי שעון UTC.

יצירת לוח בקרה של Monitoring בהתאמה אישית

אתם יכולים ליצור לוח בקרה מותאם אישית של Monitoring שבו מוצגים תרשימים של מדדי שירות נבחרים מתוך קטלוג הידע. מידע נוסף על יצירת מרכז שליטה זמין במאמר יצירה וניהול של מרכזי בקרה בהתאמה אישית. כשבוחרים מדד לווידג'ט בלוח הבקרה, בוחרים משאב Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.

שימוש בהתראות של Monitoring

אתם יכולים ליצור התראה ב-Monitoring שתשלח לכם הודעה כשמדד של שירות או של משימה ב-Knowledge Catalog חוצה סף מסוים.

יצירת התראה

כדי ליצור התראה, פועלים לפי ההוראות במאמר יצירת כללי מדיניות התראות על סמך סף מדד. כשבוחרים סדרת זמן למעקב, בוחרים Cloud Dataplexמשאב ואז בוחרים מדד של קטלוג הידע.

הצגת ההתראות

כשמתקבלת התראה בעקבות תנאי של סף מדד, המערכת של Monitoring יוצרת אירוע ואירוע תואם.

כדי לראות אירוע:

אם הגדרתם מנגנון התראה במדיניות ההתראה, כמו התראה באימייל או ב-SMS, ‏ Monitoring ישלח גם התראה על האירוע.

מידע נוסף על התראות זמין במאמר אירועים של התראות שמבוססות על מדדים.

המאמרים הבאים