החל מ-10 באפריל 2026, Dataplex Universal Catalog נקרא עכשיו Knowledge Catalog. השמות של ה-API, ספריית הלקוח, ה-CLI ו-IAM לא משתנים. מידע נוסף זמין במאמר הכרות עם קטלוג הידע של Google Cloud.

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

מעקב אחרי מדדים של Knowledge Catalog

במאמר הזה מוסבר איך להשתמש ב-Cloud Monitoring כדי לעקוב אחרי תקינות השירות של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשפר את הביצועים ולקבל תובנות לגבי פלטפורמת הנתונים. ניטור פרואקטיבי עוזר לכם לוודא שהנתונים באפליקציות מהימנים, ולקבל החלטות מושכלות לגבי הקצאת משאבים וניהול עלויות.

במאמר תמחור של Monitoring מוסבר על העלויות.

למידע נוסף על שמירת נתוני מדדים, ראו מכסות ומגבלות של Monitoring.

תרחישים לדוגמה

אתם יכולים להשתמש במדדים של Knowledge Catalog ב-Cloud Monitoring כדי לתמוך בתרחישים הבאים:

לוודא את האמינות של פייפליין: לעקוב אחרי שיעורי ההצלחה והכישלון של משימות ב-Knowledge Catalog, כמו הטמעת נתונים או משימות של איכות הנתונים. כדי למזער את זמן ההשבתה של עומסי עבודה קריטיים, מומלץ להגדיר התראות לגבי כשלים או משכי זמן חריגים.
אופטימיזציה של הביצועים: מעקב אחרי משך הזמן של המשימות ומדדי השימוש במשאבים כדי לזהות ולפתור צווארי בקבוק בביצועים של עומסי העבודה שקשורים לעיבוד נתונים, לאיכות הנתונים ולגילוי נתונים.
ניהול עלויות: מעקב אחרי צריכת המשאבים של Knowledge Catalog (כמו אגמים, אזורים ונכסים) ב-Monitoring, ושימוש בייצוא של נתוני החיוב ב-Cloud ל-BigQuery כדי לשייך את עלויות המחשוב בלי שרת (serverless computing) (DCU) לעומסי העבודה של איכות הנתונים, פרופיל הנתונים ושושלת הנתונים.
שמירה על משילות מידע (data governance): מעקב אחרי מדדים שקשורים לגילוי מטא-נתונים ולהעשרת הקטלוג, כדי לוודא שנכסי הנתונים נסרקים ומתויגים בהתאם למדיניות המשילות.

איך זה עובד

‫Knowledge Catalog משולב עם Cloud Monitoring, שאוסף מדדים, אירועים ומטא-נתונים משירותי Knowledge Catalog. המדדים האלה מספקים תובנות לגבי תחומים כמו סטטוס ביצוע המשימות, השימוש ב-API ותקינות המשאבים. אתם יכולים לנתח את המדדים האלה באמצעות כלים ב-Cloud Monitoring, כמו Metrics Explorer, לוחות בקרה בהתאמה אישית והתראות. הכלים האלה מאפשרים לכם לראות את ההתנהגות של השירות, לזהות מגמות בביצועים וליצור מדיניות התראות שתשלח לכם התראות כשהביצועים חורגים מספים מוגדרים או כשמתרחשים כשלים.

גישה למדדי שירות ב-Monitoring

מדדי משאבי שירות של Knowledge Catalog מופעלים באופן אוטומטי בשירותי Knowledge Catalog. כדי לראות את המדדים האלה, צריך להשתמש ב-Monitoring.

אפשר לגשת אל Monitoring דרך מסוףGoogle Cloud או באמצעות Monitoring API.

אם אתם לא מצליחים לראות את הגרפים של המעקב או ליצור התראות, יכול להיות שאתם צריכים הרשאות נוספות לניטור.

המסוף

נכנסים לדף Metrics explorer במסוף Google Cloud .

כניסה לדף Metrics Explorer
בתפריט Select a metric, בוחרים משאב של Cloud Dataplex.
בוחרים קטגוריית מדדים ואז בוחרים מדד מהרשימה.

כדי להציג מידע על מדד, מעבירים את הסמן מעל לשם המדד.
לוחצים על אישור.
אופציונלי: בוחרים מסננים, מקבצים לפי תוויות של מדדים, מבצעים צבירות ובוחרים אפשרויות תצוגה של התרשים.

REST

כדי לתעד ולהציג מדדים שמוגדרים על ידי ביטוי filter, צריך להשתמש בשיטה timeSeries.list של Monitoring.

כדי לשלוח בקשת API ולהציג את התשובה, משתמשים בתבנית Try this API בדף ה-API.

מדדי שירות של Knowledge Catalog ב-Monitoring

מדדים של שירות Knowledge Catalog מאפשרים לעקוב אחרי Service Health של השירות.

הערה: יחידות המחשוב של הנתונים (DCU) של שושלת הנתונים ושל המחשוב של Dataplex DataScan (כמו סריקות אוטומטיות של איכות הנתונים וסריקות פרופיל נתונים) פועלות במחשוב בלי שרת (serverless computing) בתשתית שמנוהלת על ידי Dataplex, ולא פולטות מדדים של סדרות עתיות בזמן אמת ב-dataplex.googleapis.com/* ל-Cloud Monitoring. רק אגמים, אזורים ונכסים פולטים מדדים של סדרות זמן ל-Cloud Monitoring. כדי לעקוב אחרי צריכת המק"טים של Dataplex ועלויות ה-DCU, לשייך אותן לפרויקטים ולסריקות, אתם יכולים לשלוח שאילתות לטבלאות הייצוא של החיוב ב-Cloud ב-BigQuery באמצעות תוויות המערכת של Dataplex. לפרטים ולשאילתות לדוגמה, קראו את המאמר מעקב ושיוך של עלויות Dataplex DCU באמצעות ייצוא של נתוני החיוב ב-Cloud.

למחרוזות של 'סוג המדד' בטבלה הזו צריך להוסיף את הקידומת dataplex.googleapis.com/. הקידומת הזו הושמטה מהרשומות בטבלה. כששולחים שאילתה לגבי תווית, צריך להשתמש בקידומת metric.labels., לדוגמה metric.labels.LABEL="VALUE".

סוג המדד ^{שלב ההשקה} (רמות בהיררכיית המשאבים) שם לתצוגה
סוג, סוג, יחידה משאבים במעקב	תיאור תוויות
`asset/active` ^בטא *(project)* פעיל
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Asset	אם הנכס פעיל. `resource_type`: סוג המשאב שאליו מתייחסים. ‫ `zone_type`: הסוג של אזור ההורה.
`asset/data_items` ^בטא *(פרויקט)* פריטי נתונים
‫`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Asset	מספר הפריטים במשאב שהוזכר. `resource_type`: סוג המשאב שאליו מתייחסים. ‫ `zone_type`: סוג אזור האב.
`asset/data_size` ^בטא *(פרויקט)* גודל הנתונים
‫`GAUGE`, `INT64`, `By` dataplex.googleapis.com/Asset	מספר הבייטים שמאוחסנים במשאב שאליו מתייחסים. ‫ `resource_type`: סוג המשאב שאליו מפנים. ‫ `zone_type`: סוג אזור האב.
`asset/entities_pending_bigquery_iampolicy_updates` ^בטא *(project)* Entities with BigQuery IAM policy updates pending
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Asset	מספר הישויות שמשויכות לנכס עם עדכונים בהמתנה של מדיניות IAM ב-BigQuery. `resource_type`: סוג המשאב שאליו מתייחסים. ‫ `zone_type`: הסוג של אזור ההורה.
`asset/entities_pending_bigquery_metadata_updates` ^בטא *(פרויקט)* ישויות עם עדכונים בהמתנה של מטא-נתונים ב-BigQuery
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Asset	מספר הישויות שמשויכות לנכס עם עדכוני מטא-נתונים של BigQuery בהמתנה. `resource_type`: סוג המשאב שאליו מתייחסים. ‫ `zone_type`: סוג אזור ההורה.
`asset/filesets` ^בטא *(פרויקט)* קבוצות קבצים
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Asset	מספר הישויות של קבוצות הקבצים במשאב שהוזכר. ‫ `resource_type`: סוג המשאב שאליו מפנים. ‫ `zone_type`: סוג אזור האב.
`asset/requires_action` ^בטא *(project)* נדרשת פעולה
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Asset	אם יש בנכס פעולות אדמין שלא טופלו. ‫ `resource_type`: סוג המשאב שאליו מפנים. ‫ `zone_type`: סוג אזור האב.
`asset/tables` ^בטא *(project)* טבלאות
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Asset	מספר הישויות בטבלה בתוך המשאב שהוזכר. ‫ `resource_type`: סוג המשאב שאליו מפנים. ‫ `zone_type`: סוג האזור הראשי.
`lake/requires_action` ^בטא *(project)* נדרשת פעולה
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Lake	האם יש פעולות אדמין שלא נפתרו באגם.
`zone/requires_action` ^בטא *(project)* נדרשת פעולה
`GAUGE`, `INT64`, `1` dataplex.googleapis.com/Zone	אם יש באזור פעולות אדמין שלא טופלו. ‫ `type`: סוג האזור.

הטבלה נוצרה בתאריך 2026-10-14 בשעה 20:24:33 לפי שעון UTC.

מעקב אחר עלויות של יחידות DCU ב-Dataplex ושיוך שלהן באמצעות ייצוא של נתוני חיוב ב-Cloud

מכיוון שסריקות של נתונים ב-Knowledge Catalog (כולל איכות נתונים אוטומטית ופרופיל נתונים) ונתוני שושלת לא מפרסמים מדדים של סדרות זמן ב-Cloud Monitoring, אתם יכולים להשתמש בייצוא של חיוב ב-Cloud ל-BigQuery כדי לעקוב אחרי השימוש ביחידות עיבוד נתונים (DCU) והעלויות שלהן בפרויקטים, בסריקות ובמשאבי נתונים, ולנטר אותם ולשייך אותם.

תוויות לחיוב ב-Dataplex

‫Knowledge Catalog מצרף באופן אוטומטי תוויות מערכת לרשומות חיוב שנוצרות לסריקות נתונים ולמעקב אחר מקורות נתונים. אפשר לשלוח שאילתות לגבי התוויות האלה במערך labels בטבלת הייצוא של החיוב ב-Cloud:

מַפתח התווית	עומס עבודה	תיאור
`goog-dataplex-datascan-id`	איכות הנתונים, פרופיל נתונים	המזהה או השם של סריקת הנתונים.
`goog-dataplex-datascan-job-id`	איכות נתונים, פרופיל נתונים	מזהה הביצוע הספציפי של משימת סריקת הנתונים.
`goog-dataplex-datascan-data-source-project`	איכות נתונים, פרופיל נתונים	הפרויקט ב- Google Cloud שמכיל את מקור הנתונים שנסרק.
`goog-dataplex-datascan-data-source-region`	איכות נתונים, פרופיל נתונים	האזור ( Google Cloud ) של מקור הנתונים שנסרק.
`goog-dataplex-datascan-data-source-bigquery-dataset`	איכות הנתונים, פרופיל נתונים	מזהה מערך הנתונים ב-BigQuery של הטבלה שנסרקה.
`goog-dataplex-datascan-data-source-bigquery-table`	איכות נתונים, פרופיל נתונים	מזהה הטבלה ב-BigQuery שנסרקה.
`goog-dataplex-datascan-data-source-dataplex-lake`	איכות נתונים, פרופיל נתונים	מזהה האגם ב-Dataplex (אם רלוונטי).
`goog-dataplex-datascan-data-source-dataplex-zone`	איכות נתונים, פרופיל נתונים	מזהה אזור הנתונים ב-Dataplex (אם רלוונטי).
`goog-dataplex-datascan-data-source-dataplex-entity`	איכות נתונים, פרופיל נתונים	מזהה הישות ב-Dataplex (אם רלוונטי).
`goog-dataplex-datascan-data-source-biglake-catalog`	איכות הנתונים, פרופיל נתונים	מזהה הקטלוג של BigLake (אם רלוונטי).
`goog-dataplex-datascan-data-source-biglake-namespace`	איכות הנתונים, פרופיל נתונים	מרחב השמות של BigLake (אם רלוונטי).
`goog-dataplex-datascan-data-source-biglake-table`	איכות נתונים, פרופיל נתונים	מזהה הטבלה ב-BigLake (אם רלוונטי).
`goog-dataplex-workload-type`	שושלת נתונים	מזהה את עומס העבודה. הגדירו את הערך `LINEAGE` כדי לחייב על עיבוד של שושלת נתונים.

שאילתות לדוגמה

לפני שמריצים את השאילתות האלה, צריך לוודא שהפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery. בשדות הבאים בשאילתות לדוגמה, מחליפים את ה-placeholder:

‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמארח את מערך הנתונים של ייצוא החיוב ב-BigQuery.
‫DATASET_NAME: השם של מערך הנתונים ב-BigQuery שמכיל את טבלת הייצוא של נתוני החיוב.
‫BILLING_ACCOUNT_ID: מספר החשבון לחיוב ב-Cloud (בפורמט עם קווים תחתונים, לדוגמה 012345_567890_ABCDEF).

שאילתה 1: עלויות ושימוש במאפיין DCU לפי DataScan וטבלת יעד

השאילתה הזו צוברת את עלויות העיבוד של Dataplex ושל Premium Processing לפי מזהה DataScan וטבלת היעד ב-BigQuery ב-30 הימים האחרונים:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

שאילתה 2: שיוך עלויות Dataplex לפי סוג עומס העבודה (Lineage לעומת DataScan)

השאילתה הזו מפרטת את עלויות המק"טים של Dataplex לפי קטגוריית עומס עבודה (למשל, שושלת נתונים לעומת DataScan) בכל הפרויקטים:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

שאילתה 3: מגמת השימוש היומי ב-DCU והעלות היומית לכל הפעלה של משימת DataScan

השאילתה הזו עוקבת אחרי הצריכה היומית של DCU והעלויות של הפעלות נפרדות של משימות DataScan ב-7 הימים האחרונים:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

יצירת לוח בקרה של Monitoring בהתאמה אישית

אתם יכולים ליצור לוח בקרה מותאם אישית ב-Monitoring, שבו יוצגו תרשימים של מדדי שירות נבחרים של Knowledge Catalog. מידע נוסף על יצירת מרכז בקרה זמין במאמר יצירה וניהול של מרכזי בקרה בהתאמה אישית. כשבוחרים מדד לווידג'ט בלוח הבקרה, בוחרים משאב Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.

שימוש בהתראות של Monitoring

אתם יכולים ליצור התראה ב-Monitoring שמודיעה לכם כשמדד של שירות או משימה ב-Knowledge Catalog חוצה סף מסוים.

יצירת התראה

כדי ליצור התראה, פועלים לפי ההוראות במאמר יצירת כללי מדיניות התראות על סמך סף מדד. כשבוחרים סדרת זמן למעקב, בוחרים משאב של Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.

הצגת ההתראות

כשמופעלת התראה על ידי תנאי סף של מדד, המערכת של Monitoring יוצרת אירוע ואירוע תואם.

כדי לראות אירוע:

נכנסים לדף Alerting במסוף Google Cloud .

כניסה לדף Alerting

אם הגדרתם מנגנון התראה במדיניות ההתראות, כמו התראה באימייל או התראת סמס, ‏ Monitoring ישלח גם התראה על האירוע.

מידע נוסף על התראות

מעקב אחרי מדדים של Knowledge Catalog קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.