מעקב אחרי מדדים של Knowledge Catalog

בעזרת Cloud Monitoring אתם יכולים לעקוב אחרי התקינות והביצועים של המשאבים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog), כולל אגמים, אזורים ונכסים. אתם יכולים ליצור מרכזי בקרה בהתאמה אישית ולהגדיר התראות לספי שירות ב-Monitoring, או לשלוח שאילתות לייצוא של נתוני החיוב ב-Cloud ב-BigQuery כדי לשייך את העלויות של יחידות המחשוב (DCU) בין סריקות הנתונים ועומסי העבודה של שושלת הנתונים.

למידע נוסף על תמחור, קראו את המאמר תמחור של Google Cloud Observability.

למידע נוסף על שמירת נתוני מדדים, קראו את הקטע "שמירת נתונים" במאמר מכסות ומגבלות של Monitoring.

תרחישים לדוגמה

אתם יכולים להשתמש במדדים של Knowledge Catalog ב-Monitoring כדי לתמוך בתרחישים הבאים:

• לוודא את האמינות של פייפליין: עוקבים אחרי שיעורי ההצלחה והכישלון של משימות ב-Knowledge Catalog, כמו הטמעת נתונים או משימות של איכות הנתונים. כדי לצמצם את זמן ההשבתה של עומסי עבודה קריטיים, כדאי להגדיר התראות על כשלים או על משכי זמן חריגים.
• אופטימיזציה של הביצועים: מעקב אחרי משך הזמן של המשימות ומדדי השימוש במשאבים כדי לזהות ולפתור צווארי בקבוק בביצועים של עומסי העבודה שקשורים לעיבוד נתונים, לאיכות הנתונים ולגילוי נתונים.
• ניהול עלויות: מעקב אחרי צריכת המשאבים של Knowledge Catalog (כמו אגמים, אזורים ונכסים) ב-Monitoring, ושימוש בייצוא של נתוני החיוב ב-Cloud ל-BigQuery כדי לשייך את עלויות המחשוב בלי שרת (serverless computing) (DCU) לעומסי העבודה של איכות הנתונים, פרופיל הנתונים ושושלת הנתונים.
• שמירה על משילות מידע (data governance): מעקב אחרי מדדים שקשורים לגילוי מטא-נתונים ולהעשרת הקטלוג, כדי לוודא שנכסי הנתונים נסרקים ומתויגים בהתאם למדיניות המשילות שלכם.

איך זה עובד

‫Knowledge Catalog משולב עם Monitoring, שאוסף מדדים, אירועים ומטא-נתונים משירותי Knowledge Catalog. המדדים האלה מספקים תובנות לגבי תחומים כמו סטטוס ביצוע המשימה, השימוש ב-API ותקינות המשאבים. אתם יכולים לנתח את המדדים האלה באמצעות כלים ב-Monitoring, כמו Metrics Explorer, מרכזי בקרה בהתאמה אישית והתראות. הכלים האלה מאפשרים לכם להציג את ההתנהגות של השירות, לזהות מגמות בביצועים וליצור כללי מדיניות התראה שיודיעו לכם כשהביצועים חורגים מהסף שהוגדר או כשיש כשלים.

גישה למדדי השירות ב-Monitoring

מדדי המשאבים של שירות Knowledge Catalog מופעלים באופן אוטומטי בשירותי Knowledge Catalog. כדי לראות את המדדים האלה, צריך להשתמש ב-Monitoring.

אפשר לגשת ל-Monitoring דרך מסוףGoogle Cloud או באמצעות Monitoring API.

אם אתם לא מצליחים לראות את תרשימי המעקב או ליצור התראות, יכול להיות שאתם צריכים הרשאות מעקב נוספות.

המסוף

1. נכנסים לדף Metrics explorer במסוף Google Cloud .

   כניסה לדף Metrics Explorer

2. בתפריט Select a metric, בוחרים משאב של Cloud Dataplex.

3. בוחרים קטגוריית מדדים ואז בוחרים מדד מהרשימה.

   כדי להציג מידע על מדד, מעבירים את הסמן מעל לשם המדד.

4. לוחצים על אישור.

5. אופציונלי: בוחרים מסננים, מקבצים לפי תוויות של מדדים, מבצעים צבירות ובוחרים אפשרויות להצגת תרשימים.

REST

כדי לתעד ולפרט מדדים שמוגדרים באמצעות ביטוי filter, משתמשים ב-timeSeries.list של Monitoring.

.

כדי לשלוח בקשת API ולהציג את התשובה, משתמשים בתבנית Try this API בדף ה-API.

מדדי השירות של Knowledge Catalog ב-Monitoring

מדדי השירות של Knowledge Catalog עוזרים לכם לעקוב אחרי תקינות השירות.

הערה: יחידות המחשוב של DataScan ב-Knowledge Catalog (כמו סריקות אוטומטיות של איכות הנתונים וסריקות פרופיל נתונים) ויחידות המחשוב של נתונים (DCU) של שושלת נתונים פועלות במחשוב בלי שרת (serverless computing) בתשתית שמנוהלת על ידי Google, ולא פולטות מדדים של סדרות זמנים בזמן אמת ב-dataplex.googleapis.com/* ל-Monitoring. רק אגמים, אזורים ונכסים פולטים מדדים של סדרות עתיות ל-Monitoring. כדי לעקוב אחרי צריכת המק"טים של Knowledge Catalog ועלויות ה-DCU בפרויקטים ובסריקות, לשייך אותן ולהריץ שאילתות בטבלאות הייצוא של החיוב ב-Cloud ב-BigQuery, אתם יכולים להשתמש בתוויות המערכת של Knowledge Catalog. לפרטים ולשאילתות לדוגמה, קראו את המאמר מעקב אחרי עלויות ה-DCU של Knowledge Catalog ושיוך שלהן באמצעות ייצוא של נתוני החיוב ב-Cloud.

למחרוזות של "סוג המדד" בטבלה הזו צריך להוסיף את הקידומת dataplex.googleapis.com/. הקידומת הזו הושמטה מהרשומות בטבלה. כששולחים שאילתה לגבי תווית, צריך להשתמש בקידומת metric.labels., לדוגמה metric.labels.LABEL="VALUE".

סוג המדד ^שלב ההשקה (רמות היררכיית המשאבים) השם המוצג
סוג, סוג, יחידה משאבים במעקב	תיאור תוויות
asset/active ^בטא  (פרויקט) פעיל
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	אם הנכס פעיל. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
asset/data_items ^בטא  (פרויקט) פריטי נתונים
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הפריטים במשאב שהוזכר. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
asset/data_size ^בטא  (פרויקט) גודל הנתונים
GAUGE, INT64, By dataplex.googleapis.com/Asset	מספר הבייטים שמאוחסנים במשאב שאליו מתייחסים. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
asset/entities_pending_bigquery_iampolicy_updates ^בטא  (פרויקט) ישויות עם עדכונים בהמתנה למדיניות IAM של BigQuery
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות שמשויכות לנכס עם עדכונים ממתינים של מדיניות IAM ב-BigQuery. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
asset/entities_pending_bigquery_metadata_updates ^בטא  (פרויקט) ישויות עם עדכוני מטא-נתונים של BigQuery בהמתנה
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות שמשויכות לנכס עם עדכוני מטא-נתונים של BigQuery בהמתנה. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
asset/filesets ^בטא  (פרויקט) קבוצות קבצים
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות של קבוצות הקבצים במשאב שהוזכר. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
asset/requires_action ^בטא  (פרויקט) נדרשת פעולה
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	אם יש בנכס פעולות אדמין שלא טופלו. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
asset/tables ^בטא  (פרויקט) טבלאות
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות בטבלה במשאב שהוזכר. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג אזור ההורה.
lake/requires_action ^בטא  (פרויקט) נדרשת פעולה
GAUGE, INT64, 1 dataplex.googleapis.com/Lake	אם יש באגם פעולות אדמין שלא טופלו.
zone/requires_action ^בטא  (פרויקט) נדרשת פעולה
GAUGE, INT64, 1 dataplex.googleapis.com/Zone	אם יש באזור פעולות אדמין שלא טופלו. ‫ type: סוג האזור.

הטבלה נוצרה ב-29 באוקטובר 2026 בשעה 23:33:54 לפי שעון UTC.

מעקב אחרי עלויות ה-DCU של Knowledge Catalog ושיוך שלהן באמצעות ייצוא נתוני החיוב ב-Cloud

בסריקות הנתונים של Knowledge Catalog (כולל איכות נתונים אוטומטית ויצירת פרופילים של נתונים) ובשושלת הנתונים לא מתפרסמים מדדי סדרת זמנים ב-Monitoring. לכן, אתם יכולים להשתמש בייצוא של נתוני החיוב ב-Cloud ל-BigQuery כדי לעקוב אחרי השימוש ביחידות מחשוב של נתונים (DCU) והעלויות שלהן בפרויקטים, בסריקות ובמשאבי הנתונים, וגם כדי לנטר ולשייך אותם.

תוויות חיוב ב-Knowledge Catalog

‫Knowledge Catalog מצרף באופן אוטומטי תוויות מערכת לרשומות החיוב שנוצרות בעקבות סריקות נתונים ושושלת נתונים. אפשר לשלוח שאילתות לגבי התוויות האלה במערך labels בטבלת הייצוא של החיוב ב-Cloud:

מפתח התווית	עומס עבודה	תיאור
goog-dataplex-datascan-id	איכות הנתונים, פרופיל נתונים	המזהה או השם של סריקת הנתונים.
goog-dataplex-datascan-job-id	איכות הנתונים, פרופיל נתונים	המזהה הספציפי של ביצוע משימת סריקת הנתונים.
goog-dataplex-datascan-data-source-project	איכות הנתונים, פרופיל נתונים	הפרויקט ב- Google Cloud שמכיל את מקור הנתונים שנסרק.
goog-dataplex-datascan-data-source-region	איכות הנתונים, פרופיל נתונים	האזור ( Google Cloud ) של מקור הנתונים שנסרק.
goog-dataplex-datascan-data-source-bigquery-dataset	איכות הנתונים, פרופיל נתונים	המזהה של מערך הנתונים ב-BigQuery של הטבלה שנסרקה.
goog-dataplex-datascan-data-source-bigquery-table	איכות הנתונים, פרופיל נתונים	מזהה הטבלה ב-BigQuery שנסרקה.
goog-dataplex-datascan-data-source-dataplex-lake	איכות הנתונים, פרופיל נתונים	מזהה ה-lake ב-Knowledge Catalog (אם רלוונטי).
goog-dataplex-datascan-data-source-dataplex-zone	איכות הנתונים, פרופיל נתונים	מזהה אזור הנתונים של Knowledge Catalog (אם רלוונטי).
goog-dataplex-datascan-data-source-dataplex-entity	איכות הנתונים, פרופיל נתונים	מזהה הישות ב-Knowledge Catalog (אם רלוונטי).
goog-dataplex-datascan-data-source-biglake-catalog	איכות הנתונים, פרופיל נתונים	מזהה הקטלוג של BigLake (אם רלוונטי).
goog-dataplex-datascan-data-source-biglake-namespace	איכות הנתונים, פרופיל נתונים	מרחב השמות של BigLake (אם רלוונטי).
goog-dataplex-datascan-data-source-biglake-table	איכות הנתונים, פרופיל נתונים	מזהה הטבלה ב-BigLake (אם רלוונטי).
goog-dataplex-workload-type	שושלת נתונים	מזהה את עומס העבודה. הגדירו את הערך LINEAGE כדי לחייב על עיבוד של שושלת נתונים.

שאילתות לדוגמה

לפני שמריצים את השאילתות האלה, צריך לוודא שהפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery. בשאילתות לדוגמה, מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמארח את מערך הנתונים של ייצוא החיוב ב-BigQuery.
• ‫DATASET_NAME: השם של מערך הנתונים ב-BigQuery שמכיל את טבלת הייצוא של נתוני החיוב.
• ‫BILLING_ACCOUNT_ID: מספר החשבון לחיוב ב-Cloud (בפורמט עם קווים תחתונים, לדוגמה 012345_567890_ABCDEF).

שאילתה 1: שיוך העלויות והשימוש ב-DCU לפי DataScan וטבלת היעד

השאילתה הזו צוברת את עלויות העיבוד של Knowledge Catalog ושל Premium Processing לפי מזהה DataScan וטבלה ב-BigQuery ב-30 הימים האחרונים:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

שאילתה 2: שיוך עלויות של Knowledge Catalog לפי סוג עומס העבודה (Lineage לעומת DataScan)

השאילתה הזו מפרטת את העלויות של מק"טים של Knowledge Catalog לפי קטגוריית עומס עבודה (כמו Data Lineage לעומת DataScan) בכל הפרויקטים:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

שאילתה 3: מגמת השימוש היומי ב-DCU והעלות היומית לכל הפעלה של משימת DataScan

השאילתה הזו עוקבת אחרי הצריכה היומית של DCU והעלויות של הפעלות נפרדות של משימות DataScan ב-7 הימים האחרונים:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

יצירת לוח בקרה בהתאמה אישית ב-Monitoring

אתם יכולים ליצור לוח בקרה מותאם אישית ב-Monitoring, שבו יוצגו תרשימים של מדדי שירות נבחרים של Knowledge Catalog. איך יוצרים ומנהלים מרכזי בקרה בהתאמה אישית כשבוחרים מדד לווידג'ט בלוח הבקרה, בוחרים משאב של Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.

שימוש בהתראות של Monitoring

אתם יכולים ליצור התראה ב-Monitoring שמודיעה לכם כשמדד של שירות או משימה ב-Knowledge Catalog חוצה סף מסוים.

יצירת התראה

כדי ליצור התראה, פועלים לפי ההוראות במאמר יצירת מדיניות התראות לפי סף של מדד. כשבוחרים סדרת זמן למעקב, בוחרים משאב Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.

הצגת ההתראות

כשמופעלת התראה בגלל תנאי סף של מדד, המערכת יוצרת אירוע (incident) ואירוע (event) תואם.

כדי לצפות באירוע:

• נכנסים לדף Alerting במסוף Google Cloud .

  כניסה לדף Alerting

אם הגדרתם מנגנון התראות במדיניות ההתראות, כמו התראה באימייל או התראת סמס, ‏ Monitoring גם שולח התראה על האירוע.

למידע נוסף על התראות, קראו את המאמר אירועים של התראות מבוססות-מדדים.

המאמרים הבאים

• מידע נוסף על Monitoring
• איך מייצאים את נתוני החיוב ב-Cloud ל-BigQuery
• איך משתמשים בשיפור אוטומטי של איכות הנתונים
• איך משתמשים ביצירת פרופילים של נתונים
• איך משתמשים בשושלת נתונים