מעקב אחרי מדדים של Knowledge Catalog

במאמר הזה מוסבר איך משתמשים ב-Cloud Monitoring כדי לעקוב אחרי התקינות של שירותי Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשפר את הביצועים ולקבל תובנות לגבי פלטפורמת הנתונים. מעקב יזום עוזר לוודא שאפליקציות הנתונים אמינות, ולקבל החלטות מושכלות לגבי הקצאת משאבים וניהול עלויות.

במאמר תמחור של Monitoring מוסבר על העלויות.

למידע נוסף על שמירת נתוני מדדים, ראו מכסות ומגבלות של Monitoring.

תרחישים לדוגמה

אתם יכולים להשתמש במדדים של Knowledge Catalog ב-Cloud Monitoring כדי לתמוך בתרחישים הבאים:

• לוודא את האמינות של פייפליין: עוקבים אחרי שיעורי ההצלחה והכישלון של משימות ב-Knowledge Catalog, כמו הטמעת נתונים או משימות של איכות הנתונים. כדי לצמצם את זמן ההשבתה של עומסי עבודה קריטיים, כדאי להגדיר התראות על כשלים או על משכי זמן חריגים.
• אופטימיזציה של הביצועים: מעקב אחרי משך הזמן של המשימות ומדדי השימוש במשאבים כדי לזהות ולפתור צווארי בקבוק בביצועים של עומסי העבודה שקשורים לעיבוד נתונים, לאיכות הנתונים ולגילוי נתונים.
• ניהול עלויות: מעקב אחרי צריכת המשאבים של Knowledge Catalog (כמו אגמים, אזורים ונכסים) ב-Monitoring, ושימוש בייצוא של נתוני החיוב ב-Cloud ל-BigQuery כדי לשייך את עלויות המחשוב בלי שרת (serverless computing) (DCU) לעומסי העבודה של איכות הנתונים, פרופיל הנתונים ושושלת הנתונים.
• שמירה על משילות מידע (data governance): מעקב אחרי מדדים שקשורים לגילוי מטא-נתונים ולהעשרת הקטלוג, כדי לוודא שנכסי הנתונים נסרקים ומתויגים בהתאם למדיניות המשילות שלכם.

איך זה עובד

‫Knowledge Catalog משולב עם Cloud Monitoring, שאוסף מדדים, אירועים ומטא-נתונים משירותי Knowledge Catalog. המדדים האלה מספקים תובנות לגבי תחומים כמו סטטוס ביצוע המשימות, השימוש ב-API ותקינות המשאבים. אתם יכולים לנתח את המדדים האלה באמצעות כלים ב-Cloud Monitoring, כמו Metrics Explorer, לוחות בקרה בהתאמה אישית והתראות. הכלים האלה מאפשרים לכם להציג את ההתנהגות של השירות, לזהות מגמות בביצועים וליצור כללי מדיניות התראה שיודיעו לכם כשהביצועים חורגים מהסף שהוגדר או כשיש כשלים.

גישה למדדי שירות ב-Monitoring

מדדי המשאבים של שירות Knowledge Catalog מופעלים באופן אוטומטי בשירותי Knowledge Catalog. כדי לראות את המדדים האלה, צריך להשתמש ב-Monitoring.

אפשר לגשת ל-Monitoring דרך מסוףGoogle Cloud או באמצעות Monitoring API.

אם אתם לא מצליחים לראות את תרשימי המעקב או ליצור התראות, יכול להיות שאתם צריכים הרשאות מעקב נוספות.

המסוף

1. נכנסים לדף Metrics explorer במסוף Google Cloud .

   כניסה לדף Metrics Explorer

2. בתפריט Select a metric, בוחרים משאב של Cloud Dataplex.

3. בוחרים קטגוריית מדדים ואז בוחרים מדד מהרשימה.

   כדי להציג מידע על מדד, מעבירים את הסמן מעל לשם המדד.

4. לוחצים על אישור.

5. אופציונלי: בוחרים מסננים, מקבצים לפי תוויות של מדדים, מבצעים צבירות ובוחרים אפשרויות תצוגה של התרשים.

REST

כדי לתעד ולפרט מדדים שמוגדרים באמצעות ביטוי filter, משתמשים ב-method‏ timeSeries.list של Monitoring.

כדי לשלוח בקשת API ולהציג את התשובה, משתמשים בתבנית Try this API בדף ה-API.

מדדי השירות של Knowledge Catalog ב-Monitoring

מדדי השירות של Knowledge Catalog עוזרים לכם לעקוב אחרי תקינות השירות.

הערה: יחידות המחשוב של DataScan ב-Knowledge Catalog (כמו סריקות אוטומטיות של איכות הנתונים וסריקות פרופיל נתונים) ויחידות המחשוב של נתונים (DCU) בשושלת נתונים פועלות במחשוב בלי שרת (serverless computing) בתשתית שמנוהלת על ידי Google, ולא פולטות מדדים של סדרות זמנים בזמן אמת ב-dataplex.googleapis.com/* ל-Cloud Monitoring. רק אגמים, אזורים ונכסים פולטים מדדים של סדרות זמן ל-Cloud Monitoring. כדי לעקוב אחרי צריכת המק"טים של Knowledge Catalog ועלויות ה-DCU בפרויקטים ובסריקות, לשייך אותן ולהריץ שאילתות בטבלאות הייצוא של החיוב ב-Cloud ב-BigQuery, אתם יכולים להשתמש בתוויות המערכת של Knowledge Catalog. לפרטים ולשאילתות לדוגמה, קראו את המאמר מעקב אחרי עלויות ה-DCU של Knowledge Catalog ושיוך שלהן באמצעות ייצוא של נתוני החיוב ב-Cloud.

למחרוזות של "סוג המדד" בטבלה הזו צריך להוסיף את הקידומת dataplex.googleapis.com/. הקידומת הזו הושמטה מהרשומות בטבלה. כששולחים שאילתה לגבי תווית, צריך להשתמש בקידומת metric.labels., לדוגמה metric.labels.LABEL="VALUE".

סוג המדד ^שלב ההשקה (רמות היררכיית המשאבים) השם המוצג
סוג, סוג, יחידה משאבים במעקב	תיאור תוויות
asset/active ^בטא  (פרויקט) פעיל
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	אם הנכס פעיל. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
asset/data_items ^בטא  (פרויקט) פריטי נתונים
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הפריטים במשאב שהוזכר. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
asset/data_size ^בטא  (פרויקט) גודל הנתונים
GAUGE, INT64, By dataplex.googleapis.com/Asset	מספר הבייטים שמאוחסנים במשאב שאליו מתייחסים. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
asset/entities_pending_bigquery_iampolicy_updates ^בטא  (פרויקט) ישויות עם עדכונים בהמתנה למדיניות IAM של BigQuery
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות שמשויכות לנכס עם עדכונים בהמתנה של מדיניות IAM ב-BigQuery. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
asset/entities_pending_bigquery_metadata_updates ^בטא  (פרויקט) ישויות עם עדכוני מטא-נתונים של BigQuery בהמתנה
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות שמשויכות לנכס עם עדכוני מטא-נתונים של BigQuery בהמתנה. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
asset/filesets ^בטא  (פרויקט) קבוצות קבצים
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות של קבוצות הקבצים במשאב שהוזכר. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
asset/requires_action ^בטא  (פרויקט) נדרשת פעולה
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	אם יש בנכס פעולות אדמין שלא טופלו. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
asset/tables ^בטא  (פרויקט) טבלאות
GAUGE, INT64, 1 dataplex.googleapis.com/Asset	מספר הישויות בטבלה בתוך המשאב שהוזכר. ‫ resource_type: סוג המשאב שאליו מפנים. ‫ zone_type: סוג האזור הראשי.
lake/requires_action ^בטא  (פרויקט) נדרשת פעולה
GAUGE, INT64, 1 dataplex.googleapis.com/Lake	אם יש באגם פעולות אדמין שלא טופלו.
zone/requires_action ^בטא  (פרויקט) נדרשת פעולה
GAUGE, INT64, 1 dataplex.googleapis.com/Zone	אם יש באזור פעולות אדמין שלא טופלו. ‫ type: סוג האזור.

הטבלה נוצרה ב-22 באוקטובר 2026 בשעה 02:44:18 לפי שעון UTC.

מעקב אחרי עלויות ה-DCU של Knowledge Catalog ושיוך שלהן באמצעות ייצוא נתוני החיוב ב-Cloud

סריקות הנתונים של Knowledge Catalog (כולל איכות נתונים אוטומטית ופרופיל נתונים) ושושלת נתונים לא מפרסמות מדדי סדרת זמנים ב-Cloud Monitoring. לכן, אתם יכולים להשתמש בייצוא של נתוני החיוב ב-Cloud ל-BigQuery כדי לעקוב אחרי השימוש ביחידות מחשוב של נתונים (DCU) והעלויות שלהן בפרויקטים, בסריקות ובמשאבי נתונים, וגם כדי לנטר ולשייך אותם.

תוויות חיוב ב-Knowledge Catalog

‫Knowledge Catalog מצרף באופן אוטומטי תוויות מערכת לרשומות החיוב שנוצרות בעקבות סריקות נתונים ושושלת נתונים. אפשר לשלוח שאילתות לגבי התוויות האלה במערך labels בטבלת הייצוא של החיוב ב-Cloud:

מפתח התווית	עומס עבודה	תיאור
goog-dataplex-datascan-id	איכות הנתונים, פרופיל נתונים	המזהה או השם של סריקת הנתונים.
goog-dataplex-datascan-job-id	איכות הנתונים, פרופיל נתונים	מזהה הביצוע הספציפי של משימת סריקת הנתונים.
goog-dataplex-datascan-data-source-project	איכות הנתונים, פרופיל נתונים	הפרויקט ב- Google Cloud שמכיל את מקור הנתונים שנסרק.
goog-dataplex-datascan-data-source-region	איכות הנתונים, פרופיל נתונים	האזור ( Google Cloud ) של מקור הנתונים שנסרק.
goog-dataplex-datascan-data-source-bigquery-dataset	איכות הנתונים, פרופיל נתונים	המזהה של מערך הנתונים ב-BigQuery של הטבלה שנסרקה.
goog-dataplex-datascan-data-source-bigquery-table	איכות הנתונים, פרופיל נתונים	מזהה הטבלה ב-BigQuery שנסרקה.
goog-dataplex-datascan-data-source-dataplex-lake	איכות הנתונים, פרופיל נתונים	מזהה ה-lake ב-Knowledge Catalog (אם רלוונטי).
goog-dataplex-datascan-data-source-dataplex-zone	איכות הנתונים, פרופיל נתונים	מזהה אזור הנתונים של Knowledge Catalog (אם רלוונטי).
goog-dataplex-datascan-data-source-dataplex-entity	איכות הנתונים, פרופיל נתונים	מזהה הישות ב-Knowledge Catalog (אם רלוונטי).
goog-dataplex-datascan-data-source-biglake-catalog	איכות הנתונים, פרופיל נתונים	מזהה הקטלוג של BigLake (אם רלוונטי).
goog-dataplex-datascan-data-source-biglake-namespace	איכות הנתונים, פרופיל נתונים	מרחב השמות של BigLake (אם רלוונטי).
goog-dataplex-datascan-data-source-biglake-table	איכות הנתונים, פרופיל נתונים	מזהה הטבלה ב-BigLake (אם רלוונטי).
goog-dataplex-workload-type	שושלת נתונים	מזהה את עומס העבודה. הגדירו את הערך LINEAGE כדי לחייב על עיבוד של שושלת נתונים.

שאילתות לדוגמה

לפני שמריצים את השאילתות האלה, צריך לוודא שהפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery. בשאילתות לדוגמה, מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמארח את מערך הנתונים של ייצוא החיוב ב-BigQuery.
• ‫DATASET_NAME: השם של מערך הנתונים ב-BigQuery שמכיל את טבלת הייצוא של נתוני החיוב.
• ‫BILLING_ACCOUNT_ID: מספר החשבון לחיוב ב-Cloud (בפורמט עם קווים תחתונים, לדוגמה 012345_567890_ABCDEF).

שאילתה 1: שיוך העלויות והשימוש ב-DCU לפי DataScan וטבלת היעד

השאילתה הזו צוברת את עלויות העיבוד של Knowledge Catalog ושל Premium לפי מזהה DataScan וטבלת היעד ב-BigQuery ב-30 הימים האחרונים:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

שאילתה 2: שיוך עלויות של Knowledge Catalog לפי סוג עומס העבודה (Lineage לעומת DataScan)

השאילתה הזו מפרטת את העלויות של מק"טים של Knowledge Catalog לפי קטגוריית עומס עבודה (למשל, Data Lineage לעומת DataScan) בכל הפרויקטים:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

שאילתה 3: מגמת השימוש היומי ב-DCU והעלות היומית לכל הפעלה של משימת DataScan

השאילתה הזו עוקבת אחרי הצריכה היומית של DCU והעלויות של הפעלות נפרדות של משימות DataScan ב-7 הימים האחרונים:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

יצירת לוח בקרה בהתאמה אישית ב-Monitoring

אתם יכולים ליצור לוח בקרה מותאם אישית ב-Monitoring, שבו יוצגו תרשימים של מדדי שירות נבחרים של Knowledge Catalog. מידע נוסף על יצירת מרכז בקרה זמין במאמר יצירה וניהול של מרכזי בקרה בהתאמה אישית. כשבוחרים מדד לווידג'ט בלוח הבקרה, בוחרים משאב Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.

שימוש בהתראות של Monitoring

אתם יכולים ליצור התראה ב-Monitoring שמודיעה לכם כשמדד של שירות או משימה ב-Knowledge Catalog חוצה סף מסוים.

יצירת התראה

כדי ליצור התראה, פועלים לפי ההוראות במאמר יצירת מדיניות התראות לפי סף של מדד. כשבוחרים סדרת זמן למעקב, בוחרים משאב של Cloud Dataplex ואז בוחרים מדד של Knowledge Catalog.

הצגת ההתראות

כשמופעלת התראה על ידי תנאי סף של מדד, המערכת של Monitoring יוצרת אירוע ואירוע תואם.

כדי לצפות באירוע:

• נכנסים לדף Alerting במסוף Google Cloud .

  כניסה לדף Alerting

אם הגדרתם מנגנון התראות במדיניות ההתראות, כמו התראה באימייל או התראת סמס, תקבלו גם התראה על האירוע מ-Monitoring.

מידע נוסף על התראות

המאמרים הבאים

• מידע נוסף על Cloud Monitoring
• מידע על ייצוא של נתוני החיוב ב-Cloud ל-BigQuery
• איך משתמשים בתכונה "איכות נתונים אוטומטית"
• איך משתמשים ביצירת פרופילים של נתונים
• איך משתמשים בשושלת נתונים