מעקב אחרי יומנים של Knowledge Catalog

במאמר הזה מוסבר איך לגשת ליומנים של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשלוח אליהם שאילתות ולפרש אותם באמצעות Cloud Logging. גישה ליומני המשימות והשירותים של Knowledge Catalog מאפשרת לכם לפתור בעיות ולעקוב אחרי פעילויות ניהול הנתונים, כולל חיפוש נתונים מבוסס-AI וסריקת איכות הנתונים.

הערה: כדי לראות את יומני הפעולות של האדמינים והגישה לנתונים, עיינו בדף רישום ביומן הביקורת של Knowledge Catalog.

רישום מרכזי ביומן ב-Logging מאפשר לנתח את ביצועי המשימות, להגדיר התראות על כשלים או חריגות ולנתב את היומנים לשירותים אחרים של Google Cloud, כמו BigQuery, לצורך שמירה וניתוח לטווח ארוך.

למחירון של Google Cloud Observability

מידע נוסף על שמירת יומנים זמין במאמר תקופות שמירה של יומנים.

כדי להשבית את כל היומנים או להחריג יומנים מ-Logging, קראו את המאמר מסנני החרגה.

כדי לנתב יומנים מ-Logging אל Cloud Storage,‏ BigQuery או Pub/Sub, קראו את המאמר סקירה כללית על ניתוב ואחסון.

תרחישים לדוגמה

רישום ביומן של Knowledge Catalog תומך בתרחישים לדוגמה בתעשיות שונות:

• פתרון בעיות שקשורות לכשלים בפייפליין נתונים: כשמשימה של Knowledge Catalog לעיבוד נתונים נכשלת, היומנים של process מספקים הודעות שגיאה מפורטות שעוזרות למהנדסי מערכות מידע לזהות ולפתור בעיות במשימות Spark או במשימות בהתאמה אישית.
• מעקב אחרי איכות הנתונים: חברה לשירותים פיננסיים יכולה לעקוב אחרי יומני data_quality_scan_rule_result כדי לזהות מגמות באיכות הנתונים לאורך זמן, לקבל התראות על ירידה באיכות של נכסי נתונים קריטיים ולספק למבקרים הוכחות לבדיקות של איכות הנתונים לצורך עמידה בתקנות.
• מעקב אחרי העשרת מטא-נתונים: חברה קמעונאית שמשתמשת במשימות ייבוא של מטא-נתונים כדי להעשיר את הקטלוג שלה יכולה להשתמש ביומני metadata_job כדי לוודא שהייבוא הושלם בהצלחה וכל פריטי המטא-נתונים מעובדים בצורה נכונה.
• ביקורת על גילוי נתונים: ארגונים יכולים להשתמש ביומני discovery כדי לעקוב אחרי האופן שבו מקורות נתונים חדשים מתגלים ונרשמים ב-Knowledge Catalog, ומתי זה קורה. כך הם יכולים ליצור נתיב ביקורת לתהליכי הוספת הנתונים.

איך פועל הרישום ביומן של Knowledge Catalog

‫Knowledge Catalog שולח ל-Cloud Logging יומנים של פעולות שירות והפעלות של משימות. כל רשומה ביומן מכילה פרטים על הפעולה או המשימה, כמו הסטטוס, שעת ההתחלה והסיום, המשאבים המשויכים (כמו סריקת נתונים או משימה) והתוצאה. סוגים שונים של פעולות, כמו סריקת נתונים, גילוי, ייבוא מטא-נתונים ועיבוד נתונים, יוצרים סוגים שונים של יומנים, שאפשר לשלוח אליהם שאילתות באמצעות logName או שפת השאילתות של Logging ב-Logging.

אתם יכולים לגשת ליומנים האלה ולנתח אותם באמצעות Logs Explorer במסוףGoogle Cloud , או לנתב אותם ליעדים אחרים כמו קטגוריות של Cloud Storage או טבלאות ב-BigQuery כדי להמשיך לנתח אותם.

סוגי היומנים של Knowledge Catalog

‫Knowledge Catalog מפרסם את יומני השירות הבאים ב-Cloud Logging.

סוג יומן הביקורת	שם יומן הביקורת	שאילתה אחת (logName)	תיאור היומן
יומני אירועים של סריקות נתונים	dataplex.googleapis.com/data_scan	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)	יומני אירועים ברמת המשימה של משימות סריקת נתונים (סריקות של איכות הנתונים, פרופיל הנתונים ותובנות מנתונים) שמציינים את מצב המשימה, התוצאות והנתונים הסטטיסטיים
יומני תוצאות של כללי סריקה לאיכות נתונים	dataplex.googleapis.com/data_quality_scan_rule_result	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)	תוצאות הערכה מפורטות ברמת הכלל לכל כלל שהוערך במשימת סריקה של איכות הנתונים
יומני Discovery	dataplex.googleapis.com/discovery	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)	התקדמות ועדכונים של תהליך הגילוי בנכסים באזור מסוים
יומני משימות של מטא-נתונים	dataplex.googleapis.com/metadata_job	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)	יומנים על משימות ייבוא של מטא-נתונים ופריטי ייבוא בקובץ ייבוא המטא-נתונים
יומני תהליכים	dataplex.googleapis.com/process	logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)	הרצות של משימות שנובעות ממשימות של עיבוד נתונים

גישה ליומני השירות של Knowledge Catalog

כדי לגשת ל-Logging, אתם יכולים להשתמש ב-Logs Explorer במסוףGoogle Cloud , בפקודות gcloud logging או ב-Logging API. אתם יכולים להשתמש בשפת השאילתות של Logging כדי ליצור שאילתות מפורטות.

הרשאות IAM נדרשות

כדי להציג יומנים ולשלוח אליהם שאילתות, צריך את התפקיד צפייה ביומנים (roles/logging.viewer) או הרשאות דומות בפרויקט.

צפייה ביומנים במסוף Google Cloud

1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

   כניסה לדף Logs Explorer

2. מגדירים את המסננים Resource ו-Log name לפי הטבלה הבאה:

   סוג יומן הביקורת	בחירת משאבים	בחירת שם היומן
   אירועים של סריקת נתונים	Audited Resource > Service: Cloud Dataplex	dataplex.googleapis.com/data_scan
   תוצאות של כללי סריקה של איכות הנתונים	Audited Resource > Service: Cloud Dataplex	dataplex.googleapis.com/data_quality_scan_rule_result
   יומני גילוי	אזור ב-Cloud Dataplex	dataplex.googleapis.com/discovery
   יומני משימות של מטא-נתונים	משימת מטא-נתונים של Cloud Dataplex	dataplex.googleapis.com/metadata_job
   יומני תהליכים	משימה ב-Cloud Dataplex	dataplex.googleapis.com/process

   הערה: יכול להיות שתצטרכו ללחוץ על Apply אחרי שתבחרו את המשאב, כדי ששמות היומנים המתאימים יהיו זמינים בתפריט הנפתח.

3. (אופציונלי) בוחרים מסנני משנה ספציפיים (כמו מזהה משימה ספציפי) כדי לצמצם את השאילתה.

4. לוחצים על Apply ואז על Run query.

דוגמאות לסינון יומנים

אתם יכולים להשתמש בשפת השאילתות של Logging בעורך השאילתות של Logs Explorer או באמצעות Google Cloud CLI. בדוגמאות הבאות מוסבר איך לקרוא יומנים באמצעות ה-CLI של gcloud.

דוגמה: קריאת אירועים של סריקת נתונים

כדי לקרוא רשומות ביומן האירועים של סריקות איכות הנתונים או סריקות פרופיל נתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

דוגמה: קריאת רשומות ביומן התהליכים

כדי לקרוא את הרשומות ביומן התהליכים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

מטענים ייעודיים לדוגמה של יומנים

בדוגמאות הבאות מוצגים מבני המטען הייעודי (payload) ב-JSON של סוגים שונים של יומני Knowledge Catalog. אתם יכולים להשתמש בדוגמאות האלה כדי להבין את מבנה היומנים וליצור מסנני יומנים.

יומני אירועים של סריקות נתונים

ב-Knowledge Catalog, סריקות הנתונים כוללות סריקות של איכות הנתונים, סריקות של פרופיל הנתונים וסריקות של תובנות מנתונים. כשמריצים משימה של סריקת נתונים, Knowledge Catalog כותב ב-Logging data_scan יומן אירועים שמסכם את כל המשימה. בסריקות מוצלחות של תובנות מנתונים (jsonPayload.type="DATA_DOCUMENTATION"), יומן האירועים כולל גם בלוק billableTokenUsage. במאמר מעקב אחרי השימוש בטוקנים של תובנות מנתונים מוסבר איך שולחים שאילתות על צריכת הטוקנים של תובנות מנתונים ואיך יוצרים תרשימים של הצריכה.

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן אירועים לסריקה של איכות הנתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני תוצאות של כללי סריקה לאיכות נתונים

כשמריצים סריקה של איכות הנתונים, ‏Knowledge Catalog יוצר יומן אירועים של סריקת הנתונים ויומן נפרד של תוצאות הסריקה של איכות הנתונים לכל כלל שנבדק במשימה.

כל רשומת יומן של data_quality_scan_rule_result מכילה מידע על הכלל הספציפי, כולל הגדרת הכלל, מאפיין ההערכה, הסטטוס ומספר השורות.

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן תוצאות של כלל סריקה לאיכות נתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני Discovery

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן גילוי:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני משימות של מטא-נתונים

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן משימות של מטא-נתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני תהליכים

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן תהליכים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

הגדרת התראות מבוססות-יומנים

אתם יכולים להגדיר התראות מבוססות-יומנים כדי לקבל התראה בכל פעם שמתרחשים אירועים ספציפיים ב-Knowledge Catalog (למשל, סריקה כושלת של איכות הנתונים).

כדי ליצור התראות מבוססות-יומנים, צריך את התפקידים כתיבת הגדרות של יומנים (roles/logging.configWriter) ועריכת מדיניות התראות למעקב (roles/monitoring.alertPolicyEditor), או הרשאות שוות ערך.

1. מריצים שאילתה ב-Logs Explorer שמטרגטת את תנאי הכשל (לדוגמה: resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
2. מעל החלונית של תוצאות השאילתה, לוחצים על Create alert.
3. בחלונית Create log-based alert, מזינים שם ותיאור למדיניות ההתראות.
4. לוחצים על Next ומגדירים את ערוצי ההתראות.
5. לוחצים על Save.

למידע נוסף, קראו את המאמר יצירת התראות מבוססות-יומנים.

המאמרים הבאים

• איך עוקבים אחרי השימוש בטוקנים של תובנות מנתונים
• מידע נוסף על Cloud Logging
• מידע ולמידה על מעקב אחרי Knowledge Catalog