מעקב אחרי יומנים של Knowledge Catalog

במאמר הזה מוסבר איך לגשת ליומנים של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשלוח אליהם שאילתות ולפרש אותם באמצעות Cloud Logging. גישה ליומנים של משימות ושירותים ב-Knowledge Catalog מאפשרת לכם לפתור בעיות ולעקוב אחרי פעילויות של ניהול נתונים, כולל חיפוש נתונים מבוסס-AI וסריקה של איכות הנתונים.

רישום מרכזי ביומן ב-Logging מאפשר לכם לנתח את ביצועי העבודות, להגדיר התראות על כשלים או חריגות ולנתב יומנים לשירותים אחרים Google Cloud כמו BigQuery לצורך שמירה וניתוח לטווח ארוך.

כדי להבין את העלויות, אפשר לעיין במחירון של Google Cloud Observability.

מידע נוסף על שמירת יומנים זמין במאמר תקופות שמירה של יומנים.

כדי להשבית את כל היומנים או להחריג יומנים מרישום ביומן, אפשר לעיין במאמר בנושא מסנני החרגה.

הוראות לניתוב יומנים מ-Logging אל Cloud Storage,‏ BigQuery או Pub/Sub מופיעות במאמר סקירה כללית על ניתוב ואחסון.

תרחישים לדוגמה

רישום ביומן של Knowledge Catalog תומך בתרחישי שימוש בתחומים שונים:

  • פתרון בעיות ב-Data pipelines: כשמשימה של Knowledge Catalog לעיבוד נתונים נכשלת, היומנים של process מספקים הודעות שגיאה מפורטות שעוזרות למהנדסי מערכות מידע לזהות ולפתור בעיות במשימות Spark או במשימות מותאמות אישית.
  • מעקב אחרי איכות הנתונים: חברה לשירותים פיננסיים יכולה לעקוב אחרי יומני data_quality_scan_rule_result כדי לזהות מגמות באיכות הנתונים לאורך זמן, לקבל התראות על ירידה באיכות של נכסי נתונים קריטיים ולספק למבקרים הוכחות לבדיקות של איכות הנתונים לצורך עמידה בתקנות.
  • מעקב אחרי העשרת המטא-נתונים: חברה קמעונאית שמשתמשת במשימות ייבוא של מטא-נתונים כדי להעשיר את הקטלוג שלה יכולה להשתמש ביומני metadata_job כדי לוודא שהייבוא מסתיים בהצלחה ושהמערכת מעבדת את כל פריטי המטא-נתונים בצורה נכונה.
  • ביקורת על גילוי נתונים: ארגונים יכולים להשתמש ביומני discovery כדי לעקוב אחרי האופן שבו מקורות נתונים חדשים מתגלים ונרשמים ב-Knowledge Catalog, ומתי זה קורה. כך אפשר ליצור נתיב ביקורת לתהליכי הוספת הנתונים.

איך פועל רישום ביומן ב-Knowledge Catalog

‫Knowledge Catalog שולח ל-Cloud Logging יומנים של פעולות שירות והפעלות של משימות. כל רשומה ביומן מכילה פרטים על הפעולה או המשימה, כמו הסטטוס, שעת ההתחלה והסיום, המשאבים המשויכים (כמו סריקת נתונים או משימה) והתוצאה. סוגים שונים של פעולות, כמו סריקת נתונים, גילוי, ייבוא מטא-נתונים ועיבוד נתונים, יוצרים סוגים שונים של יומנים, שאפשר לשלוח אליהם שאילתות באמצעות logName או שפת השאילתות של Logging ב-Logging.

אתם יכולים לגשת ליומנים האלה ולנתח אותם באמצעות Logs Explorer במסוףGoogle Cloud , או לנתב אותם ליעדים אחרים כמו קטגוריות של Cloud Storage או טבלאות ב-BigQuery כדי לבצע ניתוח נוסף.

סוגי היומנים של Knowledge Catalog

Knowledge Catalog מפרסם את יומני השירות הבאים ב-Cloud Logging.

סוג יומן הביקורת שם יומן הביקורת שאילתה logName תיאור היומן
יומני אירועים של סריקות נתונים dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) יומני אירועים ברמת המשימה למשימות סריקה של נתונים (סריקות של איכות נתונים, פרופיל נתונים ותובנות מבוססות נתונים) שמציינים את מצב המשימה, התוצאות והסטטיסטיקות
יומנים של תוצאות של כללים לסריקת איכות נתונים dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) תוצאות מפורטות של הערכה ברמת הכלל לכל כלל שהוערך במשימת סריקה של איכות הנתונים
יומני Discovery dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) התקדמות הגילוי ועדכונים לגבי נכסים באזור
יומני משימות של מטא-נתונים dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) יומנים על משימות ייבוא של מטא-נתונים ופריטי ייבוא בקובץ ייבוא המטא-נתונים
יומני תהליכים dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) הרצות של משימות שנובעות ממשימות של עיבוד נתונים

גישה ליומני השירות של Knowledge Catalog

כדי לגשת ל-Logging, אתם יכולים להשתמש ב-Logs Explorer במסוףGoogle Cloud , בפקודות gcloud logging או ב-Logging API. אתם יכולים להשתמש בשפת השאילתות של Logging כדי ליצור שאילתות מפורטות.

הרשאות IAM נדרשות

כדי להציג יומנים ולשלוח אליהם שאילתות, צריך את התפקיד "צפייה ביומנים" (roles/logging.viewer) או הרשאות דומות בפרויקט.

צפייה ביומנים במסוף Google Cloud

  1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

    כניסה לדף Logs Explorer

  2. מגדירים את המסננים Resource ו-Log name לפי הטבלה הבאה:

    סוג יומן הביקורת בחירת משאבים בחירת שם היומן
    אירועים של סריקת נתונים Audited Resource > Service: Cloud Dataplex dataplex.googleapis.com/data_scan
    תוצאות של כללי סריקה של איכות הנתונים Audited Resource > Service: Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    יומני גילוי אזור ב-Cloud Dataplex dataplex.googleapis.com/discovery
    יומנים של משימות מטא-נתונים משימת מטא-נתונים של Cloud Dataplex dataplex.googleapis.com/metadata_job
    עיבוד יומנים Cloud Dataplex Task dataplex.googleapis.com/process

  3. (אופציונלי) בוחרים מסנני משנה ספציפיים (כמו מזהה משימה ספציפי) כדי לצמצם את השאילתה.

  4. לוחצים על Apply ואז על Run query.

דוגמאות לסינון יומנים

אתם יכולים להשתמש בשפת השאילתות של Logging בכלי לעריכת שאילתות ב-Logs Explorer או ב-Google Cloud CLI. בדוגמאות הבאות מוסבר איך לקרוא יומנים באמצעות ה-CLI של gcloud.

דוגמה: קריאת אירועים של סריקת נתונים

כדי לקרוא רשומות ביומן האירועים של סריקות של איכות נתונים או של סריקות פרופיל נתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

דוגמה: קריאת רשומות ביומן של תהליך

כדי לקרוא רשומות ביומן של תהליך, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

דוגמאות למטענים ייעודיים (payloads) של יומנים

בדוגמאות הבאות מוצגים מבני המטען הייעודי (payload) ב-JSON של סוגים שונים של יומני Knowledge Catalog. אתם יכולים להשתמש בדוגמאות האלה כדי להבין את מבנה היומנים וליצור מסנני יומנים.

יומני אירועים של סריקת נתונים

ב-Knowledge Catalog, סריקות הנתונים כוללות סריקות של איכות הנתונים, סריקות פרופיל נתונים וסריקות של תובנות מנתונים. כשמריצים משימה של סריקת נתונים, Knowledge Catalog יוצר ב-Logging יומן אירועים של data_scan שמסכם את כל מה שקרה במהלך המשימה. בסריקות מוצלחות של תובנות מבוססות נתונים (jsonPayload.type="DATA_DOCUMENTATION"), יומן האירועים כולל גם בלוק billableTokenUsage. במאמר מעקב אחרי השימוש בטוקנים של תובנות מנתונים מוסבר איך שולחים שאילתות ויוצרים תרשימים של צריכת הטוקנים של תובנות מנתונים.

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן אירועים לסריקה של איכות הנתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני התוצאות של כללי הסריקה של איכות הנתונים

כשמריצים סריקה של איכות הנתונים, ‏Knowledge Catalog יוצר יומן אירועים של סריקת הנתונים ויומן נפרד של תוצאות הסריקה של איכות הנתונים לכל כלל שנבדק במשימה.

כל רשומה ביומן data_quality_scan_rule_result מכילה מידע על הכלל הספציפי, כולל הגדרת הכלל, ממד ההערכה, הסטטוס ומספר השורות.

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן תוצאות של כלל לסריקת איכות נתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני Discovery

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן גילוי:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני משימות של מטא-נתונים

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן משימות של מטא-נתונים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

יומני תהליכים

בדוגמה הבאה מוצג מטען ייעודי (payload) של יומן תהליכים:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

הגדרת התראות מבוססות-יומנים

אתם יכולים להגדיר התראות מבוססות-יומנים כדי לקבל התראה בכל פעם שמתרחשים אירועים ספציפיים ב-Knowledge Catalog (למשל, סריקה כושלת של איכות הנתונים).

כדי ליצור התראות שמבוססות על יומנים, צריך להקצות את התפקידים Logs Configuration Writer ‏(roles/logging.configWriter) ו-Monitoring AlertPolicy Editor ‏(roles/monitoring.alertPolicyEditor) או הרשאות שוות ערך.

  1. מריצים שאילתה ב-Logs Explorer שמטרגטת את תנאי הכשל (לדוגמה: resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. מעל חלונית תוצאות השאילתה, לוחצים על יצירת התראה.
  3. בחלונית Create log-based alert, מזינים שם ותיאור למדיניות ההתראות.
  4. לוחצים על Next ומגדירים את ערוצי ההתראות.
  5. לוחצים על Save.

למידע נוסף, קראו את המאמר יצירת התראות מבוססות-יומנים.

המאמרים הבאים