מעקב אחרי יומנים של Knowledge Catalog

במאמר הזה מוסבר איך לגשת ליומנים של Knowledge Catalog (לשעבר Dataplex Universal Catalog), לשלוח אליהם שאילתות ולפרש אותם באמצעות Cloud Logging. גישה ליומני העבודות ויומני השירותים של Knowledge Catalog עוזרת לכם לפתור בעיות ולעקוב אחרי פעילויות של ניהול נתונים, כולל גילוי נתונים מבוסס-AI וסריקה של איכות הנתונים. ריכוז היומנים ב-Logging מאפשר לכם לנתח את ביצועי העבודות, להגדיר התראות על כשלים או אנומליות ולנתב יומנים לשירותים אחרים כמו BigQuery לצורך שמירה וניתוח לטווח ארוך. Google Cloud

כדי להבין את העלויות, אפשר לעיין במחירון של Google Cloud Observability.

מידע נוסף על שמירת יומנים זמין במאמר תקופות שמירה של יומנים.

כדי להשבית את כל היומנים או להחריג יומנים מ-Logging, אפשר לעיין במאמר בנושא מסנני החרגה.

הוראות לניתוב יומנים מ-Logging אל Cloud Storage,‏ BigQuery או Pub/Sub מופיעות במאמר סקירה כללית על ניתוב ואחסון.

תרחישים לדוגמה

רישום ביומן של Knowledge Catalog תומך בתרחישי שימוש בתחומים שונים:

  • פתרון בעיות בפייפליינים של נתונים: כשמשימה של Knowledge Catalog לעיבוד נתונים נכשלת, יומני process מספקים הודעות שגיאה מפורטות שעוזרות למהנדסי נתונים לזהות ולפתור בעיות במשימות Spark או במשימות מותאמות אישית.
  • מעקב אחרי איכות הנתונים: חברה שמספקת שירותים פיננסיים יכולה לעקוב אחרי יומני data_quality_scan_rule_result כדי לעקוב אחרי מגמות של איכות הנתונים לאורך זמן, לקבל התראות על ירידה באיכות של נכסי נתונים קריטיים ולספק לרואי חשבון הוכחות לבדיקות של איכות הנתונים לצורך עמידה בדרישות הרגולטוריות.
  • מעקב אחרי העשרת המטא-נתונים: חברה קמעונאית שמשתמשת במשימות ייבוא של מטא-נתונים כדי להעשיר את הקטלוג שלה יכולה להשתמש ביומני metadata_job כדי לוודא שהייבוא מסתיים בהצלחה ושהמערכת מעבדת את כל פריטי המטא-נתונים בצורה נכונה.
  • ביקורת על גילוי נתונים: ארגונים יכולים להשתמש ביומנים של discovery כדי לעקוב אחרי האופן והזמן שבהם מתגלים ונרשמים מקורות נתונים חדשים ב-Knowledge Catalog, וכך לספק נתיב ביקורת לתהליכי צירוף נתונים.

איך פועל רישום ביומן ב-Knowledge Catalog

‫Knowledge Catalog שולח יומנים של פעולות שירות והפעלות של משימות אל Cloud Logging. כל רשומה ביומן מכילה פרטים על הפעולה או העבודה, כמו הסטטוס, שעת ההתחלה והסיום, המשאבים המשויכים (כמו סריקת נתונים או משימה) והתוצאה. סוגים שונים של פעולות, כמו סריקת נתונים, גילוי, ייבוא מטא-נתונים ועיבוד נתונים, יוצרים סוגים שונים של יומנים שאפשר להריץ עליהם שאילתות באמצעות logName או שפת השאילתות של רישום ביומן ב-Logging.

אפשר לגשת ליומנים האלה ולנתח אותם באמצעות Logs Explorer במסוףGoogle Cloud , או לנתב אותם ליעדים אחרים כמו קטגוריות של Cloud Storage או טבלאות של BigQuery כדי לבצע ניתוח נוסף.

גישה ליומני שירות של Knowledge Catalog ב-Logging

Knowledge Catalog מפרסם את יומני השירות הבאים ב-Cloud Logging.

סוג יומן הביקורת שם יומן הביקורת שאילתה אחת (logName) תיאור היומן
יומני אירועים של סריקת נתונים dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) יומני אירועים של משימות סריקת נתונים שמציינים את מצב המשימה, התוצאות והנתונים הסטטיסטיים
יומנים של תוצאות כללים לסריקת איכות נתונים dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) תוצאות של כללים לסריקת איכות הנתונים במשימה של איכות הנתונים
יומני Discovery dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) התקדמות ועדכונים של Discovery לגבי נכסים באזור
יומני משימות של מטא-נתונים dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) יומנים לגבי משימות ייבוא של מטא-נתונים ופריטים לייבוא בקובץ ייבוא המטא-נתונים
יומני תהליכים dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) הפעלות של משימות שנובעות ממשימות עיבוד נתונים

כדי לגשת ל-Logging, אפשר להשתמש ב-Logs Explorer בGoogle Cloud מסוף, בפקודות gcloud logging או ב-Logging API. אפשר להשתמש בשפת השאילתות של רישום ביומן כדי ליצור שאילתות מפורטות.

שאילתות על יומני אירועים של סריקת נתונים

כשמשתמשים ב-Knowledge Catalog כדי ליצור ולהריץ סריקת נתונים, נוצר יומן אירועים של סריקת הנתונים ב-Logging עבור העבודה שמתקבלת.

המסוף

  1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

    כניסה לדף Logs Explorer

  2. לוחצים על כל המשאבים.

  3. ברשימה Select resource (בחירת משאב), לוחצים על Audited Resource (משאב שנבדק) ואז בוחרים באפשרות Cloud Dataplex. אפשר גם לסנן את היומנים לפי שיטה ספציפית. כדי לעשות זאת, בוחרים את השיטה בקטע שיטה. לוחצים על אישור.

  4. לוחצים על כל שמות היומנים.

  5. ברשימה Select log names, מזינים את הערך dataplex.googleapis.com%2Fdata_scan. בוחרים באפשרות data_scan כדי לסנן את היומנים לפי אירועים ביומן של סריקת נתונים, ולוחצים על החלה.

  6. אופציונלי: כדי לבצע סינון מתקדם יותר, אפשר להשתמש בשפת השאילתות של היומן כדי להוסיף מסננים לשאילתת היומן. לדוגמה, כדי לסנן לפי מזהה או מיקום ספציפיים של סריקת נתונים, מוסיפים את המסננים הבאים בשדה השאילתה ולוחצים על Run query:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

gcloud

כדי לקרוא את הרשומות ביומן האירועים של סריקת הנתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

כדי להציג את הרשומות ביומן, משתמשים בשיטה entries.list.

שאילתת יומנים של תוצאות של כללים לסריקת איכות נתונים

כשמשתמשים ב-Knowledge Catalog כדי ליצור ולהריץ סריקה של איכות הנתונים, נוצר יומן רישום של תוצאות כללי הסריקה של איכות הנתונים בענן Logging עבור העבודה שמתקבלת.

המסוף

  1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

    כניסה לדף Logs Explorer

  2. לוחצים על כל המשאבים.

  3. ברשימה Select resource (בחירת משאב), לוחצים על Audited Resource (משאב שנבדק) ואז בוחרים באפשרות Cloud Dataplex. אפשר גם לסנן את היומנים לפי שיטה ספציפית. כדי לעשות זאת, בוחרים את השיטה בקטע שיטה. לוחצים על אישור.

  4. לוחצים על כל שמות היומנים.

  5. ברשימה Select log names, מזינים את הערך dataplex.googleapis.com%2Fdata_quality_scan_rule_result. בוחרים באפשרות data_quality_scan_rule_result כדי לסנן את היומנים לפי יומני תוצאות של כללי סריקה של איכות הנתונים, ולוחצים על החלה.

  6. אופציונלי: כדי לבצע סינון מתקדם יותר, אפשר להשתמש בשפת השאילתות של היומן כדי להוסיף מסננים לשאילתת היומן. לדוגמה, כדי לסנן לפי מזהה או מיקום ספציפיים של סריקת נתונים, מוסיפים את המסננים הבאים בשדה השאילתה ולוחצים על Run query:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

gcloud

כדי לקרוא את הרשומות ביומן של תוצאות הסריקה של כללי איכות הנתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

כדי להציג את הרשומות ביומן, משתמשים בשיטה entries.list.

שאילתות ביומני גילוי

כשמשתמשים ב-Knowledge Catalog כדי לגלות נתונים בנכסים, נוצר יומן גילוי ב-Logging.

המסוף

  1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

    כניסה לדף Logs Explorer

  2. לוחצים על כל המשאבים.

  3. ברשימה Select resource, לוחצים על Cloud Dataplex Zone כדי לסנן את היומנים לפי משאבי אזור של Knowledge Catalog. אפשר גם לסנן את היומנים כדי להציג רק נכס ספציפי. לשם כך, בוחרים את המיקום, האגם והאזור. לוחצים על אישור.

  4. לוחצים על כל שמות היומנים.

  5. ברשימה Select log names, מזינים את הערך dataplex.googleapis.com%2Fdiscovery. בוחרים באפשרות discovery כדי לסנן את היומנים ליומני Discovery ולוחצים על החלה.

  6. אופציונלי: כדי לבצע סינון מתקדם יותר, אפשר להשתמש בשפת השאילתות של היומן כדי להוסיף מסננים לשאילתת היומן. לדוגמה, כדי לסנן נכס ספציפי, מוסיפים את המסננים הבאים בשדה השאילתה ולוחצים על Run query:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

gcloud

כדי לקרוא את הרשומות ביומן הגילוי, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

כדי להציג את הרשומות ביומן, משתמשים בשיטה entries.list.

שאילתות ביומני משימות של מטא-נתונים

כשמריצים משימת ייבוא של מטא-נתונים, יומני משימות של מטא-נתונים נוצרים ב-Logging.

המסוף

  1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

    כניסה לדף Logs Explorer

  2. לוחצים על כל המשאבים.

  3. ברשימה Select resource, לוחצים על Cloud Dataplex Metadata Job כדי לסנן את היומנים לפי משאבי משימות מטא-נתונים. אפשר גם לסנן את היומנים לפי מיקום ספציפי או מזהה משימת מטא-נתונים. כדי לעשות זאת, בוחרים את המיקום ואת מזהה משימת המטא-נתונים. לוחצים על אישור.

  4. לוחצים על כל שמות היומנים.

  5. ברשימה Select log names, מזינים את הערך dataplex.googleapis.com%2Fmetadata_job. בוחרים באפשרות metadata_job כדי לסנן את היומנים ליומנים של משימות מטא-נתונים, ולוחצים על החלה.

  6. אופציונלי: כדי לבצע סינון מתקדם יותר, אפשר להשתמש בשפת השאילתות של היומן כדי להוסיף מסננים לשאילתת היומן. מידע נוסף מופיע במאמר צפייה ביומני עבודות ופתרון בעיות.

gcloud

כדי לקרוא את הרשומות ביומן של משימת המטא-נתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID'
    --limit 10

REST

כדי להציג את הרשומות ביומן, משתמשים בשיטה entries.list.

יומני תהליכי שאילתות

כשמשתמשים ב-Knowledge Catalog כדי לתזמן ולהריץ משימות, נוצר יומן תהליכים ב-Logging עבור העבודה שמתקבלת.

המסוף

  1. במסוף Google Cloud , נכנסים לדף Observability > Logging > Logs explorer.

    כניסה לדף Logs Explorer

  2. לוחצים על כל המשאבים.

  3. ברשימה Select resource (בחירת משאב), לוחצים על Cloud Dataplex Task (משימה ב-Cloud Dataplex) כדי לסנן את היומנים לפי משאבי משימות. אפשר גם לסנן את היומנים לפי משימה או מיקום ספציפיים. כדי לעשות זאת, בוחרים את המיקום, האגם והמשימה. לוחצים על אישור.

  4. לוחצים על כל שמות היומנים.

  5. ברשימה Select log names, מזינים את הערך dataplex.googleapis.com%2Fprocess. בוחרים באפשרות process כדי לסנן את היומנים, ואז לוחצים על Apply.

  6. אופציונלי: כדי לבצע סינון מתקדם יותר, אפשר להשתמש בשפת השאילתות של היומן כדי להוסיף מסננים לשאילתת היומן. לדוגמה, כדי לסנן לפי משימה ספציפית, מוסיפים את המסננים הבאים בשדה השאילתה ולוחצים על Run query:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

gcloud

כדי לקרוא את הרשומות ביומן התהליך, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

כדי להציג את הרשומות ביומן, משתמשים בשיטה entries.list.

המאמרים הבאים