מעקב אחרי יומנים של Dataplex Universal Catalog

אפשר להציג, לחפש, לסנן ולארכב יומני משימות של Dataplex Universal Catalog ב-Cloud Logging.

כדי להבין את העלויות, אפשר לעיין במחירון של Google Cloud Observability.

מידע נוסף על שמירת יומנים זמין במאמר תקופות שמירה של יומנים.

כדי להשבית את כל היומנים או להחריג יומנים מ-Logging, אפשר לעיין במאמר בנושא מסנני החרגה.

כדי לנתב יומנים מ-Logging אל Cloud Storage,‏ BigQuery או Pub/Sub, אפשר לעיין במאמר סקירה כללית על ניתוב ואחסון.

גישה ליומני השירות של Dataplex Universal Catalog ב-Logging

Dataplex Universal Catalog מפרסם את יומני השירות הבאים ב-Cloud Logging.

סוג יומן הביקורת שם יומן הביקורת שאילתה אחת (logName) תיאור היומן
יומני אירועים של סריקת נתונים dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) יומני אירועים של משימות סריקת נתונים שמציינים את מצב המשימה, התוצאות והנתונים הסטטיסטיים
יומני תוצאות של כללים לסריקת איכות נתונים dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) תוצאות של כללים לסריקת איכות הנתונים במשימה של איכות הנתונים
יומני Discovery dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) התקדמות ועדכונים של Discovery לגבי נכסים באזור
יומני משימות של מטא-נתונים dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) יומנים לגבי משימות ייבוא של מטא-נתונים ופריטים לייבוא בקובץ ייבוא המטא-נתונים
יומני תהליכים dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) הפעלות של משימות שנובעות ממשימות עיבוד נתונים

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט

כדי לגשת ל-Logging, אפשר להשתמש ב-Logs Explorer בGoogle Cloud מסוף, בפקודות gcloud logging או ב-Logging API.

שאילתות על יומני אירועים של סריקת נתונים

כשמשתמשים ב-Dataplex Universal Catalog כדי ליצור סריקת נתונים ולהפעיל אותה, נוצר יומן אירועים של סריקת הנתונים ב-Logging עבור העבודה שמתקבלת.

המסוף

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתצוגה של Logs Explorer, מחפשים את הכרטיסייה שאילתה.

  3. לוחצים על התפריט Resource.

  4. בוחרים באפשרות Cloud Dataplex DataScan. לוחצים על אישור.

  5. לוחצים על התפריט שם היומן.

  6. בשדה Search log names (חיפוש שמות יומנים), מזינים dataplex.googleapis.com%2Fdata_scan. בוחרים באפשרות data_scan ולוחצים על אישור.

  7. אופציונלי: כדי לסנן את היומנים לפי מזהה ספציפי של סריקת נתונים או מיקום, מוסיפים את המסננים הבאים לשאילתת היומן:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. לוחצים על Run query.

gcloud

כדי לקרוא את הרשומות ביומן האירועים של סריקת הנתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

כדי להציג את רשומות היומן, משתמשים בשיטה entries.list.

שאילתת יומנים של תוצאות סריקה של כללים לבדיקת איכות הנתונים

כשמשתמשים ב-Dataplex Universal Catalog כדי ליצור ולהריץ סריקה של איכות הנתונים, נוצר יומן תוצאות של כללי סריקה של איכות הנתונים ב-Logging עבור העבודה שמתקבלת.

המסוף

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתצוגה של Logs Explorer, מחפשים את הכרטיסייה שאילתה.

  3. לוחצים על התפריט Resource.

  4. בוחרים באפשרות Cloud Dataplex DataScan. לוחצים על אישור.

  5. לוחצים על התפריט שם היומן.

  6. בשדה Search log names (חיפוש שמות יומנים), מזינים dataplex.googleapis.com%2Fdata_quality_scan_rule_result. בוחרים באפשרות data_quality_scan_rule_result ולוחצים על אישור.

  7. אופציונלי: כדי לסנן את היומנים לפי מזהה ספציפי של סריקת נתונים או מיקום, מוסיפים את המסננים הבאים לשאילתת היומן:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. לוחצים על Run query.

gcloud

כדי לקרוא את הרשומות ביומן של תוצאות הסריקה של כללי איכות הנתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

כדי להציג את רשומות היומן, משתמשים בשיטה entries.list.

יומני גילוי שאילתות

כשמשתמשים ב-Dataplex Universal Catalog כדי לגלות נתונים בנכסים, נוצר יומן גילוי ב-Logging.

המסוף

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתצוגה של Logs Explorer, מחפשים את הכרטיסייה שאילתה.

  3. לוחצים על התפריט Resource.

  4. בוחרים באפשרות Cloud Dataplex Zone. לוחצים על אישור.

  5. לוחצים על התפריט שם היומן.

  6. בשדה Search log names (חיפוש שמות יומנים), מזינים dataplex.googleapis.com%2Fdiscovery. בוחרים באפשרות גילוי ולוחצים על אישור.

  7. אופציונלי: כדי לסנן את היומנים לפי נכס ספציפי, מוסיפים את המסננים הבאים לשאילתת היומן:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. לוחצים על Run query.

gcloud

כדי לקרוא את הרשומות ביומן הגילוי, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

כדי להציג את רשומות היומן, משתמשים בשיטה entries.list.

שאילתות לקבלת יומני מטא-נתונים של משימות

כשמריצים משימת ייבוא של מטא-נתונים, נוצרים יומנים של משימות מטא-נתונים ב-Logging.

המסוף

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתצוגה של Logs Explorer, מחפשים את הכרטיסייה שאילתה.

  3. לוחצים על התפריט Resource.

  4. בוחרים באפשרות Cloud Dataplex Metadata Job (משימת מטא-נתונים של Cloud Dataplex).

  5. אופציונלי: כדי לסנן את היומנים לפי מיקום ספציפי או מזהה משימת מטא-נתונים, בוחרים מיקום או מזהה משימה.

  6. לוחצים על אישור.

  7. לוחצים על התפריט שם היומן.

  8. מקלידים dataplex.googleapis.com%2Fmetadata_job ובוחרים באפשרות metadata_job.

  9. לוחצים על אישור.

gcloud

כדי לקרוא את רשומות יומן עבודות המטא-נתונים, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

כדי להציג את רשומות היומן, משתמשים בשיטה entries.list.

יומני תהליכי שאילתות

כשמשתמשים ב-Dataplex Universal Catalog כדי לתזמן ולהריץ משימות, נוצר יומן תהליכים ב-Logging עבור העבודה שמתקבלת.

המסוף

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתצוגה של Logs Explorer, מחפשים את הכרטיסייה שאילתה.

  3. לוחצים על התפריט Resource.

  4. בוחרים באפשרות Cloud Dataplex Task (משימה ב-Cloud Dataplex). לוחצים על אישור.

  5. לוחצים על התפריט שם היומן.

  6. בשדה Search log names (חיפוש שמות יומנים), מזינים dataplex.googleapis.com%2Fprocess. בוחרים באפשרות תהליך ולוחצים על אישור.

  7. אופציונלי: אפשר לסנן את היומנים למשימה ספציפית על ידי הוספת המסננים הבאים לשאילתת היומן:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. לוחצים על Run query.

gcloud

כדי לקרוא את הרשומות ביומן התהליך, משתמשים בפקודה gcloud logging read עם השאילתה הבאה:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

כדי להציג את רשומות היומן, משתמשים בשיטה entries.list.

המאמרים הבאים