הגדרת התראות ונוטיפיקציות למשימות ב-Dataplex Universal Catalog

בדף הזה מוסבר איך להגדיר התראות על ביצועים של משימות שנכשלו בDataplex Universal Catalog.

כדי להגדיר התראות, אפשר להשתמש ב-Logs Explorer ב Google Cloud מסוף או ב-Monitoring API.

הסברים על המונחים

  • משך הזמן עד לסגירה אוטומטית של אירוע: אפשר לסגור אירוע באופן אוטומטי אם לא נמצאו רשומות תואמות ביומן במהלך משך הזמן הזה.
  • הזמן בין ההתראות: אתם יכולים להפחית את התדירות של התראות חוזרות על ידי הגדרת זמן בין אותה התראה. במהלך הזמן הזה, המערכת מדלגת על רשומות ביומן שתואמות למסנן. משך הזמן המינימלי שאפשר להגדיר הוא 5 דקות.

הגדרת התראות באמצעות Logs Explorer

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. לוחצים על המתג Show query.

    1. כדי להגדיר התראה על ביצוע לא מוצלח של משימה כלשהי ב-Dataplex Universal Catalog בפרויקט, מקלידים את השאילתה הבאה:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. כדי להגדיר התראה על ביצוע לא מוצלח של משימה ספציפית ב-Dataplex Universal Catalog בפרויקט, מקלידים את השאילתה הבאה:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. לוחצים על יצירת התראה.

  4. בשדה שם מדיניות ההתראה, מזינים שם להתראה החדשה.

  5. בשדה Documentation, מזינים את התיאור שרוצים לכלול בהתראה. מידע נוסף על התוכן שאפשר לכלול בשדה התיעוד של מדיניות התראות זמין במאמר שימוש ב-Markdown ובמשתנים בתבניות תיעוד.

  6. לוחצים על הבא.

  7. בוחרים את היומנים שרוצים לכלול בהתראה ולוחצים על הבא.

  8. מגדירים את הזמן בין ההתראות ואת משך הזמן עד לסגירה אוטומטית של האירוע ולוחצים על הבא.

  9. אופציונלי: בוחרים ערוץ התראות. מידע נוסף על הגדרת ערוצי התראות באמצעות מסוף Google Cloud זמין במאמר ניהול ערוצי התראות.

  10. לוחצים על Save.

הגדרת התראות באמצעות Monitoring API

  1. אופציונלי: מפעילים את Monitoring API ומאשרים למשתמשים לגשת אליו. מידע נוסף מופיע במאמר בנושא הפעלת Monitoring API.
  2. אופציונלי: מגדירים את התפקידים או ההרשאות שנדרשים כדי ליצור מדיניות התראות. מידע נוסף זמין במאמר בנושא הרשאה שנדרשת ליצירת מדיניות התראות.
  3. יוצרים ערוץ התראות באמצעות Google Cloud מסוף או Google Cloud CLI.

  4. מורידים את channel_id:

    gcloud beta monitoring channels list

  5. יוצרים קובץ policy.json עם התוכן הבא בשביל log-based-alerting-policy:

    1. הגדרת התראה על ביצוע משימה שנכשלה של Dataplex Universal Catalog בפרויקט:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. כדי להגדיר התראה על ביצוע עבודה שנכשל במשימה ספציפית של Dataplex Universal Catalog בפרויקט:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. מעבירים את הקובץ policy.json אל gcloud CLI:

    gcloud monitoring policies create --policy-from-file="policy.json"

    אם הפעולה בוצעה ללא שגיאות, הפקודה תחזיר את שם המשאב של המדיניות החדשה. לדוגמה:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

המאמרים הבאים