מעקב אחר הפעלות

במאמר הזה מוסבר איך:

לפני שמתחילים

כדי לעקוב אחרי יומני הביצוע, צריך לוודא שאתם מבצעים את הפעולות הבאות:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. בוחרים מאגר או יוצרים מאגר.

  3. בוחרים או יוצרים סביבת עבודה לפיתוח.

  4. מפעילים את הריצה לפחות פעם אחת.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות בשביל להציג את יומני הביצוע, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

  • ‫Dataform Editor (roles/dataform.editor) במאגר Dataform שבו מתבצע מעקב אחר ההפעלות של תהליכי העבודה
  • אימות ההגדרה של הרצה: משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות בהתאמה אישית

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

התפקיד צפייה ביומנים (roles/logging.viewer) ב-IAM נותן הרשאת קריאה בלבד לכל התכונות של Cloud Logging. במאמר בקרת גישה באמצעות IAM תוכלו לקרוא מידע נוסף על ההרשאות והתפקידים ב-IAM שחלים על הנתונים של Logging.

כדי ליצור התראות שמבוססות על יומנים ולנהל אותן, צריך לוודא שתפקיד ה-IAM שלכם כולל את ההרשאות שמתוארות במאמר תפקידים שנדרשים ליצירה ולשימוש במדיניות של התראות שמבוססות על יומנים.

מעקב אחרי יומני ביצוע

בקטע הזה מוסבר איך להציג יומני ביצוע ב-Dataform.

אפשר לראות את היומנים של כל ההרצות שהופעלו במאגר, וגם את היומנים של ההרצות שהופעלו בסביבת עבודה ב-24 השעות האחרונות.

בדיקת יומני הביצוע של המאגר

כדי לראות את היומנים של כל ההפעלות שהופעלו במאגר, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. עוברים אל המאגר.

  3. לוחצים על Workflow Execution Logs (יומני ביצוע של תהליכי עבודה).

  4. כדי לראות את פרטי הביצוע, לוחצים על הביצוע.

  5. כדי לראות את הפרטים של פעולה בתוך הביצוע, לוחצים על הצגת פרטים.

בדיקת יומני הביצוע של סביבת עבודה

כדי לראות את היומנים של 1,000 ההפעלות האחרונות שהופעלו במרחב עבודה ב-24 השעות האחרונות, מבצעים את השלבים הבאים:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. עוברים למאגר ובוחרים את סביבת העבודה.

  3. בסביבת העבודה, לוחצים על Executions (הרצות).

  4. כדי לראות את פרטי הביצוע, לוחצים על הביצוע.

  5. כדי לראות את הפרטים של פעולה בתוך הביצוע, לוחצים על הצגת הפרטים.

צפייה ביומני Logging של Dataform

בקטע הזה מוסבר איך לצפות ביומנים של Cloud Logging עבור הפעלות של תהליכי עבודה ב-Dataform.

כל הפעלה של תהליך עבודה ב-Dataform מתועדת באמצעות Logging. הרישום ביומן מופעל אוטומטית עבור הפעלות של זרימות עבודה ב-Dataform, ולכן יכולים לחול חיובים על רישום ביומן. מידע נוסף זמין במאמר בנושא תמחור של Dataform.

צפייה ביומנים

מידע על סינון יומנים ב-Logging באמצעות Logs Explorer מופיע במאמר צפייה ביומנים באמצעות Logs Explorer.

יומני Dataform עוברים אינדוקס לפי מאגר Dataform.

פורמט היומן

‫Dataform שולח הודעות יומן של הפעלות של תהליכי עבודה בפורמט הבא:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

מה נרשם ביומן

רשומות ביומן של Dataform מכילות מידע שימושי למעקב אחר הפעלות של תהליכי עבודה ולניפוי באגים בהן.

רשומות ביומן מכילות את סוגי המידע הבאים:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: יכול להיות INFO,‏ WARNING או ERROR
  • terminalState: יכול להיות SUCCEEDED,‏ CANCELED או FAILED
  • timestamp
  • @type

הגדרת מדדים והתראות באמצעות Cloud Monitoring

אתם יכולים להשתמש ב-Monitoring כדי לעקוב אחרי מגמות ביומנים ולקבל התראות כשמתקיימים תנאים שאתם מגדירים.

כדי לספק ל-Monitoring נתונים מהיומנים, שירות Logging מציע לכם את האפשרויות הבאות:

  • מדדים מבוססי-יומנים, שאפשר להשתמש בהם באופן הבא:
    • כדי ליצור כללי מדיניות התראות שיודיעו לכם על שינויים לאורך זמן.
    • כדי ליצור תרשימים שמציגים שינויים לאורך זמן.
  • התראות מבוססות-יומן, שמודיעות לכם בכל פעם שאירוע ספציפי מופיע ביומן.

מידע נוסף על מדדים מבוססי-יומן והתראות מבוססות-יומן זמין במאמר מעקב אחרי היומנים.

כדי ללמוד איך להגדיר התראות מבוססות-יומן להפעלות של תהליכי עבודה ב-Dataform, אפשר לעיין במאמר הגדרת התראות להפעלות של תהליכי עבודה שנכשלו.

הגדרת התראות על הפעלות שנכשלו של תהליכי עבודה

בקטע הזה מוסבר איך להגדיר התראות על סמך רישום ביומן עבור הפעלות של תהליכי עבודה ב-Dataform שנכשלו באמצעות הכלי Logs Explorer.

אתם יכולים להשתמש ב-Monitoring כדי לעקוב אחרי מגמות ביומני Logging של הפעלות של תהליכי עבודה ב-Dataform, וכדי לקבל התראות כשמתקיימים תנאים שאתם מגדירים.

כל הפעלה של תהליך עבודה ב-Dataform מתועדת באמצעות Logging. הרישום ביומן מופעל אוטומטית עבור הפעלות של תהליכי עבודה ב-Dataform, ולכן יכול להיות שייחולו חיובים על רישום ביומן. מידע נוסף זמין במאמר בנושא תמחור של Dataform.

כדי לקבל התראות כשמתרחש כשל בהפעלת תהליך עבודה ב-Dataform, אפשר ליצור התראות שמבוססות על יומנים.

אפשר ליצור התראות שמבוססות על יומנים בדף Logs Explorer במסוף Google Cloud או באמצעות Monitoring API. בקטע הזה מוסבר איך ליצור התראות מבוססות-יומן לגבי כשל בהפעלת תהליך עבודה ב-Dataform באמצעות הכלי Logs Explorer.

כדי להגדיר התראות מבוססות-יומן לגבי הפעלות שנכשלו של תהליכי עבודה ב-Dataform, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , בוחרים באפשרות Logging ואז באפשרות Logs Explorer.

    כניסה לדף Logs Explorer

  2. בחלונית Query, בוחרים באפשרות Show query ומזינים את השאילתה הבאה:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    השאילתה הזו מתריעה על כל ההפעלות שנכשלו של תהליכי עבודה ב-Dataform.

    1. אופציונלי: כדי לסנן הפעלות של תהליכי עבודה שנכשלו לפי הגדרת גרסה, מוסיפים את המחרוזת הבאה לשאילתה:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      מחליפים את RELEASE_CONFIGURATION_ID במזהה של הגדרת הגרסה.

    2. אופציונלי: כדי לסנן הפעלות של תהליכי עבודה שנכשלו לפי הגדרה של תהליך עבודה, מוסיפים את המחרוזת הבאה לשאילתה:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      מחליפים את WORKFLOW_CONFIGURATION_ID במזהה של הגדרת תהליך העבודה.

    השאילתה הבאה מתריעה כשמתרחשת שגיאה בהפעלת תהליך עבודה ב-Dataform שקשורה גם להגדרת הגרסה daily וגם להגדרת תהליך העבודה production:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. אופציונלי: כדי לאמת את השאילתה, משתמשים באפשרות Run query בחלונית Query results.

  4. בכותרת של החלונית Query results, לוחצים על Create alert. אם החלון צר, יכול להיות שהאפשרות יצירת התראה תופיע בתפריט פעולות.

  5. בחלונית פרטי ההתראה, נותנים להתראה שם ותיאור:

    1. מזינים שם להתראה בשדה שם ההתראה. לדוגמה: Dataform: workflow failure.

    2. מזינים תיאור של ההתראה. אפשר גם לכלול מידע שיעזור לנמען ההתראה לאבחן את הבעיה. המחרוזת הבאה מסכמת את הסיבה להתרעה:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      מידע על הפורמט והתאמה אישית של התוכן בשדה הזה זמין במאמר הוספת הערות להודעות עם תיעוד שהוגדר על ידי המשתמש.

  6. כדי לעבור לשלב הבא, לוחצים על הבא.

  7. בחלונית Choose logs to include in the alert, לוחצים על Preview logs כדי לבדוק את השאילתה ואת התוצאות.

    מומלץ ליצור את השאילתה בחלונית Query ב-Logs Explorer. השאילתה שיצרתם בחלונית Query מוצגת גם בחלונית הזו.

    אם צריך, אפשר לערוך את השאילתה בחלונית הזו. אם עורכים את השאילתה, לוחצים על תצוגה מקדימה של היומנים כדי לבדוק את התוצאות.

  8. לוחצים על הבא.

  9. בוחרים את הזמן המינימלי בין ההתראות. הערך הזה מאפשר לכם לשלוט במספר ההתראות שתקבלו מההתראה הזו אם היא תופעל כמה פעמים. בדוגמה הזו, בוחרים באפשרות 5 דקות.

  10. אופציונלי: בוחרים את משך הזמן לסגירה אוטומטית של האירוע. כברירת מחדל, משך הזמן עד לסגירה אוטומטית של האירוע מוגדר ל-7 ימים.

  11. לוחצים על הבא.

  12. בוחרים ערוץ התראות אחד או יותר להתראה. בדוגמה הזו, בוחרים ערוץ התראות באימייל.

    אם כבר הגדרתם ערוץ התראות באימייל, תוכלו לבחור אותו מהרשימה. אם לא, לוחצים על Manage notification channels (ניהול ערוצי התראות) ומוסיפים ערוץ אימייל. מידע על יצירת ערוצי התראות זמין במאמר יצירה וניהול של ערוצי התראות.

  13. לוחצים על Save.

ההתראה שמבוססת על יומן מוכנה עכשיו לבדיקה. הוראות לבדיקת ההתראה מפורטות במאמר בדיקה של מדיניות לדוגמה להתראות שמבוססות על יומנים.

המאמרים הבאים