הגדרת התראות באמצעות שאילתות מתוזמנות

במאמר הזה מוסבר איך להגדיר התראה באמצעות שאילתה מתוזמנת ב-BigQuery. הגישה הזו תומכת בתרחישי שימוש מותאמים אישית שמוגדרים על ידי לוגיקת שאילתות.

לפני שמתחילים

לפני שמשתמשים ב-Cloud Monitoring, חשוב לוודא שיש לכם:

• חשבון לחיוב ב-Cloud.
• פרויקט ב-BigQuery שמופעל בו חיוב.

אחת הדרכים לוודא שיש לכם את שניהם היא להשלים את המדריך למתחילים לשימוש במסוף Google Cloud .

יצירת שאילתת SQL

יוצרים ומריצים שאילתת SQL ב-BigQuery שמפיקה את הפלט של ההתראה. השאילתה כוללת את הלוגיקה שרוצים לעקוב אחריה. מידע נוסף זמין במאמר הרצת שאילתה.

הגדרת שאילתה מתוזמנת

אפשר לתזמן את השאילתות כך שהן יפעלו על בסיס חוזר, החל מכל 15 דקות ועד כל כמה חודשים. אתם יכולים לכתוב כל שאילתה על מאגרי היומנים. מידע נוסף מופיע במאמר בנושא תזמון שאילתות.

הסבר על המדד 'מספר השורות'

שאילתות מתוזמנות יוצרות באופן אוטומטי מדד ב-Cloud Monitoring. המדד הזה מתעד את מספר השורות שהוחזרו על ידי שאילתת ה-SQL במהלך ההערכה האחרונה שלה. אפשר ליצור מדיניות התראות שעוקבת אחרי מדד ספירת השורות הזה ב-Monitoring.

המדד הבא הוא מדד שמכיל את מספר השורות האחרון של שאילתה מתוזמנת:

bigquerydatatransfer.googleapis.com/transfer_config/last_execution_job_rows

כל השאילתות המתוזמנות כותבות את מספר השורות שלהן למדד הזה, באמצעות תוויות שונות. צריך את התווית config_id כשמגדירים מדיניות התראות. כדי למצוא את התווית config_id:

1. במסוף Google Cloud , עוברים לדף Scheduled queries:

   מעבר לשאילתות מתוזמנות

2. לוחצים על השאילתה המתוזמנת שעבורה רוצים ליצור התראה.

3. עוברים לכרטיסייה פרטים.

4. בודקים את המחרוזת האחרונה בשם המשאב, כמו שמוצג בצילום המסך הבא:

   

הערה: הערך האחרון הידוע של מספר השורות חוזר על עצמו ברציפות במשך 5 שבועות. אם משביתים שאילתה מתוזמנת או שהשאילתה נכשלת, המדד נשאר קבוע בערך הידוע האחרון שלו למשך 35 ימים. אחרי 35 ימים, המדד נעלם.

אם מתרחשת בעיה בשאילתה המתוזמנת, תוצג הודעת שגיאה בכרטיסייה Run history של השאילתה המתוזמנת.

מעקב אחרי שאילתות מתוזמנות

כדאי לעקוב אחרי שאילתות מתוזמנות כדי לוודא שהן מופעלות בהצלחה:

• חפשו שגיאות בכרטיסייה Run history (היסטוריית ההרצה) של השאילתה המתוזמנת.
• בודקים את הסטטוס הסופי של כל הפעלה מתוזמנת שמאוחסנת בשדה completion_state של המדד bigquerydatatransfer.googleapis.com/transfer_config/completed_runs.
• מחפשים שגיאות בלוגים של שירות העברת נתונים ל-BigQuery.

יצירת מדיניות התראות

אפשר להשתמש בהתראה על חריגה מסף של מדד כדי לזהות מקרים שבהם מספר השורות שמוחזרות על ידי השאילתה המתוזמנת שונה מסף מסוים.

כדי להגדיר התראה על מספר השורות שמוחזרות משאילתה מתוזמנת, פועלים לפי השלבים הבאים:

1. נכנסים לדף  Alerting במסוף Google Cloud :

   עוברים אל התראות

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

2. לוחצים על יצירת מדיניות.

3. בוחרים את מדד ספירת השורות עבור השאילתה המתוזמנת. בתפריט Select a metric (בחירת מדד), לוחצים על BigQuery DTS Config > Transfer_config > Last executed job row count (המספר של השורה האחרונה בעבודה שהופעלה).

4. בקטע הוספת מסננים, לוחצים על הוספת מסנן.

5. בתפריט Filter (סינון), בוחרים באפשרות config_id.

6. בתפריט Value, בוחרים את config_id של השאילתה המתוזמנת שרוצים ליצור עבורה התראה:

   

   אם לא מגדירים מסנן, ההתראה בודקת את הפלט של כל שאילתה מתוזמנת. כדי למצוא את config_id של השאילתה המתוזמנת, אפשר לעיין במאמר הסבר על מדד ספירת השורות.

7. משאירים את הגדרות ברירת המחדל של שינוי נתונים ולוחצים על הבא.

8. בקטע סוגי תנאים, בוחרים באפשרות סף.

9. בוחרים את התנאי הרצוי. לדוגמה, כדי להפעיל את התנאי כשהשאילתה מחזירה שורות, מגדירים את התנאי הבא:

   1. בקטע Alert trigger (טריגר להתראה), בוחרים באפשרות Any time series violates (כל סדרת זמן חורגת).
   2. בקטע Threshold position, בוחרים באפשרות Above threshold.
   3. בשדה ערך הסף, מזינים 0.

10. משאירים את האפשרויות המתקדמות כברירת מחדל ולוחצים על הבא.

11. אופציונלי: כדי להגדיר התראות לגבי ההתראה, לוחצים על המתג שימוש בערוץ התראות, ואז מגדירים את הערוצים ואת שורת הנושא של ההתראות. אפשר גם להגדיר התראות על סגירת אירועים.

    אם לא רוצים לקבל התראות, מבטלים את הסימון של המתג שימוש בערוץ התראות.

12. אופציונלי: אם יש לכם הרבה מדיניות התראות, אתם יכולים להוסיף להן הערות עם תוויות כדי לציין שהן נגזרות משאילתות מתוזמנות.

13. אופציונלי: בשדה Documentation, אפשר להוסיף קישורים שיעזרו להבין את ההתראה. לדוגמה, אפשר להוסיף קישור לדף Logs Explorer עם שאילתה דומה, כדי שתוכלו לבדוק את הנתונים שהפעילו את ההתראה. אפשר גם לקשר לדף הפרטים של שאילתת התזמון הספציפית.

14. בקטע Name the alert policy (מתן שם למדיניות ההתראה), מזינים שם להתראה.

15. לוחצים על יצירת מדיניות.

מגבלות

מדיניות ההתראות לגבי שאילתות מתוזמנות כפופה למגבלות הבאות:

• התדירות של הרצת שאילתות מתוזמנות והעיכוב בהוספת נתונים משפיעים על הזמן הכולל שחולף מרגע יצירת היומן ועד לקבלת ההתראה. לדוגמה, אם השאילתה מופעלת כל 30 דקות ואתם מוסיפים השהיה של 15 דקות לעיכוב בהוספה, ההתראה תופעל כ-15 דקות אחרי שרשומה בעייתית ביומן תופק. במקרים מסוימים, התהליך עשוי להימשך עד 45 דקות.
• ההגדרה של שאילתה מתוזמנת לא מקושרת או מסונכרנת עם מדיניות ההתראות. עריכת ההגדרה במקום אחד עלולה לשבור את הקשר שמאפשר את פונקציית ההתראה.

המאמרים הבאים

• איך יוצרים ומריצים שאילתות מתוזמנות