יצירת מרכזי בקרה, תרשימים והתראות

במאמר הזה מוסבר איך ליצור תרשימים והתראות כדי לעקוב אחרי משאבי BigQuery באמצעות Cloud Monitoring.

לפני שמתחילים

לפני שמשתמשים ב-Cloud Monitoring, חשוב לוודא שיש לכם:

• חשבון לחיוב ב-Cloud.
• פרויקט ב-BigQuery שמופעל בו חיוב.

אחת הדרכים לוודא שיש לכם את שניהם היא להשלים את המדריך למתחילים לשימוש במסוף Google Cloud .

הצגה ויצירה של מרכזי בקרה, תרשימים והתראות

הצגת לוח הבקרה של Cloud Monitoring

כדי להשתמש ב-Cloud Monitoring כדי לעקוב אחרי פרויקט BigQuery:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   מעבר למעקב

2. אם שם הפרויקט לא נבחר אוטומטית, בוחרים אותו בחלק העליון של הדף.

3. כדי לראות את המשאבים של BigQuery, בוחרים באפשרות לוחות בקרה > BigQuery. בדף הזה מוצגת רשימה של טבלאות, אירועים ודוחות על אירועים שניתנים להגדרה על ידי המשתמש, וגם תרשימים של מדדי פרויקט או מדדי מערך נתונים.

   

הצגה חזותית של המשבצות הזמינות והמשבצות שהוקצו

כדי לראות את המשבצות שזמינות ואת המשבצות שהוקצו לפרויקט, עוברים למרכז הבקרה של BigQuery שמתואר במאמר הצגת מרכז הבקרה של Cloud Monitoring:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   מעבר למעקב

2. בוחרים באפשרות מרכזי בקרה > BigQuery.

3. בדשבורד של Cloud Monitoring ל-BigQuery, גוללים לתרשים שנקרא Slot Utilization (ניצול משבצות).

התרשים Slot Utilization מופיע גם בלוח הבקרה הראשי של Cloud Monitoring וגם בלוח הבקרה של Cloud Monitoring ל-BigQuery.

יצירת לוח בקרה ותרשים

אתם יכולים להציג את המדדים שנאספו באמצעות Cloud Monitoring בתרשימים ובלוחות הבקרה הפרטיים שלכם:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   מעבר למעקב

2. לוחצים על מרכזי בקרה > יצירת מרכז בקרה.

3. לוחצים על הוספת תרשים. מוצג הדף 'הוספת תרשים':

   

4. בשדות של החלונית Find resource type and metric:

   • ברשימה הנפתחת Resource type בוחרים באפשרות Global. יכול להיות שתצטרכו להרחיב את רשימת Resource types כדי שהאפשרות Global תהיה גלויה.
   • ברשימה הנפתחת מדד, בוחרים באפשרות זמן הביצוע של השאילתה.

5. השדות בחלונית Aggregation קובעים איך יוצגו הנתונים בזמן הריצה. אפשר לשנות את הגדרות ברירת המחדל של השדות האלה.

6. לוחצים על Save.

צפייה בשימוש במכסה ובמגבלות

ב-Cloud Monitoring, אפשר לראות את המדדים של השימוש במכסות והמגבלות שלהן:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   מעבר למעקב

2. בחלונית הניווט, בוחרים באפשרות Metrics explorer.

3. בסרגל הכלים, בוחרים באפשרות Explorer > Configuration (סייר > הגדרה).

4. בקטע Resource & Metric, לוחצים על Select a metric.

5. בוחרים באפשרות Consumer Quota > Quota > Quota limit (מכסת צרכנים > מכסה > מגבלת מכסה) ואז לוחצים על Apply (החלה).

6. לוחצים על הוספת מסנן, ואז בתפריט תווית בוחרים באפשרות limit_name.

7. בתפריט ערך, בוחרים את המכסה שרוצים לראות את המדדים שלה.

   

הערה: אפשר לראות מדדים של מכסות ושל מגבלות שימוש רק עבור BigQuery Storage Write API (gRPC), מכסות של חיבורים מקבילים ושל קצב העברת נתונים.

יצירת התראה

כדי ליצור מדיניות התראה שמופעלת כשערך האחוזון ה-99 של זמן הביצוע של שאילתת BigQuery חורג ממגבלה שהוגדרה על ידי המשתמש, משתמשים בהגדרות הבאות.

השלבים ליצירת מדיניות התראות.

כדי ליצור מדיניות התראות:

1. נכנסים לדף  Alerting במסוף Google Cloud :

   כניסה אל התראות

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. אם לא יצרתם ערוצי התראות ואתם רוצים לקבל התראות, לוחצים על Edit Notification Channels (עריכת ערוצי התראות) ומוסיפים את ערוצי ההתראות. אחרי שמוסיפים את הערוצים, חוזרים לדף התראות.
3. בדף Alerting, לוחצים על Create policy.
4. כדי לבחור את המשאב, המדד והמסננים, מרחיבים את התפריט Select a metric ומשתמשים בערכים בטבלה New condition:
   1. אופציונלי: כדי להגביל את התפריט רק לפריטים רלוונטיים, מזינים את שם המשאב או המדד בשורת הסינון.
   2. בוחרים סוג משאב. לדוגמה, בוחרים באפשרות VM instance.
   3. בוחרים קטגוריית מדדים. לדוגמה, בוחרים באפשרות instance.
   4. בוחרים מדד. לדוגמה, בוחרים באפשרות ניצול יחידת העיבוד המרכזית (CPU).
   5. לוחצים על אישור.
5. לוחצים על הבא ואז מגדירים את הטריגר של מדיניות ההתראות. כדי למלא את השדות האלה, משתמשים בערכים שבטבלה הגדרת טריגר להתראה.
6. לוחצים על הבא.

7. אופציונלי: כדי להוסיף התראות למדיניות ההתראות, לוחצים על ערוצי התראות. בתיבת הדו-שיח, בוחרים ערוץ התראות אחד או יותר מהתפריט ולוחצים על אישור.

   כדי לקבל התראה כשאירועים נפתחים ונסגרים, מסמנים את התיבה Notify on incident closure. כברירת מחדל, ההתראות נשלחות רק כשאירועים נפתחים.

8. אופציונלי: מעדכנים את משך הזמן עד לסגירה אוטומטית של אירוע. השדה הזה קובע מתי מערכת Monitoring סוגרת אירועים בהיעדר נתוני מדדים.
9. אופציונלי: לוחצים על תיעוד, ואז מוסיפים את המידע שרוצים לכלול בהודעת ההתראה.
10. לוחצים על שם ההתראה ומזינים שם למדיניות ההתראה.
11. לוחצים על יצירת מדיניות.

תנאי חדש שדה	ערך
משאב ומדד	בתפריט Resources בוחרים באפשרות BigQuery Project. בתפריט Metric categories בוחרים באפשרות Query. בתפריט Metrics, בוחרים באפשרות Query execution times.
מסנן
בסדרות זמן קיבוץ לפי סדרת זמן	priority
בסדרות עיתיות צבירה של סדרות עיתיות	99th percentile
חלון נע	5 m
פונקציה אנליטית (window function)	sum

הגדרת טריגר להתראה שדה	ערך
סוג התנאי	Threshold
טריגר להתראה	Any time series violates
מיקום הסף	Above threshold
ערך הסף	אתם קובעים את הערך הזה, אבל מומלץ להגדיר סף של 60 שניות.
חלון הבדיקה מחדש	most recent value

כדי ליצור מדיניות התראות שמופעלת כשמספר הבייטים הכולל שנסרקו בפרויקט BigQuery, שחויבו, חורג ממגבלה שהוגדרה על ידי המשתמש, צריך להשתמש בהגדרת מדיניות ההתראות הבאה.

תנאי חדש שדה	ערך
משאב ומדד	בתפריט Resources בוחרים באפשרות BigQuery Project. בתפריט Metric categories בוחרים באפשרות Query. בתפריט Metrics, בוחרים באפשרות Statement scanned bytes billed.
מסנן	(אין צורך בבלי פילטר להתראה ברמת הפרויקט)
בסדרת זמנים קיבוץ לפי סדרת זמנים	(משאירים ריק כדי לצבור את כל הסדרות)
בסדרות עיתיות צבירה של סדרות עיתיות	sum
חלון נע	5 m
פונקציה אנליטית (window function)	sum

הגדרת טריגר להתראה שדה	ערך
סוג התנאי	Threshold
טריגר להתראה	Any time series violates
מיקום הסף	Above threshold
ערך הסף	אתם קובעים את הערך הזה. לדוגמה, כדי להפעיל התראה כשהשימוש חורג מ-1TiB, מזינים 1000000000000.

מדיניות ההתראות עוקבת אחרי סך הבייטים שנסרקו, אבל אתם יכולים להגדיר סף שמתבסס על תקציב ספציפי. כדי להגדיר מדיניות התראות שמבוססת על תקציב, קודם צריך להמיר את סף העלות הרצוי למספר שווה ערך של בייטים. הנוסחה מתבססת על תמחור לפי דרישה של BigQuery. מידע נוסף זמין במאמר תמחור של מחשוב על פי דרישה.

אפשר להשתמש בנוסחה הבאה כדי להמיר את סף העלות לבייטים:

Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000

דוגמה: הפעלת התראה כשהשימוש חורג מ-100$

נניח שאתם רוצים לקבל התראה אם עלויות השאילתות בפרויקט שלכם יעלו על 100$.

1. מחשבים את נפח הנתונים המקביל ב-TiB:
   $100 / (price per TiB) = Equivalent Data Volume in TiB
2. המרת נפח הנתונים לבייטים:
   (Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
3. מגדירים את ערך הסף:
   בקטע Configure alert trigger (הגדרת טריגר להתרעה) במדיניות, מזינים את הערך Threshold Value in Bytes (ערך הסף בבייט) כערך הסף.

עכשיו, מדיניות ההתראות תופעל כשהסכום הכולל של בייטים שנסרקו לחיוב בחלון הנע יתאים בערך לעלויות של 100$ עבור שאילתות לפי דרישה.

מדדים שזמינים להצגה חזותית

המדדים הבאים זמינים, עם עיכוב של כמה שעות.

סוג המשאב	שם	יחידות	תיאור
BigQuery	Scanned bytes	בייטים לדקה	מספר הבייטים שנסרקו.
BigQuery	Scanned bytes billed	בייטים לדקה	מספר הבייטים שנשלחו לחיוב כשמשתמשים במודל הניתוח על פי דרישה. יכול להיות שיהיה הבדל בין מספר הבייטים שנסרקו לבין מספר הבייטים שחויבו, כי החיובים מעוגלים כלפי מעלה, ויש כמות מינימלית של נתונים שמעובדים לכל שאילתה.
BigQuery	BI Engine Query Fallback Count (Preview)	שאילתות	מספר השאילתות שלא השתמשו ב-BI Engine כשיעור. אפשר להגדיר את האפשרות Group By לערך reason כדי להפריד את הספירה לסיבות שונות של חזרה לגיבוי, כולל: NO_RESERVATION INSUFFICIENT_RESERVATION UNSUPPORTED_SQL_TEXT INPUT_TOO_LARGE OTHER_REASON
BigQuery	Query count	שאילתות	שאילתות בטיסה.
BigQuery	Query execution count (Preview)	שאילתות	מספר השאילתות שהופעלו.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	שניות	זמני הרצה של שאילתות שלא נשמרו במטמון.
BigQuery	Slots used by project	מכונות מזל	מספר משבצות BigQuery שהוקצו לעבודות של שאילתות בפרויקט. הקצאת המשבצות מתבצעת לכל חשבון לחיוב, וכמה פרויקטים יכולים לחלוק את אותה הזמנה של משבצות.
BigQuery	Slots used by project and job type	מכונות מזל	מספר המשבצות שהוקצו לפרויקט בכל זמן נתון, מופרד לפי סוג העבודה. אפשר גם לחשוב על זה כמספר המשבצות שבהן נעשה שימוש בפרויקט הזה. פעולות טעינה וחילוץ הן פעולות חינמיות, והן מופעלות במאגר ציבורי של משאבים. הקצאת המשבצות מתבצעת לכל חשבון לחיוב, וכמה פרויקטים יכולים לחלוק את אותה הזמנה של משבצות.
BigQuery	Slots used by project, reservation, and job type	מכונות מזל	מספר משבצות הזמן ב-BigQuery שהוקצו לפרויקט. אפשר לחלק את הקצאת המשבצות לפי הזמנה וסוג העבודה.
BigQuery	Total slots	מכונות מזל	המספר הכולל של משבצות שזמינות לפרויקט. אם הפרויקט חולק הזמנה של משבצות עם פרויקטים אחרים, המשבצות שנמצאות בשימוש בפרויקטים האחרים לא מוצגות.
BigQuery	Slots used across projects in reservations	מכונות מזל	מספר המשבצות ב-BigQuery שהוקצו לפרויקטים בהזמנה. שימו לב: נתוני המדד מדווחים רק אם לפחות פרויקט אחד הוקצה להזמנה ומשתמש במשבצות. אפשר גם לשלוח שאילתה לגבי פרטי ההזמנות מ-INFORMATION_SCHEMA. כדי לראות את מדדי השימוש ביחידות קיבולת (Slot) לכל הפרויקטים שצורכים מיחידות קיבולת (Slot) מהזמנה, צריך להוסיף במפורש את הפרויקטים האלה להיקף המדדים בפרויקט של הפרויקט שבו צופים בלוח הבקרה.
BigQuery	Slots used by project in reservation	מכונות מזל	מספר משבצות הזמן ב-BigQuery שהוקצו לפרויקט בהזמנה. כדי לראות את מדדי השימוש ביחידות קיבולת (Slot) לכל הפרויקטים שצורכים מיחידות קיבולת (Slot) מהזמנה, צריך להוסיף במפורש את הפרויקטים האלה להיקף המדדים בפרויקט של הפרויקט שבו צופים בלוח הבקרה.
משימה רציפה ב-BigQuery	Estimated backlog logical bytes	בייטים	מספר הבייטים ב-backlog בכל שלב של העבודה הרציפה.
משימה רציפה ב-BigQuery	Estimated backlog records	רשומות	מספר הרשומות המשוער ב-backlog בכל שלב של העבודה הרציפה.
משימה רציפה ב-BigQuery	Estimated bytes processed	בייטים	מספר הבייטים המשוער שעובר עיבוד בכל שלב של העבודה הרציפה.
משימה רציפה ב-BigQuery	Output watermark	חותמת הזמן	חותמת הזמן האחרונה, במיקרו-שניות מאז ראשית הזמן, שעד אליה כל הנתונים עברו עיבוד בשלב הזה של העבודה הרציפה.
משימה רציפה ב-BigQuery	Records read	רשומות	מספר רשומות הקלט שנקראו בכל שלב של העבודה הרציפה.
משימה רציפה ב-BigQuery	Records written	רשומות	מספר רשומות הפלט שנכתבו לכל שלב במשימה הרציפה.
משימה רציפה ב-BigQuery	Slots used	אלפיות שנייה של משבצת	מספר אלפיות השנייה הכולל של משבצות הזמן שבהן נעשה שימוש על ידי העבודה הרציפה.
מערך נתונים ב-BigQuery	Stored bytes	בייטים	בייט שנשמר במערך הנתונים – לגבי 100 הטבלאות הגדולות ביותר במערך הנתונים, מוצג מספר הבייטים שנשמרו בכל טבלה (לפי שם). כל הטבלאות הנוספות במערך הנתונים (מעבר ל-100 הגדולות ביותר) מדווחות כסכום יחיד, ושם הטבלה של הסיכום הוא מחרוזת ריקה.
מערך נתונים ב-BigQuery	Table count	Tables	מספר הטבלאות במערך הנתונים.
מערך נתונים ב-BigQuery	Uploaded bytes	בייטים לדקה	מספר הבייטים שהועלו לכל טבלה במערך הנתונים.
מערך נתונים ב-BigQuery	שורות שהועלו	שורות בדקה	מספר הרשומות שהועלו לכל טבלה במערך הנתונים.

רשימה מלאה של המדדים Google Cloud הזמינים מופיעה במאמר בנושא מדדים שלGoogle Cloud .

בעיות מוכרות

• אם לא מופעלות שאילתות, לא מוחזרים נתונים לגבי משבצות שהוקצו, משבצות זמינות או משתנים שקשורים לשאילתות. כדי לראות את הנתונים, צריך להקטין את התצוגה.

• אם שאילתות פועלות בארה"ב ובאיחוד האירופי, יכול להיות שהנתונים של משבצות שהוקצו ומשבצות זמינות יהיו שגויים.

• הערך של המדד 'משבצות שהוקצו' הוא הערך הממוצע בחלון זמן (רוחב חלון הזמן תלוי ברמת הזום של התרשים). הגדלה והקטנה של התצוגה יכולות לשנות את הערך של משבצות הזמן שהוקצו. אם מגדילים את התצוגה לחלון זמן של שעה אחת או פחות, מוצגים הערכים האמיתיים של המשבצות שהוקצו. בטווח הזה, בכל נקודת זמן שמוצגת בתרשים, avg(slots allocated) = slots allocated.

• הנתונים בתרשימים של Cloud Monitoring מתייחסים רק לפרויקט שנבחר.

• מדדים הם ערכים מיידיים, שנדגמים בנקודת זמן מסוימת, ויכול להיות שהם לא יכללו נקודות נתונים בין מרווחי הדגימה. לדוגמה, המדד 'ספירת משימות' נדגם כל דקה. הערך הוא מספר המשימות בזמן מסוים, ולא המספר המקסימלי של משימות במהלך דקה שלמה.