יצירת מרכזי בקרה, תרשימים והתראות

במאמר הזה מוסבר איך ליצור תרשימים והתראות כדי לעקוב אחרי משאבי BigQuery באמצעות Cloud Monitoring.

לפני שמתחילים

לפני שמשתמשים ב-Cloud Monitoring, חשוב לוודא שיש לכם:

• חשבון לחיוב ב-Cloud.
• פרויקט ב-BigQuery שמופעל בו חיוב.

אחת הדרכים לוודא שיש לכם את שניהם היא להשלים את המדריך למתחילים לשימוש במסוף Google Cloud .

הצגה ויצירה של מרכזי בקרה, תרשימים והתראות

הצגת לוח הבקרה של Cloud Monitoring

כדי להשתמש ב-Cloud Monitoring כדי לעקוב אחרי פרויקט BigQuery:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   כניסה ל-Monitoring

2. אם שם הפרויקט לא נבחר אוטומטית, בוחרים אותו בחלק העליון של הדף.

3. כדי לראות את המשאבים של BigQuery, בוחרים באפשרות לוחות בקרה > BigQuery. בדף הזה מוצגת רשימה של טבלאות, אירועים ודוחות על אירועים שניתנים להגדרה על ידי המשתמש, וגם תרשימים של מדדי פרויקט או מדדי מערך נתונים.

   

הצגה חזותית של המשבצות הזמינות והמשבצות שהוקצו

כדי לראות את המשבצות שזמינות ואת המשבצות שהוקצו לפרויקט, עוברים למרכז הבקרה של BigQuery שמתואר במאמר הצגת מרכז הבקרה של Cloud Monitoring:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   כניסה ל-Monitoring

2. בוחרים באפשרות מרכזי בקרה > BigQuery.

3. בדשבורד של Cloud Monitoring ל-BigQuery, גוללים לתרשים שנקרא Slot Utilization (ניצול משבצות).

התרשים Slot Utilization מופיע גם בלוח הבקרה הראשי שמוגדר כברירת מחדל ב-Cloud Monitoring וגם בלוח הבקרה של Cloud Monitoring ל-BigQuery.

יצירת לוח בקרה ותרשים

אתם יכולים להציג את המדדים שנאספו באמצעות Cloud Monitoring בתרשימים ובלוחות הבקרה הפרטיים שלכם:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   כניסה ל-Monitoring

2. לוחצים על מרכזי בקרה > יצירת מרכז בקרה.

3. לוחצים על הוספת תרשים. יוצג הדף 'הוספת תרשים':

   

4. בשדות בחלונית Find resource type and metric:

   • ברשימה הנפתחת Resource type בוחרים באפשרות Global. יכול להיות שתצטרכו להרחיב את רשימת סוגי המשאבים כדי שהאפשרות Global תהיה גלויה.
   • ברשימה הנפתחת מדד, בוחרים באפשרות זמן הביצוע של השאילתה.

5. השדות בחלונית Aggregation קובעים איך יוצגו הנתונים בזמן הריצה. אפשר לשנות את הגדרות ברירת המחדל של השדות האלה.

6. לוחצים על Save.

צפייה בשימוש במכסה ובמגבלות

ב-Cloud Monitoring, אפשר לראות את המדדים של השימוש במכסות והמגבלות שלהן:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   כניסה ל-Monitoring

2. בחלונית הניווט, בוחרים באפשרות Metrics explorer.

3. בסרגל הכלים, בוחרים באפשרות Explorer > Configuration (סייר > הגדרה).

4. בקטע Resource & Metric, לוחצים על Select a metric.

5. בוחרים באפשרות Consumer Quota > Quota > Quota limit (מכסת צרכנים > מכסה > מגבלת מכסה) ולוחצים על Apply (החלה).

6. לוחצים על הוספת מסנן, ואז בתפריט תווית בוחרים באפשרות limit_name.

7. בתפריט ערך, בוחרים את המכסה שרוצים לראות את המדדים שלה.

   

הערה: אפשר לראות מדדים של מכסות ושימוש במכסות רק עבור מכסות של חיבורים מקבילים ושל קצב העברת נתונים של BigQuery Storage Write API.

יצירת התראה

כדי ליצור מדיניות התראה שמופעלת כשערך האחוזון ה-99 של זמן הביצוע של שאילתת BigQuery חורג מהמגבלה שהוגדרה על ידי המשתמש, משתמשים בהגדרות הבאות.

השלבים ליצירת מדיניות התראות.

כדי ליצור מדיניות התראות:

1. נכנסים לדף  Alerting במסוף Google Cloud :

   עוברים אל התראות

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

2. אם עדיין לא יצרתם ערוצי התראות ואתם רוצים לקבל התראות, לוחצים על Edit Notification Channels ומוסיפים את ערוצי ההתראות. אחרי שמוסיפים את הערוצים, חוזרים לדף התראות.
3. בדף Alerting, לוחצים על Create policy.
4. כדי לבחור את המשאב, המדד והמסננים, מרחיבים את התפריט Select a metric ומשתמשים בערכים בטבלה New condition:
   1. אופציונלי: כדי להגביל את התפריט לפריטים רלוונטיים, מזינים את שם המשאב או המדד בסרגל הסינון.
   2. בוחרים סוג משאב. לדוגמה, בוחרים באפשרות VM instance.
   3. בוחרים קטגוריית מדדים. לדוגמה, בוחרים באפשרות instance.
   4. בוחרים מדד. לדוגמה, בוחרים באפשרות ניצול יחידת העיבוד המרכזית (CPU).
   5. לוחצים על אישור.
5. לוחצים על הבא ואז מגדירים את הטריגר של מדיניות ההתראות. כדי למלא את השדות האלה, משתמשים בערכים שבטבלה הגדרת טריגר להתראה.
6. לוחצים על הבא.

7. אופציונלי: כדי להוסיף התראות למדיניות ההתראות, לוחצים על ערוצי התראות. בתיבת הדו-שיח, בוחרים ערוץ התראות אחד או יותר מהתפריט ולוחצים על אישור.

   כדי לקבל התראה כשאירועים נפתחים ונסגרים, מסמנים את התיבה Notify on incident closure (קבלת התראה על סגירת אירוע). כברירת מחדל, ההתראות נשלחות רק כשאירועים נפתחים.

8. אופציונלי: מעדכנים את משך הזמן עד לסגירה אוטומטית של אירוע. השדה הזה קובע מתי מערכת Monitoring סוגרת אירועים בהיעדר נתוני מדדים.
9. אופציונלי: לוחצים על תיעוד, ואז מוסיפים את המידע שרוצים לכלול בהודעת ההתראה.
10. לוחצים על שם ההתראה ומזינים שם למדיניות ההתראה.
11. לוחצים על יצירת מדיניות.

תנאי חדש שדה	ערך
משאב ומדד	בתפריט Resources בוחרים באפשרות BigQuery Project. בתפריט Metric categories בוחרים באפשרות Query. בתפריט Metrics, בוחרים באפשרות Query execution times.
מסנן
בסדרות עיתיות קיבוץ סדרות עיתיות לפי	priority
בסדרות של נתונים על ציר הזמן צבירה של נתונים על ציר הזמן	99th percentile
חלון מתגלגל	5 m
פונקציה אנליטית (חלון נע)	sum

הגדרת טריגר להתראה שדה	ערך
סוג התנאי	Threshold
טריגר להתראה	Any time series violates
מיקום הסף	Above threshold
ערך הסף	אתם קובעים את הערך הזה, אבל מומלץ להגדיר סף של 60 שניות.
חלון הבדיקה מחדש	most recent value

כדי ליצור מדיניות התראות שמופעלת כשמספר הבייטים הכולל שנסרקו בפרויקט BigQuery, שחויבו, חורג ממגבלה שהוגדרה על ידי המשתמש, צריך להשתמש בהגדרת מדיניות ההתראות הבאה.

תנאי חדש שדה	ערך
משאב ומדד	בתפריט Resources בוחרים באפשרות BigQuery Project. בתפריט Metric categories בוחרים באפשרות Query. בתפריט Metrics, בוחרים באפשרות Statement scanned bytes billed.
מסנן	(אין צורך במסנן להתראה ברמת הפרויקט)
בסדרות עיתיות קיבוץ סדרות עיתיות לפי	(משאירים ריק כדי לצבור את כל הסדרות)
בסדרות עיתיות צבירה של סדרות עיתיות	sum
חלון מתגלגל	5 m
פונקציה אנליטית (חלון נע)	sum

הגדרת טריגר להתראה שדה	ערך
סוג התנאי	Threshold
טריגר להתראה	Any time series violates
מיקום הסף	Above threshold
ערך הסף	אתם קובעים את הערך הזה. לדוגמה, כדי להפעיל התראה כשהשימוש חורג מ-‎1 TiB, מזינים 1000000000000.

מדיניות ההתראות עוקבת אחרי סך הבייטים שנסרקו, אבל אתם יכולים להגדיר סף שמתבסס על תקציב ספציפי. כדי להגדיר מדיניות התראות שמבוססת על תקציב, קודם צריך להמיר את סף העלות הרצוי למספר שווה ערך של בייטים. הנוסחה מתבססת על תמחור לפי דרישה של BigQuery. מידע נוסף זמין במאמר תמחור של מחשוב על פי דרישה.

אפשר להשתמש בנוסחה הבאה כדי להמיר את סף העלות לבייטים:

Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000

דוגמה: הפעלת התראה כשהשימוש חורג מ-100$

נניח שאתם רוצים לקבל התראה אם עלויות השאילתות בפרויקט שלכם יעלו על 100$.

1. חישוב נפח הנתונים המקביל ב-TiB:
   $100 / (price per TiB) = Equivalent Data Volume in TiB
2. המרת נפח הנתונים לבייטים:
   (Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
3. מגדירים את ערך הסף:
   בקטע Configure alert trigger (הגדרת טריגר להתרעה) במדיניות, מזינים את הערך Threshold Value in Bytes (ערך הסף בבייט) כערך הסף.

מעכשיו, מדיניות ההתראות תופעל כשהסכום הכולל של הבייטים שנסרקו ושחויבו בחלון הזמן המתגלגל יהיה שווה בערך ל-100$ בעלויות של שאילתות לפי דרישה.

מדדים שזמינים להצגה חזותית

המדדים הבאים זמינים, עם עיכוב של כמה שעות.

סוג המשאב	שם	יחידות	תיאור
BigQuery	Scanned bytes	בייטים לדקה	מספר הבייטים שנסרקו.
BigQuery	Scanned bytes billed	בייטים לדקה	מספר הבייטים שנשלחו לחיוב כשמשתמשים במודל הניתוח על פי דרישה. יכול להיות שיהיה הבדל בין מספר הבייטים שנסרקו לבין מספר הבייטים שחויבו, כי החיובים מעוגלים כלפי מעלה, ויש כמות מינימלית של נתונים שמעובדים לכל שאילתה.
BigQuery	BI Engine Query Fallback Count (Preview)	שאילתות	מספר השאילתות שלא השתמשו ב-BI Engine כשיעור. אפשר להגדיר את האפשרות Group By ל-reason כדי להפריד את הספירה לסיבות שונות לגיבוי, כולל: NO_RESERVATION INSUFFICIENT_RESERVATION UNSUPPORTED_SQL_TEXT INPUT_TOO_LARGE OTHER_REASON
BigQuery	Query count	שאילתות	שאילתות בטיסה.
BigQuery	Query execution count (Preview)	שאילתות	מספר השאילתות שהופעלו.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	שניות	זמני הרצה של שאילתות שלא נשמרו במטמון.
BigQuery	Slots used by project	מכונות מזל	מספר משבצות הזמן ב-BigQuery שהוקצו לעבודות של שאילתות בפרויקט. הקצאת המשבצות מתבצעת לכל חשבון לחיוב, וכמה פרויקטים יכולים לחלוק את אותה הזמנה של משבצות.
BigQuery	Slots used by project and job type	מכונות מזל	מספר המשבצות שהוקצו לפרויקט בכל זמן נתון, מופרדות לפי סוג העבודה. אפשר גם לחשוב על זה כמספר המשבצות שבהן נעשה שימוש בפרויקט הזה. פעולות טעינה וחילוץ הן פעולות חינמיות, והן מופעלות במאגר ציבורי של משאבים. הקצאת המשבצות מתבצעת לכל חשבון לחיוב, וכמה פרויקטים יכולים לחלוק את אותה הזמנה של משבצות.
BigQuery	Slots used by project, reservation, and job type	מכונות מזל	מספר משבצות הזמן ב-BigQuery שהוקצו לפרויקט. אפשר לחלק את הקצאת המשבצות לפי הזמנה וסוג עבודה.
BigQuery	Total slots	מכונות מזל	המספר הכולל של משבצות שזמינות לפרויקט. אם הפרויקט חולק הזמנה של משבצות עם פרויקטים אחרים, המשבצות שנמצאות בשימוש בפרויקטים האחרים לא מוצגות.
BigQuery	Slots used across projects in reservations	מכונות מזל	מספר משבצות הזיכרון ב-BigQuery שהוקצו לפרויקטים בהזמנה. שימו לב: נתוני המדד מדווחים רק בזמן שלפחות פרויקט אחד הוקצה להזמנה וצורכת משבצות. אפשרות חלופית היא לשלוח שאילתה לגבי פרטי ההזמנות מ-INFORMATION_SCHEMA.
BigQuery	Slots used by project in reservation	מכונות מזל	מספר משבצות הזיכרון ב-BigQuery שהוקצו לפרויקט בהזמנה.
משימה רציפה ב-BigQuery	Estimated backlog logical bytes	בייטים	מספר הבייטים ב-backlog בכל שלב של העבודה הרציפה.
משימה רציפה ב-BigQuery	Estimated backlog records	רשומות	מספר הרשומות המשוער ב-backlog בכל שלב של העבודה הרציפה.
משימה רציפה ב-BigQuery	Estimated bytes processed	בייטים	מספר הבייטים המשוער שעובר עיבוד בכל שלב של העבודה הרציפה.
משימה רציפה ב-BigQuery	Output watermark	חותמת הזמן	חותמת הזמן האחרונה, במיקרו-שניות מאז תקופת האפוק, שעד אליה כל הנתונים עברו עיבוד בשלב הזה של העבודה הרציפה.
משימה רציפה ב-BigQuery	Records read	רשומות	מספר רשומות הקלט שנקראו בכל שלב של המשימה הרציפה.
משימה רציפה ב-BigQuery	Records written	רשומות	מספר רשומות הפלט שנכתבו לכל שלב של המשימה הרציפה.
משימה רציפה ב-BigQuery	Slots used	אלפיות שנייה של משבצת	מספר אלפיות השנייה הכולל של משבצות הזמן שבהן נעשה שימוש על ידי העבודה הרציפה.
מערך נתונים של BigQuery	Stored bytes	בייטים	בייט שנשמר במערך הנתונים – לגבי 100 הטבלאות הגדולות ביותר במערך הנתונים, מוצג מספר הבייטים שנשמרו בכל טבלה (לפי שם). כל הטבלאות הנוספות במערך הנתונים (מעבר ל-100 הגדולות ביותר) מדווחות כסכום יחיד, ושם הטבלה של הסיכום הוא מחרוזת ריקה.
מערך נתונים של BigQuery	Table count	Tables	מספר הטבלאות במערך הנתונים.
מערך נתונים של BigQuery	Uploaded bytes	בייטים לדקה	מספר הבייטים שהועלו לכל טבלה במערך הנתונים.
מערך נתונים של BigQuery	שורות שהועלו	שורות בדקה	מספר הרשומות שהועלו לכל טבלה במערך הנתונים.

רשימה מלאה של המדדים הזמינים מופיעה במאמר מדדים שלGoogle Cloud . Google Cloud

בעיות מוכרות

• אם לא מופעלות שאילתות, לא מוחזרים נתונים לגבי משבצות שהוקצו, משבצות זמינות או משתנים שקשורים לשאילתות. מצמצמים את התצוגה כדי לראות את הנתונים.

• אם שאילתות פועלות בארה"ב ובאיחוד האירופי, יכול להיות שהנתונים של משבצות שהוקצו ומשבצות זמינות יהיו שגויים.

• הערך של המדד 'משבצות שהוקצו' הוא הערך הממוצע בחלון זמן (רוחב חלון הזמן תלוי ברמת הזום של התרשים). הגדלה והקטנה של התצוגה יכולות לשנות את הערך של משבצות הזמן שהוקצו. אם מתמקדים בחלון זמן של שעה אחת או פחות, מוצגים הערכים האמיתיים של המשבצות שהוקצו. בטווח הזה, בכל נקודת זמן שמוצגת בתרשים, avg(slots allocated) = slots allocated.

• הנתונים בתרשימים של Cloud Monitoring מתייחסים רק לפרויקט שנבחר.

• מדדים הם ערכים מיידיים, שנדגמים בנקודת זמן מסוימת, ויכול להיות שהם לא יכללו נקודות נתונים בין מרווחי הדגימה. לדוגמה, המדד 'ספירת משימות' נדגם כל דקה. הערך הוא מספר המשימות בזמן מסוים, ולא מספר המשימות המקסימלי במהלך הדקה כולה.