מעקב אחרי משימות

אדמינים ב-BigQuery יכולים לעקוב אחרי משימות בכל הארגון באמצעות כלי לניהול משימות ב Google Cloud מסוף. בכלי לבדיקת משרות יש מסננים ואפשרויות מיון שיעזרו לכם לזהות משרות בעייתיות, להשוות ביניהן ולפתור בעיות שקשורות אליהן. לא צריך לכתוב שאילתות כדי לראות את פרטי העבודה, כמו הבעלים, הפרויקט, השימוש במשבצות, משך הזמן ועוד.INFORMATION_SCHEMA

באמצעות הכלי לחיפוש עבודות, אפשר:

• סינון וזיהוי של משרות. אפשר לחפש שאילתות ספציפיות בארגון על ידי החלת מסננים על סמך קריטריונים כמו סטטוס המשימה, משך הזמן, הבעלים או השימוש במשבצת.
• פתרון בעיות שקשורות לעבודות בדף פרטי העבודה (תצוגה מקדימה), אפשר לבחור עבודות ספציפיות כדי לראות את הגרפים של ביצוע השאילתות, את הטקסט של ה-SQL ואת היסטוריית הביצוע.
• השוואת ביצועים השוואה בין משרות (תצוגה מקדימה) כדי להדגיש הבדלים משמעותיים במדדים ולטפל בבעיות פוטנציאליות בביצועים.
• קבלת עזרה מ-AI אפשר להשתמש ב-Gemini Code Assist ישירות מכלי הניתוח של משימות (גרסת Preview) כדי לנתח נתונים סטטיסטיים של משימות או להסביר שאילתות שפועלות לאט.

‫BigQuery מספק את פרטי המשימות ותובנות מהתצוגות הבאות של INFORMATION_SCHEMA:

• INFORMATION_SCHEMA.JOBS_BY_PROJECT
• INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
• INFORMATION_SCHEMA.JOBS_BY_USER

הערה: אם אתם משתמשים בהגבלות ארגוניות, כדאי לעיין במאמר הפעלת גישה למשאבים בבעלות Google.

לפני שמתחילים

כדי להשתמש ב-Gemini Code Assist כדי לפתור בעיות בעבודות ב-BigQuery (גרסת Preview), צריך להגדיר את Gemini Code Assist כדי להפעיל את ה-API ולהקצות את התפקידים הנדרשים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשימוש בכלי לבדיקת משימות כדי לעקוב אחרי משימות, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• הצגת משימות ברמת הפרויקט: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בפרויקט
• הצגת משימות ברמת הארגון: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בארגון
• סינון לפי מקומות שמורים בארגון: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בארגון
• צפייה בפרטי העבודה: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בפרויקט שבו הופעלו השאילתות
• הצגת פרטים ברמת המערכת: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בפרויקט האדמין

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי להשתמש בכלי לבדיקת סטטוס העבודות למעקב אחרי עבודות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להשתמש בכלי לבדיקת משרות כדי לעקוב אחרי משרות, נדרשות ההרשאות הבאות:

• להצגת משרות ברמת הפרויקט: bigquery.jobs.listAll בפרויקט
• צפייה במשרות ברמת הארגון: bigquery.jobs.listAll בארגון
• סינון לפי הזמנות בארגון: bigquery.reservations.list בארגון

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הערה: תצוגת הארגון זמינה רק אם הגדרתם Google Cloud ארגונים.

כדי להשתמש ב-Gemini Code Assist כדי לפתור בעיות בעבודות, אפשר לעיין בדרישות נוספות של IAM לשימוש ב-Gemini Code Assist.

סינון משימות

כדי לסנן משימות לפי שאילתות שכלולות בתצוגות INFORMATION_SCHEMA.JOBS*, מבצעים את הפעולות הבאות:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Jobs explorer (סייר המשרות).

3. ברשימה מיקום, בוחרים את המיקום שרוצים לראות את המשרות שלו.

4. מפעילים מסננים לפי הצורך:

   • היקף המשרה: סינון משרות לפי רמת החשיפה שלהן – למשל, הפרויקט הנוכחי, הארגון והמשרות שלכם. אתם יכולים לבחור להציג משימות מהפרויקט הנוכחי, מכל הארגון או רק משימות שיצרתם.
   • סטטוס: מסנן את העבודות לפי מצב ההפעלה הנוכחי שלהן – למשל, הושלם, שגיאה, פעיל ובהמתנה. כך תוכלו לזהות משימות פעילות או משימות שנכשלו.
   • קטגוריית המשימה: מסננים את המשימות לפי סוג הפעולה שבוצעה, כמו שאילתות SQL רגילות או שאילתות רציפות שמשמשות לעיבוד נתונים בזמן אמת.
   • הסיבה ליצירת המשימה: מסננים משימות לפי הסיבה ליצירה שלהן ב-BigQuery, למשל כששאילתה חורגת מהזמן הקצוב לתפוגה או מפיקה תוצאות גדולות מדי לתגובה אחת.
   • עדיפות המשימה: סינון משימות לפי עדיפות הביצוע שלהן, כמו משימות אינטראקטיביות או משימות אצווה.
   • מזהה המשימה: סינון משימה ספציפית לפי המזהה האלפאנומרי הייחודי שלה.
   • בעלים: סינון משימות לפי כתובת האימייל של המשתמש או חשבון השירות שהפעילו את המשימה.
   • מזהה פרויקט: סינון משימות שהופעלו בפרויקט ספציפי. המסנן הזה זמין רק כשההגדרה היקף המשרה מוגדרת לארגון.
   • מזהה הזמנה: מסנן משימות שהשתמשו במשבצות מתוך הזמנה ספציפית. המידע הזה עוזר לכם לעקוב אחרי האופן שבו עומסי עבודה שונים צורכים קיבולת מוזמנת.
   • זמן משבצת יותר מ: סינון משימות שצרכו יותר מכמות מסוימת של אלפיות שנייה של משבצת. זהו מדד חשוב לזיהוי שאילתות שצורכות הרבה משאבים.
   • משך הזמן יותר מ: מסנן למשרות שהשלמתן נמשך יותר מזמן מסוים. אפשר להשתמש במידע הזה כדי למצוא שאילתות שפועלות לאט מהצפוי.
   • בייטים שעברו עיבוד יותר מ-: סינון משימות שסרקו יותר מכמות נתונים שצוינה. כך תוכלו לזהות שאילתות שעשויות לתרום לעלויות גבוהות של עיבוד נתונים.
   • תובנות לגבי שאילתות: סינון משימות שזוהו ב-BigQuery כבעיות ביצועים ספציפיות, כמו תחרות על משבצות, חריגה מקיבולת ערבול הזיכרון ושינוי קנה מידה של קלט הנתונים.
   • גיבוב (hash) של שאילתה: סינון לפי משרות עם גיבוב (hash) ספציפי של שאילתה. גיבוב של שאילתה מזהה את הלוגיקה של שאילתה, תוך התעלמות מהבדלים בתגובות, בערכי פרמטרים, בפונקציות מוגדרות על ידי המשתמש ובליטרלים. כך אפשר למצוא את כל ההפעלות של אותה לוגיקת שאילתה. השדה הזה מופיע בשאילתות GoogleSQL מוצלחות שלא נמצאות במטמון.
   • תוויות: סינון משרות לפי תוויות מטא-נתונים מותאמות אישית שאתם או הארגון שלכם צירפתם אליהן. כך תוכלו לסווג משרות ולעקוב אחריהן לפי מחלקה או אפליקציה.

פתרון בעיות בביצועים של משימות

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הערה: כדי לשלוח משוב או לבקש תמיכה בנוגע לתכונה הזו, אפשר לשלוח אימייל לכתובת [e-mail].

כדי לאבחן ולפתור בעיות בשאילתות, אפשר לראות את מדדי הביצוע, את טקסט ה-SQL ואת ההבדלים בביצועים ההיסטוריים בדף פרטי העבודה.

צפייה בפרטי המשרה

כדי לראות את הפרטים של משימה ולנתח את הביצוע של השאילתה שלה:

1. עוברים לדף Jobs explorer (הכלי לבדיקת משרות).

   כניסה לדף Jobs Explorer

2. אופציונלי: כדי לצמצם את המשרות שמוצגות, מסננים את המשרות.

3. לוחצים על מזהה המשימה שרוצים לבדוק. בשביל שאילתות שלא יוצרות משימה, מזהה השאילתה מופיע והקישור מושבת. לחיצה על מזהה משרה תקין פותחת את הדף Job details עם הכרטיסייה Performance שמוצגת כברירת מחדל.

מידע זמין על שאילתות

כדי לעזור לכם לאבחן את ביצועי השאילתות, בכרטיסייה ביצועים בפרטי העבודה מופיעים הנתונים והמדדים הבאים, כשזה רלוונטי:

• פרטי העבודה: מידע על העבודה, כולל מזהה העבודה, זמן היצירה, בייטים שעברו עיבוד ושימוש במשבצות. מידע נוסף זמין במאמר בנושא צפייה בפרטי המשרה.
• היסטוריית הביצוע: רשימה של ביצועים היסטוריים של השאילתה, שמקובצים לפי גיבוב השאילתה. אפשר לבחור מתוך הרשימה הזו משרה להשוואה ישירה למשרה הנוכחית. מידע נוסף זמין במאמר השוואה בין משרות.

• תרשים הביצוע: ייצוג חזותי של שלבי הביצוע של השאילתה. מרחיבים את הקטע Execution graph כדי לבדוק את התחרות על משבצות, את קיבולת הערבוב ואת קנה המידה של קלט הנתונים. מידע נוסף זמין במאמר בנושא קבלת תובנות לגבי ביצועי שאילתות.

  בדוגמה הבאה מוצג גרף ביצוע עם מיפוי של טקסט SQL מופעל:

  

• עומס המערכת במהלך ההרצה: סיכום של משאבי החישוב והגדרות ההזמנה שהוקצו במהלך הרצת העבודה.

אבחון רגרסיות בביצועים על ידי השוואה בין משימות ומערכות

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הערה: כדי לשלוח משוב או לבקש תמיכה בנוגע לתכונה הזו, אפשר לשלוח אימייל לכתובת [e-mail].

הכלי להשוואת ביצועים מאפשר לכם לנתח את ההבדלים בביצועים בין שני ג'ובים של שאילתות או בין שני מרווחי זמן במערכת. בניתוח מוצגים פרטים על השאילתה, שינויים בניצול המשאבים והגדרות סביבת המערכת ששונים באופן משמעותי בין סביבת הבסיס לסביבת היעד.

הסבר על ניתוח השוואתי

כלי ההשוואה מעריך את הביצועים לפי מדדים ברמת השאילתה וגורמים ברמת המערכת. אפשר להפעיל את המתג הצגת הבדלים משמעותיים בלבד כדי להגביל את התצוגה למדדים עם שונות של יותר מ-20%.

ההבדלים המשמעותיים מקודדים בצבעים כדי לעזור לכם לסרוק את הבעיות:

• ירוק: המדד השתפר (לדוגמה, משך שאילתה קצר יותר בהרצת היעד).
• צהוב: המדד ירד בפחות מ-20%.
• אדום: חלה ירידה של יותר מ-20% בערך המדד.

השוואה בין שתי משרות

כדי להשוות בין ביצוע של עבודת בסיס לבין ביצוע של עבודת יעד:

1. פותחים את הדף Jobs explorer.

   כניסה לדף Jobs Explorer

2. אופציונלי: כדי לצמצם את המשרות שמוצגות, מסננים את המשרות.

3. לוחצים על מזהה העבודה של עבודת הבסיס כדי לפתוח את הדף פרטי העבודה, ובוחרים בכרטיסייה ביצועים.

4. בתפריט פעולות, לוחצים על השוואת משימות.

5. בשדה Job one (baseline job) (משרה ראשונה (משרת בסיס)), לוחצים על Browse (עיון) כדי לפתוח את החלונית Similar comparable jobs (משרות דומות להשוואה).

6. בוחרים את משרת היעד שרוצים להשוות לנתוני הבסיס ולוחצים על השוואה.

7. אופציונלי: כדי להתמקד בירידות משמעותיות בביצועים, מפעילים את האפשרות הצגת הבדלים משמעותיים בלבד. כך התצוגה תוגבל למדדים עם שונות של יותר מ-20%.

כדי לשנות את המשרות שמושוות בכל שלב, לוחצים על עיון בשדות של משרת הבסיס או משרת היעד ובוחרים משרה חדשה מתוך רשימת המשרות להשוואה.

ניתוח ברמת השאילתה

אחרי השוואה בין שני ג'ובים, אפשר לראות את הקטע ניתוח ברמת השאילתה, שבו מוצגת השוואה בין שני ביצועים של ג'ובים בשלוש כרטיסיות:

• מדדים: השוואה בין מדדי ליבה של שאילתות, כמו משך העבודה, זמן המשבצת, בייטים שעברו עיבוד ומאיצים שלא נעשה בהם שימוש.
• טקסט SQL: מציג את הצהרות ה-SQL של שתי המשימות ומדגיש את ההבדלים בטקסט.
• תרשים ביצוע: משווה בין תרשימי הביצוע של שני הג&#39ובים שלב אחר שלב כדי לזהות איפה נוצרו צווארי בקבוק.

השוואה בין שני מרווחי זמן של המערכת

מנהלים ואנליסטים יכולים לנתח מדדים של סביבה רחבה יותר על ידי השוואת ביצועי המערכת. הכלי הזה מאפשר להשוות בין מרווחי זמן היסטוריים בהזמנות ובפרויקטים ספציפיים, כדי להבין את השינויים בשימוש ולבודד את הגורם לירידה בביצועים – פנימי או חיצוני לעומס העבודה.

אפשר לעבור לתצוגת ההשוואה של ביצועי המערכת באחת מהדרכים הבאות:

• בדף פרטי המשרה, אחרי השוואה בין שתי משרות, לוחצים על הצגת פרטים נוספים בקטע תוצאות ברמת המערכת כדי לראות פרטים על ההשוואה בין המערכות.
• אם אתם משתמשים ב-Gemini Cloud Assist כדי לבצע השוואה בין מערכות,‏ Gemini Cloud Assist יוצר קישור שפותח את תוצאות ההשוואה בין המערכות.

כדי לבצע השוואה ברמת המערכת בין תקופות זמן נפרדות, פועלים לפי השלבים הבאים:

1. בתצוגה השוואת ביצועים של המערכת, לוחצים על מערכת.
2. כדי לבחור את המערכת שבה רוצים לנתח את הביצועים, לוחצים על עיון ובוחרים היקף של הזמנה או פרויקט.
3. הגדרת מסגרות הזמן להשוואה:
   • מרווח היעד: בוחרים את חלון התאריכים והשעות של התקופה שבה נתקלתם בבעיות בביצועים ולוחצים על החלת.
   • מרווח בסיסי: בוחרים את תאריך ההתייחסות ואת חלון הזמן שישמשו כנקודת השוואה לביצועים, ולוחצים על אישור.

ניתוח ברמת המערכת

אחרי השוואה בין מרווחי זמן, בתצוגה מוצגים שינויים בשימוש, שינויים בו-זמניים והבדלים בהגדרות בסביבה שנבחרה בהשוואה לקבוצת האב שלה. כך תוכלו לקבוע אם יש השפעה על עומס העבודה שלכם בגלל תחרות על משבצות זמן או בגלל רגרסיות בהגדרות. הנתונים מוצגים בשלושה בלוקים:

• פרויקט: השוואה בין מספר המשימות שרצות במקביל, מספר המשימות שממתינות בתור ומספר המשבצות הכולל בשימוש ברמת הפרויקט.
• הזמנה: השוואה בין ניצול ההזמנה, שיתוף של יחידות קיבולת לא פעילות ושימוש בו-זמני בפרויקט בהזמנות משותפות.
• ניתוח ההגדרות: השוואה בין הגדרות ניהול עומסי העבודה בשתי ההרצות, כמו מכסות מקסימליות של גודל ההזמנה וכללים להשאלת משבצות פנויות.

שימוש בתובנות לפתרון בעיות שקשורות לביצועים של סוכנים

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

כדי לשלוח משוב או לבקש תמיכה בנוגע לתכונה הזו, אפשר לשלוח אימייל לכתובת [e-mail].

כשעוקבים אחרי משימות ניהול או מעריכים השוואות ביצועים, Gemini Cloud Assist משתלב עם אבחון הבסיס של יכולת הצפייה ב-BigQuery כדי להפוך את חלונית הצ'אט לעוזר פעיל לפתרון בעיות. כך אפשר לפתור חריגות ברמת המשימה וברמת המערכת.

הגישה לתובנות מוגבלת. אם אין לכם הרשאות מספיקות, יכול להיות שהתובנות שתקבלו יהיו מוגבלות. מידע נוסף על הרשאות זמין במאמר שליטה בגישה למשאבים באמצעות IAM.

פתרון בעיות בביצועים ב-Chat

כדי לאתחל את פתרון הבעיות מבוסס-הקשר ולפעול לפי תובנות לגבי הביצועים, צריך לבצע את הפעולות הבאות:

1. כדי לפתוח את חלונית הצ'אט עם Gemini Cloud Assist ולטעון באופן אוטומטי את ההקשר הרלוונטי של העבודה או המערכת, מבצעים אחת מהפעולות הבאות:
   • בדפים Jobs explorer או Job history, מעבירים את העכבר מעל משימה ולוחצים על astrophotography_mode Gemini בשורה של הטבלה.
   • בדף Workload management (ניהול עומסי עבודה), מעבירים את העכבר מעל הזמנה ולוחצים על astrophotography_mode Gemini בשורה הזו בטבלה.
   • ב-Studio, ב-Monitoring או ב-Jobs explorer, לוחצים על astrophotography_mode Gemini.
2. שולחים הנחיה בשפה טבעית. לדוגמה, אפשר לבקש מ-Gemini להסביר למה עבודה מסוימת פועלת לאט, לנתח נתונים סטטיסטיים ספציפיים של עבודה, לנתח ביצועים ספציפיים של הזמנה, לפתור בעיות בביצועי המערכת או להשוות בין שינויים בביצועים בין שתי עבודות היסטוריות דומות.
3. אם חורגים מסף ברמת הארגון או ברמת ההזמנה, למשל אם יש תור ארוך מאוד של משבצות בגלל עלייה לא צפויה במספר הפרויקטים הפעילים בו-זמנית, כדאי לעיין בדוח תובנות לגבי הביצועים שנוצר. בדוח הזה מפורטים צווארי בקבוק קריטיים, כמו:
   • Increased Queued Concurrency: עליות חדות בביקוש לשאילתות מקבילות שחורגות ממגבלות מקבילות רכות או ממכסות של משבצות שמורות.
   • הגדלת מספר הפרויקטים שפועלים בו-זמנית: מעקב אחרי פרויקטים עם מספר גבוה של פעולות בו-זמנית או אחרי חשבונות משתמשים מובילים שגורמים לעומס על המערכת, במסגרת הזמנות משותפות או מכסות לפי דרישה.
4. מעיינים בטבלה השוואה בין מדדים מרכזיים כדי לראות את ההבדלים המספריים המדויקים, כמו שינויים במקבילות הממוצעת של הפרויקט, במשבצות התור או במכסות המקסימליות של משבצות ההזמנה.

5. הפעלת פתרונות מוטמעים ישירות דרך קישורי העברה שניתן לפעול לפיהם, שנוצרו על ידי Gemini Cloud Assist. קיצורי הדרך האלה מפנים אתכם לכלים ספציפיים במוצר עם הקשר שמאוכלס מראש, כדי לענות על השאלות שלכם ולפתור בעיות:

   • עריכת ההקצאה: פותחת את חלונית הצד של ניהול עומסי העבודה כדי לשנות את הגודל המקסימלי של ההקצאה או להפעיל יכולות מתקדמות של שינוי גודל.
   • הצגת ביצועי המשרה בכלי לחיפוש משרות: פותח את הכרטיסייה 'פרטי הביצועים' של המשרה הספציפית.
   • השוואת ביצועי משרות בכלי לחקר משרות: השוואה בין הביצועים של שתי משרות זו לצד זו.

תמחור

הכלי לחיפוש משרות זמין ללא תשלום נוסף. השאילתות שמשמשות לאכלוס התרשימים האלה לא מחויבות ולא משתמשות במשבצות בהזמנות בבעלות המשתמש. הזמן הקצוב לתפוגה של שאילתות שמעבדות יותר מדי נתונים חלף.

המאמרים הבאים

• מידע על הזמנות
• מידע נוסף על רכישת משבצות
• איך מעריכים את דרישות הקיבולת של המשבצות
• איך רואים המלצות ותובנות לגבי מיקומי מודעות