שימוש בכלי לחיפוש משרות אדמיניסטרטיביות

כאדמין ב-BigQuery, אפשר להשתמש ב-explorer של משימות אדמיניסטרטיביות כדי לעזור לכם לעקוב אחרי פעילות המשימות בארגון. בנוסף, הכלי 'סייר המשרות' מספק מגוון מסננים ואפשרויות מיון שיעזרו לכם לפתור בעיות ולזהות משרות בעייתיות. הכלי 'סייר משימות' מאפשר לכם לצפות במהירות בפרטי המשימה, כמו בעלים, פרויקט, שימוש במשבצות זמן, משך זמן ועוד, בלי שתצטרכו לכתוב שאילתות INFORMATION_SCHEMA.INFORMATION_SCHEMA

אפשר גם לבחור משימות ספציפיות כדי לפתוח את דף פרטי המשימה, שבו מוצגים פרטי השאילתה כמו גרפים של הביצוע, טקסט SQL והיסטוריית הביצוע. הפרטים האלה יכולים לעזור לכם לאבחן ולפתור בעיות בשאילתות. בדף הזה אפשר להשוות בין שני תהליכים כדי להדגיש את ההבדלים המשמעותיים ביניהם ולטפל בבעיות פוטנציאליות בביצועים.

‫BigQuery מספק פרטים ותובנות לגבי משימות באמצעות התצוגות הבאות של INFORMATION_SCHEMA:

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לשימוש בכלי לבדיקת משימות אדמיניסטרטיביות, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Resource Viewer (roles/bigquery.resourceViewer) בארגון או בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות לשימוש בכלי לבדיקת משימות אדמיניסטרטיביות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להשתמש בכלי לבדיקת משימות אדמיניסטרטיביות, נדרשות ההרשאות הבאות:

  • כדי לראות נתונים ברמת הפרויקט: bigquery.jobs.listAll בפרויקט
  • כדי לראות נתונים ברמת הארגון: bigquery.jobs.listAll בארגון
  • כדי לסנן לפי הזמנות בארגון: bigquery.reservations.list בארגון

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

סינון משימות

כדי לסנן משימות לפי שאילתות שכלולות בתצוגות INFORMATION_SCHEMA.JOBS*, מבצעים את הפעולות הבאות:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בתפריט הניווט, לוחצים על Jobs explorer (סייר המשרות).

  3. ברשימה מיקום, בוחרים את המיקום שרוצים לראות את המשרות שלו.

  4. מפעילים מסננים לפי הצורך:

    • היקף המשרה. למשל הפרויקט הנוכחי, הארגון והתפקידים שלכם.
    • סטטוס. לדוגמה: הושלם, שגיאה, פעיל ובהמתנה.
    • עדיפות המשרה. למשל, עבודות אינטראקטיביות או עבודות באצווה.
    • Job ID.
    • בעלים. מזהה האימייל של הבעלים של המשימה (רלוונטי רק כשהיקף המשימה הוא פרויקט או ארגון).
    • מזהה הפרויקט. (רלוונטי רק אם היקף העבודה הוא ארגון)
    • מזהה ההזמנה. (רלוונטי רק אם היקף העבודה הוא ארגון)
    • משך הזמן של המשבצת יותר מ-. משרות שנמשכו יותר זמן מהזמן שהוקצה להן.
    • משך הזמן יותר מ-. משרות שנמשכו יותר מהמשך שצוין.
    • בייטים שעובדו יותר מ-. משימות שבהן עובדו יותר בייטים מהמספר שצוין.
    • תובנות לגבי שאילתות. סוגים של תובנות לגבי שאילתות, כמו תחרות על משבצות, חריגה מקיבולת הזיכרון לערבוב נתונים ושינוי בקנה המידה של קלט הנתונים.
    • גיבוב של שאילתה. הגיבוב של השאילתה מכיל את הגיבובים של השאילתה. זהו גיבוב (hash) של מחרוזת הקסדצימלית שמתעלם מהערות, מערכי פרמטרים, מפונקציות מוגדרות על ידי המשתמש ומערכים קבועים. השדה הזה מופיע בשאילתות GoogleSQL שבוצעו בהצלחה ולא נשמרו במטמון.
    • תוויות. זוגות של key:value שאפשר להקצות לעבודה. אפשר לסנן באמצעות מפתח, ערך או שילוב של key:value.
    • קטגוריית משרה. סוג השאילתה, למשל רגילה או שאילתה מתמשכת.

הצגת פרטי הביצוע של השאילתה

כדי לראות את פרטי הביצוע של שאילתות בעבודות:

  1. עוברים לדף Jobs explorer.

    כניסה לדף Jobs Explorer

  2. כדי לראות את המשימות, לוחצים על סייר המשימות.

  3. מסננים את המשרות כדי לראות רק חלק מהן.

  4. לוחצים על העבודה שרוצים לראות את פרטי הביצוע של השאילתה שלה.

  5. בחלונית תוצאות השאילתה, לוחצים על הכרטיסייה תרשים הביצוע כדי לראות את פרטי הביצוע של העבודה.

    תרשים הביצוע של המשימות.

מידע על פענוח התובנות מופיע במאמר פענוח התובנות לגבי ביצועי השאילתות.

קבלת פרטי משימה ב-BigQuery

כדי לבקש משוב או תמיכה בנוגע לתכונה הזו, אפשר לשלוח אימייל לכתובת bq-performance-troubleshooting+feedback@google.com.

מכלי הניהול של משימות אפשר לעבור לדף הפרטים של BigQuery. בדף הפרטים של משימת BigQuery משולבים כמה פרטים של שאילתות בדף אחד, כדי לעזור באבחון ובפתרון בעיות בשאילתות. בכרטיסייה ביצועים מרוכז מידע על השאילתה, כולל גרף הביצוע, טקסט ה-SQL והיסטוריית הביצוע.

בכרטיסייה ביצועים אפשר גם להשוות בין שאילתות, כדי להשוות את היסטוריית השימוש בשאילתה ולנתח ולפתור בעיות שעלולות להשפיע על הביצועים. מידע נוסף על השוואת משרות זמין במאמר השוואת משרות.

לפני שמתחילים

כדי לקבל את ההרשאות שדרושות לכם כדי לעבוד עם פרטי משימות של BigQuery ופרטים ברמת המערכת, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בארגון או בפרויקט:

  • הצגת פרטי העבודה: BigQuery Resource Viewer (roles/bigquery.resourceViewer) – הפרויקט שבו הופעלו השאילתות
  • הצגת פרטים ברמת המערכת: BigQuery Resource Viewer (roles/bigquery.resourceViewer) – פרויקט האדמין

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש כוללים את ההרשאות שנדרשות לעבודה עם פרטי משימות ב-BigQuery ופרטים ברמת המערכת. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לעבוד עם פרטי משימות של BigQuery ופרטים ברמת המערכת, נדרשות ההרשאות הבאות:

  • כדי לראות נתונים ברמת הפרויקט: bigquery.jobs.listAll בפרויקט
  • כדי לראות נתונים ברמת הארגון: bigquery.jobs.listAll בארגון
  • כדי לסנן לפי הזמנות בארגון: bigquery.reservations.list בארגון

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

צפייה בפרטי המשרה

כדי להציג את דף פרטי המשרה:

  1. עוברים לדף Jobs Explorer.

    כניסה לדף Jobs Explorer

  2. אופציונלי: מסננים את המשרות כדי לצמצם את המשרות שמוצגות.

  3. לוחצים על מזהה המשימה שרוצים לראות. בשביל שאילתות שלא יוצרות עבודה, מזהה השאילתה מופיע והקישור מושבת. בכל השאילתות האחרות, לחיצה על מזהה המשימה מציגה את הדף פרטי המשימה.

הכרטיסייה ביצועים מוצגת כברירת מחדל. אפשר לעבור לכרטיסיות האחרות כדי לראות מידע נוסף על המשרה.

מידע זמין על שאילתות

ברשימה הבאה מפורטים המידע והמדדים שזמינים בכרטיסייה ביצועים.

  • ‫SQL Query: הטקסט של שאילתת ה-SQL שיצרה את העבודה.

  • פרטי המשימה: המידע על המשימה, כולל מזהה המשימה, זמן היצירה, בייטים שעברו עיבוד ועוד. מידע נוסף זמין במאמר בנושא צפייה בפרטי המשרה.

  • שונות בביצועים: מידע על ביצועי העבודה בהשוואה לביצוע קודם של אותה שאילתה. מערכת BigQuery משווה את המשימה הנוכחית להרצה קודמת עם מספר דומה של בייטים שעברו עיבוד (‎+/- 5%) ומשך המשימה הקצר ביותר, אם קיים. אם לא קיימת הרצה קודמת כזו, BigQuery משווה את העבודה הנוכחית לממוצע של הרצות קודמות ב-30 הימים האחרונים. אם אין הרצות קודמות, בקטע הזה מצוין שלא נמצאה משימה דומה להשוואה.

  • היסטוריית הביצוע: רשימה של ביצועים אחרים של השאילתה הזו לפי גיבוב השאילתה. בחלונית הזו אפשר לבחור משרה להשוואה למשרה שמוצגת. מידע נוסף על השוואת משרות

  • עומס המערכת במהלך הביצוע: תיאור של המשאבים ש-BigQuery השתמש בהם כדי לבצע את העבודה. המידע הזה כולל פרטים על הגדרות ההזמנה שבהן נעשה שימוש בעבודה הזו, אם רלוונטי.

  • תרשים ביצוע: תרשים הביצוע של העבודה הזו. מידע נוסף זמין במאמר קבלת תובנות לגבי ביצועי שאילתות.

השוואה בין משרות

כדי לבקש משוב או תמיכה בנוגע לתכונה הזו, אפשר לשלוח אימייל לכתובת bq-performance-troubleshooting+feedback@google.com.

ההשוואה בין ביצועי המשימות מאפשרת לכם להשוות בין משימת הבסיס לבין משימות ממוקדות, וניתוח השאילתות מדגיש פרטים של משימות ששונים באופן משמעותי בין שתי המשימות. כך תוכלו לפתור בעיות פוטנציאליות בביצועים בין שתי משימות של שאילתות.

כשמשווים בין שתי שאילתות, חשוב לשים לב לפרטים הבאים כדי לבצע אופטימיזציה של השאילתות: משך העבודה, זמן ההקצאה וגודל הנתונים שעברו עיבוד (בבייט).

לפני שמתחילים

כדי לקבל את ההרשאות שדרושות לכם כדי לעבוד עם פרטי משימות של BigQuery ופרטים ברמת המערכת, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בארגון או בפרויקט:

  • הצגת פרטי העבודה: BigQuery Resource Viewer (roles/bigquery.resourceViewer) – הפרויקט שבו הופעלו השאילתות
  • הצגת פרטים ברמת המערכת: BigQuery Resource Viewer (roles/bigquery.resourceViewer) – פרויקט האדמין

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש כוללים את ההרשאות שנדרשות לעבודה עם פרטי משימות ב-BigQuery ופרטים ברמת המערכת. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לעבוד עם פרטי משימות של BigQuery ופרטים ברמת המערכת, נדרשות ההרשאות הבאות:

  • כדי לראות נתונים ברמת הפרויקט: bigquery.jobs.listAll בפרויקט
  • כדי לראות נתונים ברמת הארגון: bigquery.jobs.listAll בארגון
  • כדי לסנן לפי הזמנות בארגון: bigquery.reservations.list בארגון

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הסבר על השוואת ביצועים של משרות

בקטעים הבאים מפורט מידע על הדף השוואה בין ביצועי המשרות ועל פתרון הבעיות שמופיע בו.

אפשר להפעיל את המתג הצגת הבדלים משמעותיים בלבד כדי לראות רק הבדלים משמעותיים בין שני הג'ובים בכל המדדים שמופיעים בדף הזה.

הבדלים משמעותיים מודגשים בירוק, בצהוב ובאדום:

  • ירוק: השינוי הוא בכיוון חיובי. לדוגמה, משך שאילתה קצר יותר הוא טוב יותר, ולכן אם משימת היעד פועלת מהר יותר ממשימת הבסיס, היא מסומנת בירוק.
  • צהוב: השינוי הוא בכיוון שלילי, אבל ההפרש קטן מ-20%.
  • אדום: השינוי הוא שלילי, וההבדל גדול מ-20%.

ניתוח ברמת השאילתה

בחלונית ניתוח ברמת השאילתה מתוארים ההבדלים בין שני הג'ובים ברמת השאילתה. היא כוללת שלוש כרטיסיות: Metrics,‏ SQL text ו-Execution graph.

  • בכרטיסייה מדדים מפורטים מדדי השאילתה של שני הג'ובים. בכרטיסייה הזו אפשר לבדוק אם יש פערים בין משך העבודה, המאיצים שלא נעשה בהם שימוש ומדדים אחרים.

  • בכרטיסייה SQL text מוצגות שתי הצהרות SQL שיצרו את העבודות, וההבדלים ביניהן מודגשים. בכרטיסייה הזו אפשר לבדוק אם השינויים בהצהרות ה-SQL השפיעו על ביצועי העבודה.

  • בכרטיסייה תרשים הביצוע מוצגת השוואה בין תרשימי הביצוע של שתי המשימות. בכרטיסייה הזו אפשר לבדוק אם היו אי-התאמות בשלב כלשהו במהלך ההרצה של העבודות.

ניתוח ברמת המערכת

בחלונית System level analysis (ניתוח ברמת המערכת) מתוארים הגורמים שעשויים להשפיע על שתי המשימות ברמת המערכת. הדוח מורכב משלושה קטעים: טבלת הפרויקט, טבלת ההזמנה וטבלת ההגדרות.

בחלונית System level analysis (ניתוח ברמת המערכת) מוצגות הצעות לשיפורים על סמך ההבדלים בין שתי השאילתות.

לדוגמה, אם משימה קיבלה פחות משבצות זמן מאשר בהרצות קודמות, יכול להיות שהיא הושפעה ממגבלות משאבים במערכת. אם זה המצב, צריך לבדוק את המדדים ברמת הפרויקט כדי לראות אם הפרויקט כולו קיבל פחות משבצות. אם הפרויקט לא קיבל פחות משבצות, סביר להניח שהייתה תחרות על משאבים ברמת הפרויקט, למשל עלייה במספר המשימות שרצות במקביל. אם הפרויקט קיבל פחות משבצות, צריך לבדוק את רמת ההזמנה כדי לזהות מגבלות.

  • בטבלה Project מוצגות השוואות בין שני הג'ובים ברמת הפרויקט. אפשר להשתמש בטבלה הזו כדי לבדוק אם אפשר לבצע אופטימיזציה ברמת הפרויקט.

  • בטבלה Reservation מוצג השוואה בין שתי המשימות ברמת ההזמנה. אתם יכולים להיעזר בטבלה הזו כדי לזהות הבדלים בשימוש בהזמנה בין שתי השאילתות, שיכולים להשפיע על ביצועי העבודה.

  • בטבלה הגדרות מוצגת השוואה בין הגדרות ההזמנה של שתי המשימות. הטבלה הזו מאפשרת לזהות שינויים בהגדרות ההזמנה שיכול להיות שהשפיעו על הביצועים.

השוואה בין שתי משרות

כדי להשוות בין שני תפקידים:

  1. עוברים לדף Jobs Explorer.

    כניסה לדף Jobs Explorer

  2. אופציונלי: מסננים את המשרות כדי לצמצם את המשרות שמוצגות.

  3. לוחצים על מזהה העבודה של העבודה הראשונית שרוצים להציג ולהשוות. מופיע הדף פרטי המשימה.

  4. לוחצים על הכרטיסייה ביצועים.

  5. לוחצים על השוואת משרות.

  6. בשדה Job one (baseline job) (משימה ראשונה (משימת בסיס)), לוחצים על Browse (עיון). מוצגת החלונית הצעות עבודה דומות.

  7. מזהים את העבודה שרוצים להשוות לעבודת הבסיס ולוחצים על השוואה. מוצגת השוואה של ביצועי המשרה.

  8. כדי לראות רק את ההבדלים המשמעותיים בין שני הג'ובים, מפעילים את המתג הצגת רק הבדלים משמעותיים.

שינוי המשרות שמשווים ביניהן

כדי לשנות את המשרות שמשווים ביניהן:

  1. עוברים לדף השוואת ביצועים של משרות.

  2. בשדה Job one (baseline job) (משימה ראשונה (משימת בסיס)), לוחצים על Browse (עיון).

  3. בחלונית Similar comparable jobs (משרות דומות להשוואה), מזהים את המשרה שרוצים להשוות ולוחצים על Compare (השוואה).

תמחור

הכלי לחיפוש משרות זמין ללא עלות נוספת. השאילתות שמשמשות לאכלוס התרשימים האלה לא מחויבות ולא משתמשות במשבצות בהזמנות בבעלות המשתמש. הזמן הקצוב לתפוגה של שאילתות שמעבדות יותר מדי נתונים חלף.

המאמרים הבאים