מעקב אחרי שאילתות מתמשכות
אתם יכולים לעקוב אחרי שאילתות מתמשכות ב-BigQuery באמצעות הכלים הבאים:
בגלל ששאילתות מתמשכות ב-BigQuery פועלות לאורך זמן, יכול להיות שמדדים שבדרך כלל נוצרים בסיום של שאילתת SQL לא יופיעו או לא יהיו מדויקים.
שימוש בתצוגות של INFORMATION_SCHEMA
אתם יכולים להשתמש בכמה תצוגות של INFORMATION_SCHEMA כדי לעקוב אחרי שאילתות מתמשכות והזמנות של שאילתות מתמשכות.
צפייה בפרטי המשרה
אפשר להשתמש בתצוגה JOBS כדי לקבל מטא-נתונים של משימות שאילתות מתמשכות.
השאילתה הבאה מחזירה את המטא-נתונים של כל השאילתות המתמשכות הפעילות. המטא-נתונים כוללים את חותמת הזמן של סימן המים של הפלט, שמייצגת את הנקודה שאליה השאילתה המתמשכת עיבדה את הנתונים.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מריצים את השאילתה הבאה:
SELECT start_time, job_id, user_email, query, state, reservation_id, continuous_query_info.output_watermark FROM `PROJECT_ID.region-REGION.INFORMATION_SCHEMA.JOBS` WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 day) AND continuous IS TRUE AND state = "RUNNING" ORDER BY start_time DESC
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט -
REGION: כל שם של אזור של מערך נתונים. לדוגמה,region-us.
-
הצגת פרטי הקצאת ההזמנה
אפשר להשתמש בתצוגות ASSIGNMENTS ו-RESERVATIONS כדי לקבל פרטים על הקצאת הזמנות של שאילתות מתמשכות.
החזרת פרטי הקצאת ההזמנה לשאילתות מתמשכות:
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מריצים את השאילתה הבאה:
SELECT reservation.reservation_name, reservation.slot_capacity FROM `ADMIN_PROJECT_ID.region-LOCATION.INFORMATION_SCHEMA.ASSIGNMENTS` AS assignment INNER JOIN `ADMIN_PROJECT_ID.region-LOCATION.INFORMATION_SCHEMA.RESERVATIONS` AS reservation ON (assignment.reservation_name = reservation.reservation_name) WHERE assignment.assignee_id = 'PROJECT_ID' AND job_type = 'CONTINUOUS';
מחליפים את מה שכתוב בשדות הבאים:
-
ADMIN_PROJECT_ID: המזהה של פרויקט הניהול שבבעלותו נמצא המקום שהוזמן. -
LOCATION: המיקום של ההזמנה. -
PROJECT_ID: מזהה הפרויקט שמוקצה להזמנה. הפונקציה מחזירה רק מידע על שאילתות מתמשכות שפועלות בפרויקט הזה.
-
הצגת מידע על צריכת משבצות
כדי לקבל מידע על צריכת הסלוטים של שאילתות מתמשכות, אתם יכולים להשתמש בתצוגות ASSIGNMENTS, RESERVATIONS ו-JOBS_TIMELINE.
החזרת מידע על צריכת משבצות לשאילתות מתמשכות:
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מריצים את השאילתה הבאה:
SELECT jobs.period_start, reservation.reservation_name, reservation.slot_capacity, SUM(jobs.period_slot_ms) / 1000 AS consumed_total_slots FROM `ADMIN_PROJECT_ID.region-LOCATION.INFORMATION_SCHEMA.ASSIGNMENTS` AS assignment INNER JOIN `ADMIN_PROJECT_ID.region-LOCATION.INFORMATION_SCHEMA.RESERVATIONS` AS reservation ON (assignment.reservation_name = reservation.reservation_name) INNER JOIN `PROJECT_ID.region-LOCATION.INFORMATION_SCHEMA.JOBS_TIMELINE` AS jobs ON ( UPPER(CONCAT('ADMIN_PROJECT_ID:LOCATION.', assignment.reservation_name)) = UPPER(jobs.reservation_id)) WHERE assignment.assignee_id = 'PROJECT_ID' AND assignment.job_type = 'CONTINUOUS' AND jobs.period_start BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY) AND CURRENT_TIMESTAMP() GROUP BY 1, 2, 3 ORDER BY jobs.period_start DESC;
מחליפים את מה שכתוב בשדות הבאים:
-
ADMIN_PROJECT_ID: המזהה של פרויקט הניהול שבבעלותו נמצא המקום שהוזמן. -
LOCATION: המיקום של ההזמנה. -
PROJECT_ID: מזהה הפרויקט שמוקצה להזמנה. הפקודה מחזירה רק מידע על שאילתות מתמשכות שפועלות בפרויקט הזה.
-
אתם יכולים גם לעקוב אחרי הזמנות של שאילתות מתמשכות באמצעות כלים אחרים, כמו Metrics Explorer ותרשימי משאבים ניהוליים. למידע נוסף, קראו את המאמר מעקב אחרי המינויים ב-BigQuery.
שימוש בתרשים של ביצוע השאילתה
אתם יכולים להשתמש בתרשים ההפעלה של שאילתות כדי לקבל תובנות לגבי הביצועים ונתונים סטטיסטיים כלליים של שאילתה מתמשכת. מידע נוסף זמין במאמר הצגת תובנות לגבי ביצועי שאילתות.
הצגת היסטוריית הפעולות
אתם יכולים לראות את פרטי המשימה של השאילתה המתמשכת בהיסטוריית המשימות האישית או בהיסטוריית המשימות של הפרויקט. למידע נוסף, קראו את המאמר הצגת פרטי המשימה.
חשוב לזכור שהרשימה ההיסטורית של המשימות ממוינת לפי שעת ההתחלה של המשימה, ולכן יכול להיות ששאילתות מתמשכות שפועלות כבר זמן מה לא יהיו קרובות לתחילת הרשימה.
שימוש בכלי לחיפוש משרות
ב-Jobs explorer, מסננים את המשימות כדי להציג שאילתות מתמשכות על ידי הגדרת המסנן Job category לערך Continuous query.
שימוש ב-Cloud Monitoring
אתם יכולים להשתמש ב-Cloud Monitoring כדי לראות מדדים ספציפיים לשאילתות מתמשכות ב-BigQuery. למידע נוסף, קראו את המאמר יצירת מרכזי בקרה, תרשימים והתראות ואת המאמר מדדים זמינים להצגה חזותית.
התראה על שאילתות שנכשלו
במקום לבדוק באופן קבוע אם השאילתות המתמשכות נכשלו, אפשר ליצור התראה שתודיע לכם על הכישלון. אחת מהדרכים לעשות זאת היא ליצור מדד מבוסס-יומנים של Cloud Logging בהתאמה אישית עם מסנן למשימות, ומדיניות התראות של Cloud Monitoring שמבוססת על המדד הזה:
- כשיוצרים שאילתה מתמשכת, משתמשים בקידומת של מזהה משימה ייעודית.
לכמה שאילתות מתמשכות יכולה להיות אותה תחילית.
לדוגמה, אפשר להשתמש בקידומת
prod-כדי לציין שאילתת ייצור. במסוף Google Cloud , נכנסים לדף מדדים מבוססי-יומנים.
לוחצים על יצירת מדד. החלונית Create logs metric תופיע.
בשדה Metric type, בוחרים באפשרות Counter.
בקטע פרטים, נותנים שם למדד. לדוגמה,
CUSTOM_JOB_ID_PREFIX-metric.בקטע Filter selection, מזינים את הפרטים הבאים בכלי העריכה Build filter:
resource.type = "bigquery_project" protoPayload.resourceName : "projects/PROJECT_ID/jobs/CUSTOM_JOB_ID_PREFIX" severity = ERROR
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: שם הפרויקט. -
CUSTOM_JOB_ID_PREFIX: השם של הקידומת של מזהה המשימה הייעודית שהגדרתם לשאילתה המתמשכת.
-
לוחצים על יצירת מדד.
בתפריט הניווט, לוחצים על מדד מבוסס-יומנים. המדד שיצרתם מופיע ברשימת המדדים שהוגדרו על ידי המשתמש.
בשורה של המדד, לוחצים על More actions ואז על Create alert from metric.
לוחצים על הבא. אין צורך לשנות את הגדרות ברירת המחדל בדף Policy configuration mode.
לוחצים על הבא. אין צורך לשנות את הגדרות ברירת המחדל בדף Configure alert trigger.
בוחרים את ערוצי ההתראות ונותנים שם למדיניות ההתראות.
לוחצים על Create policy.
כדי לבדוק את ההתראה, אתם יכולים להריץ שאילתה מתמשכת עם התחילית של מזהה המשימה בהתאמה אישית שבחרתם, ואז לבטל אותה. יכול להיות שיעברו כמה דקות עד שההתראה תגיע לערוץ ההתראות.
ניסיון חוזר של שאילתות שנכשלו
ניסיון חוזר של שאילתה מתמשכת שנכשלה יכול לעזור למנוע מצבים שבהם צינור עיבוד נתונים מתמשך מושבת למשך זמן רב, או שנדרשת התערבות אנושית כדי להפעיל אותו מחדש. כשמנסים להפעיל מחדש שאילתה מתמשכת שנכשלה, חשוב לשים לב לדברים הבאים:
- האם אפשר לעבד מחדש כמות מסוימת של נתונים שעובדו על ידי השאילתה הקודמת לפני שהיא נכשלה.
- איך להגביל את מספר הניסיונות החוזרים או להשתמש בהשהיה מעריכית לפני ניסיון חוזר (exponential backoff).
אחת הגישות האפשריות לאוטומציה של ניסיון חוזר לשליחת שאילתה היא:
יוצרים sink ביומן של Cloud Logging שמבוסס על מסנן הכללה שתואם לקריטריונים הבאים, כדי לנתב את היומנים לנושא Pub/Sub:
resource.type = "bigquery_project" protoPayload.resourceName : "projects/PROJECT_ID/jobs/CUSTOM_JOB_ID_PREFIX" severity = ERROR
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: שם הפרויקט. -
CUSTOM_JOB_ID_PREFIX: השם של הקידומת של מזהה המשימה הייעודית שהגדרתם לשאילתה המתמשכת.
-
יוצרים פונקציית Cloud Run שמופעלת בתגובה ליומנים שמתאימים למסנן ומתקבלים ב-Pub/Sub.
פונקציית Cloud Run יכולה לקבל את המטען הייעודי (payload) של הנתונים מההודעה ב-Pub/Sub, ולנסות להפעיל שאילתה מתמשכת חדשה באמצעות אותו תחביר SQL כמו של השאילתה שנכשלה, אבל להתחיל מיד אחרי שהמשימה הקודמת נעצרה.
לדוגמה, אפשר להשתמש בפונקציה שדומה לזו:
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.