Cloud Monitoring

בעזרת Cloud Monitoring אפשר לעיין בנתוני הביצועים, זמן הפעולה התקינה והתקינות הכללית של אפליקציות מבוססות-ענן. שירות Google Cloud Observability אוסף ומטמיע מדדים, אירועים ומטא-נתונים משירותי Dataproc Metastore כדי ליצור תובנות באמצעות מרכזי בקרה ותרשימים.

גישה למדדי שירות בניטור

מדדים של משאבי שירות Dataproc Metastore מופעלים באופן אוטומטי בשירותי Dataproc Metastore. אפשר להשתמש ב-Monitoring כדי לראות את המדדים האלה.

אפשר לגשת אל Monitoring דרך מסוףGoogle Cloud או באמצעות Monitoring API.

המסוף

  1. במסוף Google Cloud , נכנסים לדף Cloud Monitoring > Metrics explorer:

    כניסה לדף Metrics Explorer

  2. ברשימה הנפתחת 'חיפוש סוג משאב ומדד', בוחרים את המשאב Dataproc Metastore Service.

  3. לוחצים שוב בתיבת הקלט ואז בוחרים מדד מהרשימה הנפתחת. כשמעבירים את העכבר מעל שם המדד, מוצג מידע על המדד.

אתם יכולים לבחור מסננים, לקבץ לפי תוויות מדדים, לבצע צבירות ולבחור אפשרויות לצפייה בתרשים.

REST

אתם יכולים להשתמש ב-API של Monitoring‏ timeSeries.list כדי לתעד ולרשום מדדים שמוגדרים על ידי ביטוי filter. אפשר להשתמש בתבנית Try this API בדף ה-API כדי לשלוח בקשת API ולהציג את התגובה.

מדדי שירות של Dataproc Metastore ב-Monitoring

מדדים מ-Dataproc Metastore. שלבי ההשקה של המדדים האלה: בטא GA

לפני המחרוזות של 'סוג המדד' בטבלה הזו צריך להוסיף את הקידומת metastore.googleapis.com/. הקידומת הזו הושמטה מהערכים בטבלה. כשמבצעים שאילתה על תווית, משתמשים בקידומת metric.labels.. לדוגמה, metric.labels.LABEL="VALUE".

סוג המדד שלב ההשקה (רמות בהיררכיית המשאבים)
שם לתצוגה
סוג, יחידה
משאבים במעקב		 תיאור
תוויות
federation/health בטא  (פרויקט)
תקינות שירות הפדרציה
GAUGE, INT64, 1
metastore.googleapis.com/Federation 		התקינות של שירות Dataproc Metastore המאוחד. ‫
version: הגרסה של Hive Metastore של השירות.
federation/server/request_count בטא  (פרויקט)
מספר בקשות השירות של הפדרציה
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		מספר הבקשות שנשלחו לשירות המאוחד של Dataproc Metastore.
method_name: שם ה-method של הבקשה.
status: סטטוס הסיום של הבקשה, אחד מהערכים [success, client_error, server_error]. ‫
version: הגרסה של Hive Metastore של השירות.
service/grpc/finished_requests_count בטא  (project)
gRPC Requests Finished Count
DELTA, INT64, 1
metastore.googleapis.com/Service 		מספר הבקשות שהושלמו על ידי שירות GRPC Dataproc Metastore. ‫
tier: רמת השירות או גודל המופע של השירות, למשל ENTERPRISE. ‫
version: הגרסה של Hive Metastore של השירות.
status: קוד הסטטוס של בקשת gRPC, כמו NOT_FOUND.
method_name: השם של שיטת הבקשה.
service/grpc/received_bytes_count בטא  (project)
gRPC Bytes Received
DELTA, INT64, By
metastore.googleapis.com/Service 		מספר הבייטים שהתקבלו על ידי שירות Dataproc Metastore. ‫
tier: רמת השירות או גודל המכונה של השירות. ‫
version: הגרסה של Hive Metastore של השירות.
service/grpc/request_latencies בטא  (פרויקט)
זמני האחזור של בקשות gRPC
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		התפלגות של זמני האחזור של בקשות gRPC בשירות Dataproc Metastore. ‫
tier: רמת השירות או גודל המכונה של השירות. ‫
version: הגרסה של שירות Hive Metastore.
status: קוד הסטטוס של בקשת gRPC, כמו NOT_FOUND.
method_name: השם של שיטת הבקשה.
service/grpc/sent_bytes_count בטא  (פרויקט)
gRPC Bytes Sent
DELTA, INT64, By
metastore.googleapis.com/Service 		מספר הבייטים שנשלחו על ידי שירות Dataproc Metastore. ‫
tier: רמת השירות או גודל המכונה של השירות. ‫
version: הגרסה של Hive Metastore של השירות.
service/grpc/started_requests_count בטא  (פרויקט)
מספר הבקשות שהתחילו ב-gRPC
DELTA, INT64, 1
metastore.googleapis.com/Service 		מספר הבקשות שהתקבלו והופעלו על ידי שירות GRPC Dataproc Metastore. ‫
tier: רמת השירות או גודל המכונה של השירות. ‫
version: הגרסה של שירות Hive Metastore.
method_name: שם ה-method של הבקשה.
service/grpc_client/finished_requests_count בטא  (פרויקט)
מספר הבקשות של לקוח gRPC שהושלמו
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		המספר הכולל של קריאות RPC שהושלמו בלקוח, ללא קשר להצלחה או לכישלון.
status: קוד הסטטוס של בקשת gRPC, כמו NOT_FOUND.
method_name: השם של שיטת הבקשה.
service/grpc_client/received_bytes_count בטא  (פרויקט)
בייטים שהתקבלו מלקוח gRPC
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		מספר הבייטים שהתקבלו על ידי לקוח gRPC.
service/grpc_client/request_latencies בטא  (פרויקט)
זמני האחזור של בקשות לקוח gRPC
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		התפלגות של זמני האחזור של בקשות gRPC בשירות Dataproc Metastore.
status: קוד הסטטוס של בקשת gRPC, כמו NOT_FOUND.
method_name: השם של שיטת הבקשה.
service/grpc_client/sent_bytes_count בטא  (פרויקט)
בייטים שנשלחו מלקוח gRPC
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		מספר הבייטים שנשלחו על ידי לקוח gRPC.
service/grpc_client/started_requests_count בטא  (פרויקט)
מספר הבקשות של לקוח gRPC שהופעלו
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		מספר הבקשות שהתחילו על ידי לקוח gRPC.
method_name: שם ה-method של הבקשה.
service/health GA  (project)
Service health
GAUGE, INT64, 1
metastore.googleapis.com/Service 		התקינות של שירות Dataproc Metastore. ‫
tier: רמת השירות או גודל המופע של השירות, למשל ENTERPRISE. ‫
version: הגרסה של שירות Hive Metastore. ‫
release_tag: תג של גרסת Dataproc Metastore, מאוכלס על ידי העורף של השירות ועשוי להשתנות במהלך חיי השירות.
service/metadata/bytes_used בטא  (פרויקט)
גודל המטא-נתונים שמאוחסנים בשירות Dataproc Metastore.
GAUGE, INT64, By
metastore.googleapis.com/Service 		כמות הנתונים שמאוחסנים במסד הנתונים של העורף של השירות. ‫
version: הגרסה של שירות Hive Metastore. ‫
database_type: סוג מסד הנתונים, אחת מהאפשרויות [SQL, ‏ Spanner].
service/migration/replication_lag בטא  (פרויקט)
זמן האחזור של עיבוד צינור השכפול בשניות.
GAUGE, DOUBLE, s
metastore.googleapis.com/Service 		המשך המקסימלי הנוכחי בשניות שנדרש לשכפול נתונים אל Dataproc Metastore. ‫
migration_id: מזהה ההעברה.
service/migration/write_throughput בטא  (פרויקט)
קצב העברת הנתונים של כתיבה במסד נתונים של יעד.
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service 		קצב התפוקה הנוכחי של הכתיבה במסד הנתונים של Dataproc Metastore שאליו מועתקים הנתונים במהלך שלב השכפול. ‫
migration_id: מזהה ההעברה.
service/multi_region/health GA  (project)
Multiregional service health
GAUGE, INT64, 1
metastore.googleapis.com/Service 		התקינות של שירות Dataproc Metastore במספר אזורים. ‫
version: הגרסה של שירות Hive Metastore. ‫
release_tag: תג של גרסת Dataproc Metastore, מאוכלס על ידי העורף של השירות ועשוי להשתנות במהלך חיי השירות.
service_region: האזור המרכיב שבו מתארח שירות Dataproc Metastore. ‫
scaling_factor: גורם קביעת קנה המידה של השירות, אחד מהערכים [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_count GA  (project)
Multiregional service request count
DELTA, INT64, {request}
metastore.googleapis.com/Service 		מספר הבקשות שנשלחו לשירות Dataproc Metastore מרובה אזורים.
method_name: שם ה-method של הבקשה. ‫
version: הגרסה של שירות Hive Metastore.
service_region: האזור המרכיב שבו מתארח שירות Dataproc Metastore. ‫
scaling_factor: גורם קביעת קנה המידה של השירות, אחד מהערכים [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_latencies GA  (project)
זמני האחזור של בקשות שירות מרובות אזורים
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		ההשהיות של הבקשות שנשלחו לשירות Dataproc Metastore בכמה אזורים.
method_name: שם ה-method של הבקשה. ‫
version: הגרסה של שירות Hive Metastore.
service_region: האזור המרכיב שבו מתארח שירות Dataproc Metastore. ‫
scaling_factor: גורם קביעת קנה המידה של השירות, אחד מהערכים [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/query_metadata/request_count בטא  (project)
מספר הבקשות לממשק האדמין
DELTA, INT64, {request}
metastore.googleapis.com/Service 		מספר הבקשות לממשק הניהול. ‫
database_type: סוג מסד הנתונים, אחת מהאפשרויות [SQL, ‏ Spanner]. ‫
code: קוד הסטטוס של gRPC.
service/query_metadata/request_latencies בטא  (פרויקט)
זמן האחזור של בקשות בממשק האדמין
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		זמן האחזור של בקשות ממשק האדמין מקצה לקצה. ‫
database_type: סוג מסד הנתונים, אחת מהאפשרויות [SQL, ‏ Spanner]. ‫
code: קוד הסטטוס של gRPC.
service/request_count GA  (project)
Request count
DELTA, INT64, {request}
metastore.googleapis.com/Service 		מספר הבקשות שנשלחו לשירות Dataproc Metastore.
method_name: שם ה-method של הבקשה. ‫
version: הגרסה של שירות Hive Metastore.
service/request_latencies בטא  (פרויקט)
זמני האחזור של הבקשות
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		ההשהיות של הבקשות שנשלחות לשירות Dataproc Metastore.
method_name: שם ה-method של הבקשה. ‫
version: הגרסה של שירות Hive Metastore.
service/scheduled_backups/backup_count בטא  (פרויקט)
מספר הגיבויים המתוזמנים
DELTA, INT64, 1
metastore.googleapis.com/Service 		מספר הגיבויים המתוזמנים שמאוחסנים כרגע בשירות.
state: מצב הגיבוי, אחת מהאפשרויות [SUCCEEDED, FAILED, IN_PROGRESS]. ‫
database_type: סוג מסד הנתונים, אחת מהאפשרויות [SQL, ‏ Spanner]. ‫
version: הגרסה של Hive Metastore של השירות.
service/scheduled_backups/last_backup_duration בטא  (project)
גיבויים מתוזמנים – משך הגיבוי האחרון
GAUGE, INT64, s
metastore.googleapis.com/Service 		משך הגיבוי המתוזמן האחרון שהושלם בהצלחה, בשניות. הדגימה מתבצעת כל 60 שניות. אחרי הדגימה, הנתונים לא גלויים למשך עד 120 שניות.
state: מצב הגיבוי, אחת מהאפשרויות [SUCCEEDED, FAILED, IN_PROGRESS]. ‫
database_type: סוג מסד הנתונים, אחת מהאפשרויות [SQL, ‏ Spanner]. ‫
version: הגרסה של Hive Metastore של השירות.
service/scheduled_backups/last_backup_size בטא  (project)
בקשת גיבויים מתוזמנים – גודל הגיבוי האחרון
GAUGE, INT64, By
metastore.googleapis.com/Service 		הגודל בבייטים של הגיבוי המתוזמן האחרון שהושלם בהצלחה. הדגימה מתבצעת כל 60 שניות. אחרי הדגימה, הנתונים לא גלויים למשך עד 120 שניות.
state: מצב הגיבוי, אחת מהאפשרויות [SUCCEEDED, FAILED, IN_PROGRESS]. ‫
database_type: סוג מסד הנתונים, אחת מהאפשרויות [SQL, ‏ Spanner]. ‫
version: הגרסה של שירות Hive Metastore.

הטבלה נוצרה בתאריך 2026-02-26 בשעה 23:38:29 לפי שעון UTC.

יצירת לוח בקרה של Monitoring בהתאמה אישית

אתם יכולים ליצור לוח בקרה מותאם אישית של Monitoring שמציג תרשימים של מדדי שירות נבחרים של Dataproc Metastore.

  1. בדף סקירה כללית של מרכזי בקרה של 'מעקב', לוחצים על + יצירת מרכז בקרה.

  2. נותנים שם למרכז הבקרה.

  3. בתפריט שבפינה השמאלית העליונה, לוחצים על הוספת תרשים כדי לפתוח את החלון 'הוספת תרשים'.

  4. בסוג המשאב, בוחרים באפשרות Dataproc Metastore Service.

  5. בוחרים מדד אחד או יותר ומאפיינים של מדדים ותרשימים, ואז לוחצים על שמירה כדי לשמור את התרשים.

  6. אם רוצים, מוסיפים עוד תרשימים למרכז הבקרה.

  7. כדי לשמור את לוח הבקרה, לוחצים על שמירה. הכותרת שלו מופיעה בדף Monitoring Dashboards Overview.

אפשר להציג, לעדכן ולמחוק תרשימים במרכז הבקרה מדף התצוגה של מרכז הבקרה.

שימוש בהתראות של Monitoring

אתם יכולים ליצור התראה ב-Monitoring שתשלח לכם הודעה כשמדד של שירות או של משימה ב-Dataproc Metastore חוצה סף שצוין.

יצירת התראה

  1. במסוף Google Cloud , פותחים את Monitoring Alerting.

  2. כדי לפתוח את הטופס Create new alerting policy, לוחצים על + CREATE POLICY.

  3. מגדירים התראה על ידי הוספת תנאי התראה, טריגרים של מדיניות, ערוצי התראות ומסמכים.

  4. בוחרים באפשרות ADD CONDITION כדי לפתוח את הטופס של תנאי ההתראה עם הכרטיסייה Metric שנבחרה.

  5. ממלאים את השדות כדי להגדיר תנאי להתרעה ולוחצים על ADD (הוספה).

  6. אחרי שמוסיפים את תנאי ההתראה, משלימים את מדיניות ההתראה על ידי הגדרת ערוצי ההתראה, טריגרים של המדיניות, תיעוד ושם מדיניות ההתראה.

הצגת ההתראות

כשמתקבלת התראה בעקבות תנאי של סף מדד, המערכת של Monitoring יוצרת אירוע ואירוע תואם. אפשר לראות את האירועים בדף Monitoring Alerting במסוף Google Cloud . אם הגדרתם מנגנון התראות במדיניות ההתראות, כמו התראה באימייל או ב-SMS, מערכת Monitoring שולחת גם התראה על האירוע.

המאמרים הבאים