סקירה כללית של מדדים

בדף הזה מתוארים המדדים שעוזרים לכם לעקוב אחרי התקינות והביצועים של המופעים וצינורות הנתונים של Cloud Data Fusion. אפשר להשתמש ב-Cloud Monitoring כדי לעקוב אחרי המדדים האלה. המדדים מספקים תובנות לגבי הרצות של צינורות, פרטי מופעים, בקשות API ובדיקות הרשאה.

המדדים מסווגים כמדדי צינור או כמדדי מופע:

• מדדי פייפליין מספקים נתונים על הרצות ספציפיות של פייפליין, כמו סטטוס ההרצה, משך הזמן, זמן האחזור וקצב העברת הנתונים.
• מדדי מופע מספקים מידע מצטבר על צינורות הנתונים במופע, כולל זמינות השירות, מספר צינורות הנתונים שנפרסו ומספר בקשות ה-API.

סינון וצבירה של מדדים של צינורות ומופעים של Cloud Data Fusion ב-Monitoring באמצעות תוויות של מדדים ותוויות של משאבים במעקב. כשמתאימים אישית את תצוגות המדדים, אפשר להשתמש באחד מסוגי התוויות האלה או בשניהם.

תוויות של משאבים מנוהלים בצינור Cloud Data Fusion

מסננים ומצברים את המדדים באמצעות התוויות הבאות של משאבים מפוקחים של Cloud Data Fusion Pipeline:

שם התווית	תיאור
resource_container	המזהה של פרויקט הלקוח.
org_id	מזהה הארגון שאליו משויך פרויקט הלקוח.
location	האזור או התחום (zone) שבהם המכונה מתארחת.
edition	המהדורה של מכונת Cloud Data Fusion.
is_private_ip_enabled	האם המכונה משתמשת בכתובת IP פנימית.
version	גרסת מישור הנתונים של המכונה ב-Cloud Data Fusion.
instance_id	מזהה מכונת Cloud Data Fusion.
namespace	מרחב השמות של צינור הנתונים.
pipeline_id	מזהה הפייפליין.
run_id	מזהה ההרצה של הצינור.

תוויות של מדדים בצינור

מסננים ומצברים את המדדים באמצעות התוויות הבאות של מדדים ב-Cloud Data Fusion ב-Monitoring:

שם	מדד	תיאור	תוויות מדדים
סטטוס ההרצה של צינור עיבוד הנתונים	datafusion.googleapis.com/pipeline/v2/runs_completed_count	המספר המצטבר של צינורות עיבוד נתונים שהשלימו הרצה.	complete_state previous_state program provisioner cluster_state compute_profile_id enable_rbac private_service_connect_enabled
זמן הריצה של צינור עיבוד הנתונים	datafusion.googleapis.com/pipeline/v2/pipeline_duration	הזמן שנדרש להשלמת הרצת צינור הנתונים.	complete_state program provisioner cluster_state compute_profile_id enable_rbac private_service_connect_enabled
זמן הטעינה של צינור הנתונים	datafusion.googleapis.com/pipeline/v2/pipeline_start_latency	הזמן שנדרש לצינור להגיע למצב פועל.	program provisioner cluster_state compute_profile_id complete_state enable_rbac private_service_connect_enabled
זמן האחזור של הקצאת הרשאות	datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency	השהיית ההקצאה של אשכול Managed Service for Apache Spark.	provisioner enable_rbac private_service_connect_enabled
בקשות Dataproc API	datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count	הספירה המצטברת של בקשות Dataproc API.	provisioner method response_code region launch_mode image_version enable_rbac private_service_connect_enabled
זמן הריצה של תצוגה מקדימה של צינור	datafusion.googleapis.com/pipeline/v2/preview_duration	משך הזמן שנדרש להשלמת התצוגה המקדימה.	complete_state enable_rbac private_service_connect_enabled
בייטים שנכתבו בצינור	datafusion.googleapis.com/pipeline/v2/write_bytes_count	המספר המצטבר של בייטים שנכתבו על ידי צינור.	enable_rbac private_service_connect_enabled
בייטים שנקראו בצינור	datafusion.googleapis.com/pipeline/v2/read_bytes_count	המספר המצטבר של בייטים שנקראו על ידי צינור.	enable_rbac private_service_connect_enabled
בייטים של צינור עיבוד הנתונים שמוצגים בסדר אקראי	datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count	הספירה המצטברת של בייטים שבוצעו בהם פעולות ערבוב בצינור.	enable_rbac private_service_connect_enabled
רשומות של תוספים שעברו עיבוד ב-	datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count	מספר מצטבר של רשומות שנכנסות לתוסף.	enable_rbac private_service_connect_enabled stage_name
רשומות של תוספים שעברו עיבוד	datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count	הספירה המצטברת של רשומות שיוצאות מתוסף.	enable_rbac private_service_connect_enabled stage_name

תוויות של משאבים מנוהלים במופע Cloud Data Fusion

החל מגרסה 6.11.1.1 של Cloud Data Fusion, המשאב במעקב InstanceV3 (datafusion.googleapis.com/InstanceV3) הוא סוג המשאב שמוגדר כברירת מחדל למדדים ברמת המופע. כל המקרים החדשים והמקרים ששודרגו לגרסה 6.11.1.1 ואילך, פולטים באופן אוטומטי מדדים ויומנים באמצעות InstanceV3. מבנה המשאב InstanceV3 שונה מהגרסה הקודמת, כי התוויות org_id ו-namespace הוסרו.

כברירת מחדל, הפקת המדדים של InstanceV2 מושבתת ב-Cloud Data Fusion בגרסה 6.11.1.1 ואילך. עם זאת, אפשר להפעיל מחדש את הפליטה של InstanceV2 לצד InstanceV3 באמצעות Cloud Data Fusion API בארכיטקטורת REST אם נדרשת תאימות לדורות קודמים עבור לוחות בקרה או שאילתות קיימים.

הערה: המדדים שמשויכים להפעלת צינור עיבוד הנתונים ממשיכים להשתמש בdatafusion.googleapis.com/PipelineV2 משאב שבמעקב.

אפשר לסנן ולצבור את המדדים באמצעות התוויות הבאות של משאב במעקב Cloud Data Fusion Instance.

תוויות של משאב במעקב InstanceV3

שם התווית	תיאור
resource_container	המזהה של פרויקט הלקוח.
location	האזור או התחום (zone) שבהם המכונה מתארחת.
edition	המהדורה של המופע.
is_private_ip_enabled	האם המכונה משתמשת בכתובת IP פנימית.
version	גרסת מישור הנתונים של המכונה ב-Cloud Data Fusion.
instance_id	מזהה מכונת Cloud Data Fusion.

תוויות של משאב במעקב InstanceV2

שם התווית	תיאור
resource_container	המזהה של פרויקט הלקוח.
org_id	מזהה הארגון שאליו משויך פרויקט הלקוח.
location	האזור או התחום (zone) שבהם המכונה מתארחת.
edition	המהדורה של המופע.
is_private_ip_enabled	האם המכונה משתמשת בכתובת IP פנימית.
version	גרסת מישור הנתונים של המכונה ב-Cloud Data Fusion.
instance_id	מזהה מכונת Cloud Data Fusion.
namespace	שם מרחב השמות.

תוויות של מדדי מופעים

מסננים ומצברים את המדדים באמצעות תוויות המדדים הבאות של Cloud Data Fusion ב-Monitoring.

תוויות של מדדים ב-InstanceV3

שם	מדד	תיאור	תוויות מדדים
סטטוס השירות	datafusion.googleapis.com/instance/v3/service_available	זמינות השירותים של Cloud Data Fusion.	service enable_rbac private_service_connect_enabled
מספר צינורות עיבוד הנתונים שנפרסו	datafusion.googleapis.com/instance/v3/pipelines	מספר צינורות הנתונים שנפרסו.	enable_rbac private_service_connect_enabled maintenance_window_enabled
מספר צינורות עיבוד נתונים שפועלים בו-זמנית	datafusion.googleapis.com/instance/v3/concurrent_pipelines_running	מספר צינורות הנתונים שפועלים בו-זמנית.	enable_rbac private_service_connect_enabled
מספר ההפעלות בו-זמנית של צינורות עיבוד נתונים	datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched	מספר הצינורות במצב הקצאת הרשאות או התחלה.	enable_rbac private_service_connect_enabled
בקשות CDAP REST API שהתקבלו	datafusion.googleapis.com/instance/v3/api_request_count	המספר המצטבר של בקשות API בארכיטקטורת REST שהתקבלו על ידי שירות בקצה העורפי.	service handler method enable_rbac private_service_connect_enabled
תגובות שנשלחות מ-CDAP REST API	datafusion.googleapis.com/instance/v3/api_response_count	הספירה המצטברת של תגובות מ-API בארכיטקטורת REST שנשלחו על ידי שירות בקצה העורפי.	service handler method response_code enable_rbac private_service_connect_enabled
מספר בדיקות ההרשאה	datafusion.googleapis.com/instance/v3/authorization_check_count	המספר המצטבר של בדיקות ההרשאה שבוצעו על ידי הכלי לאכיפת הגישה.	enable_rbac type private_service_connect_enabled
שעת בדיקת ההרשאה	datafusion.googleapis.com/instance/v3/authorization_check_time	החביון של בדיקות ההרשאה שמתבצעות על ידי מאכף הגישה.	enable_rbac type private_service_connect_enabled
מספר צינורות עיבוד נתונים בטיוטה	datafusion.googleapis.com/instance/v3/draft_pipelines	מספר צינורות העיבוד בטיוטה.	enable_rbac private_service_connect_enabled
מספר מרחבי השמות	datafusion.googleapis.com/instance/v3/namespaces	מספר מרחבי השמות.	enable_rbac private_service_connect_enabled

תוויות של מדדים מסוג InstanceV2

שם	מדד	תיאור	תוויות מדדים
סטטוס השירות	datafusion.googleapis.com/instance/v2/service_available	זמינות השירותים של Cloud Data Fusion.	service enable_rbac private_service_connect_enabled
מספר צינורות עיבוד הנתונים שנפרסו	datafusion.googleapis.com/instance/v2/pipelines	מספר צינורות הנתונים שנפרסו.	enable_rbac private_service_connect_enabled maintenance_window_enabled
מספר צינורות עיבוד נתונים שפועלים בו-זמנית	datafusion.googleapis.com/instance/v2/concurrent_pipelines_running	מספר צינורות הנתונים שפועלים בו-זמנית.	enable_rbac private_service_connect_enabled
מספר ההפעלות בו-זמנית של צינורות עיבוד נתונים	datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched	מספר הצינורות במצב הקצאת הרשאות או התחלה.	enable_rbac private_service_connect_enabled
בקשות CDAP REST API שהתקבלו	datafusion.googleapis.com/instance/v2/api_request_count	המספר המצטבר של בקשות API בארכיטקטורת REST שהתקבלו על ידי שירות בקצה העורפי.	service handler method enable_rbac private_service_connect_enabled
תגובות שנשלחות מ-CDAP REST API	datafusion.googleapis.com/instance/v2/api_response_count	הספירה המצטברת של תגובות מ-API בארכיטקטורת REST שנשלחו על ידי שירות בקצה העורפי.	service handler method response_code enable_rbac private_service_connect_enabled
מספר בדיקות ההרשאה	datafusion.googleapis.com/instance/v2/authorization_check_count	המספר המצטבר של בדיקות ההרשאה שבוצעו על ידי הכלי לאכיפת הגישה.	enable_rbac type private_service_connect_enabled
שעת בדיקת ההרשאה	datafusion.googleapis.com/instance/v2/authorization_check_time	החביון של בדיקות ההרשאה שמתבצעות על ידי מאכף הגישה.	enable_rbac type private_service_connect_enabled
מספר צינורות עיבוד נתונים בטיוטה	datafusion.googleapis.com/instance/v2/draft_pipelines	מספר צינורות העיבוד בטיוטה.	enable_rbac private_service_connect_enabled
מספר מרחבי השמות	datafusion.googleapis.com/instance/v2/namespaces	מספר מרחבי השמות.	enable_rbac private_service_connect_enabled

ניהול פליטת מדדים של InstanceV2

במקרים של מופעי Cloud Data Fusion שפועלת בהם גרסה 6.11.1.1 ואילך, השליחה של מדדי InstanceV2 מושבתת כברירת מחדל. אם אתם צריכים לשמור על תאימות לאחור עם לוחות בקרה או התראות שמשתמשים בפורמט הישן, אתם יכולים להפעיל מחדש את מדדי InstanceV2 באמצעות Cloud Data Fusion API בארכיטקטורת REST.

הפעלת מדדים של InstanceV2

כדי להפעיל את הפקת המדדים InstanceV2, משתמשים ב-method ‏instances.patch עם הערך true של enable_instance_v2_metrics:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט Google Cloud
• ‫LOCATION: המיקום של המכונה
• ‫INSTANCE_ID: המזהה של מופע Cloud Data Fusion

השבתה של מדדים של InstanceV2

כדי להשבית את המדדים של InstanceV2 ולחזור להתנהגות ברירת המחדל (הפקת מדדים של InstanceV3 בלבד), משתמשים בשיטה instances.patch עם enable_instance_v2_metrics שמוגדר ל-false:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט Google Cloud
• ‫LOCATION: המיקום של המכונה
• ‫INSTANCE_ID: המזהה של מופע Cloud Data Fusion

העברה של שאילתות Cloud Monitoring מ-InstanceV2 ל-InstanceV3

החל מגרסה 6.11.1.1 של Cloud Data Fusion, המשאב במעקב InstanceV3 (datafusion.googleapis.com/InstanceV3) הוא סוג המשאב שמוגדר כברירת מחדל למדדים ברמת המופע. אם יש לכם לוחות בקרה, תרשימים או כללי מדיניות קיימים של התראות לניטור שמטרגטים את InstanceV2, אתם יכולים לעדכן אותם כך שישתמשו בסוג המשאב InstanceV3 ובנתיבי המדדים.

כדי להעביר את השאילתות, פועלים לפי השלבים הבאים:

1. שינוי סוג המשאב: עדכון resource.type מ-datafusion.googleapis.com/InstanceV2 ל-datafusion.googleapis.com/InstanceV3.

2. עדכון שמות המדדים: שינוי נתיבי המדדים מ-.../instance/v2/... ל-.../instance/v3/....

3. הסרת תוויות: צריך להסיר את כל המסננים או הצבירות שמבוססים על resource.labels.org_id או resource.labels.namespace, כי התוויות האלה לא מופיעות ב-InstanceV3.

לדוגמה, אם זו שאילתת InstanceV2 הקיימת:

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

מעדכנים אותו באופן הבא:

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

המאמרים הבאים

• מידע נוסף על הצגת מדדים של Cloud Data Fusion ב-Monitoring