Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
אפשר להשתמש ב-Cloud Monitoring וב-Cloud Logging עם Managed Service for Apache Airflow.
בעזרת Cloud Monitoring אפשר לעיין בנתוני הביצועים, זמן הפעולה התקינה והתקינות הכללית של אפליקציות מבוססות-ענן. מערכת Cloud Monitoring אוספת ומטמיעה מדדים, אירועים ומטא-נתונים מ-Managed Airflow כדי ליצור תובנות בלוחות בקרה ובתרשימים. אתם יכולים להשתמש ב-Cloud Monitoring כדי להבין את הביצועים ואת מצב התקינות של סביבות Managed Airflow ומדדי Airflow.
הרישום ביומן מתעד יומנים שנוצרו על ידי מתזמן העבודה וקונטיינרים של העובדים באשכול של הסביבה שלכם. היומנים האלה מכילים מידע על התלות ב-Airflow ברמת המערכת, כדי לעזור בניפוי באגים. מידע על צפייה ביומנים זמין במאמר צפייה ביומני Airflow.
לפני שמתחילים
כדי לגשת ליומנים ולמדדים של סביבת Managed Airflow, נדרשות ההרשאות הבאות:
- גישה לקריאה בלבד ליומנים ולמדדים:
logging.viewerו-monitoring.viewer - הרשאת קריאה בלבד ליומנים, כולל יומנים פרטיים:
logging.privateLogViewer - גישת קריאה/כתיבה למדדים:
monitoring.editor
במאמר בקרת גישה יש מידע נוסף על הרשאות ותפקידים אחרים ב-Managed Airflow.
- גישה לקריאה בלבד ליומנים ולמדדים:
כדי למנוע רישום כפול ביומן, Cloud Logging ל-Google Kubernetes Engine מושבת.
ב-Cloud Logging נוצרת רשומה לכל סטטוס ואירוע שמתרחשים ב Google Cloud פרויקט. אתם יכולים להשתמש במסנני החרגה כדי לצמצם את נפח היומנים, כולל היומנים שנוצרים ב-Cloud Logging עבור Managed Airflow.
מדדים של סביבה
אתם יכולים להשתמש במדדים של הסביבה כדי לבדוק את השימוש במשאבים ואת התקינות של סביבות Managed Airflow.
בריאות הסביבה
כדי לבדוק את תקינות הסביבה, אפשר להשתמש במדד הבא של סטטוס התקינות:
| מדד | API |
|---|---|
| התקינות של סביבה |
composer.googleapis.com/environment/healthy |
ב-Managed Airflow מופעל DAG של בדיקת פעילות בשם airflow_monitoring, שמופעל לפי לוח זמנים ומדווח על תקינות הסביבה באופן הבא:
- אם הריצה של ה-DAG של בדיקת הפעילות מסתיימת בהצלחה, סטטוס התקינות הוא
True. - אם הפעלת ה-DAG של בדיקת הפעילות נכשלת, סטטוס התקינות הוא
False.
ה-DAG של בדיקת החיות מאוחסן בתיקייה dags/ ומוצג בממשק המשתמש של Airflow. התדירות והתוכן של ה-DAG של בדיקת החיות הם קבועים ואין לשנות אותם. שינויים ב-DAG של בדיקת החיות לא נשמרים.
בדיקות של יחסי התלות בסביבה
Managed Airflow בודק מעת לעת שהסביבה יכולה להגיע לשירותים שנדרשים להפעלה שלה, ושיש לה מספיק הרשאות כדי ליצור איתם אינטראקציה. דוגמאות לשירותים שנדרשים להפעלת הסביבה: Artifact Registry, Cloud Logging ו-Cloud Monitoring.
המדדים הבאים זמינים לבדיקות התלויות של הסביבה:
| מדד | API | תיאור |
|---|---|---|
| מספר בדיקות התלות |
composer.googleapis.com/environment/health/dependency_check_count
|
המדד הזה עוקב אחרי מספר הפעמים שבהן מתבצעות בדיקות נגישות בשירותים שנדרשים להפעלת הסביבה. |
| מספר בדיקות ההרשאות של התלות |
composer.googleapis.com/environment/health/dependency_permissions_check_count
|
במדד הזה מתבצע מעקב אחרי מספר הפעמים שבהן מתבצעות בדיקות הרשאות בשירותים שנדרשים להפעלת הסביבה. |
תקינות מסד הנתונים
כדי לבדוק את תקינות מסד הנתונים, אפשר להשתמש במדד הסטטוס הבא של התקינות: composer.googleapis.com/environment/database_health.
פוד המעקב של Airflow שולח פינג למסד הנתונים כל דקה ומדווח על סטטוס תקינות כ-True אם אפשר ליצור חיבור SQL, או כ-False אם אי אפשר.
מדדים של מסד נתונים
המדדים הבאים של הסביבה זמינים במסד הנתונים של המטא-נתונים של Airflow שמשמש סביבות Managed Airflow. אתם יכולים להשתמש במדדים האלה כדי לעקוב אחרי הביצועים והשימוש במשאבים של מופע מסד הנתונים בסביבה שלכם.
לדוגמה, יכול להיות שתרצו להגדיל את הגודל של הסביבה אם הסביבה מתקרבת למגבלות המשאבים. אפשר גם לבצע ניקוי של מסד הנתונים כדי לבצע אופטימיזציה של הגודל שלו.
| מדד של מסד נתונים | API | תיאור |
|---|---|---|
| שימוש במעבד (CPU) של מסד הנתונים |
composer.googleapis.com/environment/database/cpu/usage_time
|
|
| ליבות מעבד (CPU) של מסד הנתונים |
composer.googleapis.com/environment/database/cpu/reserved_cores
|
|
| ניצול המעבד (CPU) של מסד הנתונים |
composer.googleapis.com/environment/database/cpu/utilization
|
|
| שימוש בזיכרון של מסד הנתונים |
composer.googleapis.com/environment/database/memory/bytes_used
|
|
| מכסת הזיכרון של מסד הנתונים |
composer.googleapis.com/environment/database/memory/quota
|
|
| ניצול הזיכרון של מסד הנתונים |
composer.googleapis.com/environment/database/memory/utilization
|
|
| היקף השימוש בדיסק של מסד הנתונים |
composer.googleapis.com/environment/database/disk/bytes_used
|
|
| מכסת נפח האחסון במסד הנתונים |
composer.googleapis.com/environment/database/disk/quota
|
|
| ניצול הדיסק של מסד הנתונים |
composer.googleapis.com/environment/database/disk/utilization
|
|
| מגבלת החיבורים למסד הנתונים |
composer.googleapis.com/environment/database/network/max_connections
|
|
| חיבורים למסדי נתונים |
composer.googleapis.com/environment/database/network/connections
|
|
| מסד הנתונים זמין למעבר לגיבוי בעת כשל |
composer.googleapis.com/environment/database/available_for_failover
|
הערך הוא True אם המכונה של Cloud SQL בסביבה נמצאת במצב זמינות גבוהה ומוכנה למעבר לגיבוי בעת כשל. |
| מספר הבקשות למעבר אוטומטי לגיבוי במקרה של כשל במסד הנתונים |
composer.googleapis.com/environment/database/auto_failover_request_count
|
המספר הכולל של בקשות המעבר האוטומטי לגיבוי (failover) של מופע Cloud SQL בסביבה. |
מדדים של עובדים
המדדים הבאים של הסביבה זמינים לעובדי Airflow בסביבות של Managed Airflow (דור 3) ו-Managed Airflow (דור 2).
המדד הזה משמש להתאמה אוטומטית של מספר העובדים בסביבה שלכם. מדד זה מוגדר על ידי Horizontal Pod Autoscaler, ואז רכיב הסביבה Airflow Worker Set Controller משתמש במדד הזה כדי להגדיל או להקטין את מספר העובדים של Airflow, בהתאם לערך של המדד הזה.
| מדד של עובד | API |
|---|---|
| יעד הגורם לקביעת קנה מידה |
composer.googleapis.com/environment/worker/scale_factor_target |
מדדים של כלי התזמון
| שם | API | תיאור |
|---|---|---|
| מתזמני פעולות פעילים |
composer.googleapis.com/environment/active_schedulers
|
מספר המופעים הפעילים של הכלי לתזמון. |
מדדים של מעבד DAG
| שם | API | תיאור |
|---|---|---|
| מעבדי DAG פעילים |
composer.googleapis.com/environment/active_dag_processors
|
מספר המופעים הפעילים של מעבד DAG. |
מדדים של הגורם המפעיל
| שם | API | תיאור |
|---|---|---|
| מפעילים פעילים |
composer.googleapis.com/environment/active_triggerers
|
מספר המופעים הפעילים של הטריגר. |
מדדים של שרת אינטרנט
המדדים הבאים של הסביבה זמינים לשרת האינטרנט של Airflow שמשמש סביבות Managed Airflow. אתם יכולים להשתמש במדדים האלה כדי לבדוק את הביצועים ואת השימוש במשאבים של מופע שרת האינטרנט של Airflow בסביבה שלכם.
| שם | API | תיאור |
|---|---|---|
| שרתי אינטרנט פעילים | composer.googleapis.com/environment/active_webservers |
מספר המופעים הפעילים של שרת האינטרנט. |
מכסות לשירותים שבהם נעשה שימוש בסביבה
Managed Airflow משתמש בשירותים אחרים Google Cloud . לשירותים האלה יש מכסות ברמת הפרויקט, שחלות כשמשתמשים ב-Managed Airflow.
ב-Managed Airflow (דור 3), האשכול של הסביבה נמצא בפרויקט הדייר. Managed Airflow (Gen 3) מספק את המדדים הבאים שמדווחים על ניצול המכסות ומגבלות המכסות התואמות עבור שירותים שנעשה בהם שימוש בסביבה שלכם בפרויקט הדייר.
| מדד | API | תיאור |
|---|---|---|
| מגבלת מכסת המעבד (CPU) לעומסי עבודה של Managed Airflow |
composer.googleapis.com/environment/workloads_cpu_quota
|
(Managed Airflow (Gen 3) only) מכסת הקצאת המעבדים (CPU) ב-Compute Engine עבור המספר הכולל של מעבדים וירטואליים שמשמשים בסביבה. המגבלה חלה על כל סביבה. אם בפרויקט יש כמה סביבות של Managed Airflow (דור 3), לכל סביבה יש מכסת שימוש משלה. |
| שימוש במכסת ה-CPU לעומסי עבודה ב-Managed Airflow |
composer.googleapis.com/environment/workloads_cpu_quota_usage
|
(Managed Airflow (Gen 3) only) השימוש במכסת הקצאת המעבד של Compute Engine בסביבה. |
מדדי DAG
כדי לעזור לכם לעקוב אחרי היעילות של הרצות DAG ולזהות משימות שגורמות לחביון גבוה, המדדים הבאים של DAG זמינים.
| מדד DAG | API |
|---|---|
| מספר ההרצות של DAG |
composer.googleapis.com/workflow/run_count |
| משך כל הפעלה של DAG |
composer.googleapis.com/workflow/run_duration |
| מספר ההרצות של המשימות |
composer.googleapis.com/workflow/task/run_count |
| משך כל הרצת משימה |
composer.googleapis.com/workflow/task/run_duration |
ב-Cloud Monitoring מוצגים רק המדדים של זרימות עבודה ושל משימות שהושלמו (בהצלחה או בכישלון). הערך No Data מוצג כשאין פעילות בתהליך העבודה, וכשתהליך העבודה והרצת המשימות נמצאים בתהליך.
מדדים של Celery Executor
אלה המדדים של Celery Executor שזמינים. המדדים האלה יכולים לעזור לכם לקבוע אם יש מספיק משאבי עובדים בסביבה שלכם.
| מדד Celery Executor | API |
|---|---|
| מספר המשימות בתור |
composer.googleapis.com/environment/task_queue_length |
| מספר העובדים של Celery אונליין |
composer.googleapis.com/environment/num_celery_workers |
מדדים של זרימת האוויר
המדדים הבאים של Airflow זמינים. המדדים האלה תואמים למדדים שמוצגים ב-Airflow.
| שם | API | שם ב-Airflow | תיאור |
|---|---|---|---|
| קוד יציאה שאינו אפס של משימת Celery |
composer.googleapis.com/environment/celery/execute_command_failure_count
|
celery.execute_command.failure
|
מספר קודי היציאה שאינם אפס ממשימות Celery. |
| הזמן הקצוב לתפוגה של פרסום משימות ב-Celery |
composer.googleapis.com/environment/celery/task_timeout_error_count
|
celery.task_timeout_error
|
מספר השגיאות מסוג AirflowTaskTimeout שנוצרו כשמפרסמים משימה ב-Celery Broker. |
| משך האחזור של DAG בסדרות |
composer.googleapis.com/environment/collect_db_dag_duration
|
collect_db_dags
|
הזמן שנדרש לאחזור כל ה-DAGs הסדרתיים ממסד הנתונים. |
| שגיאות ברענון של DAG |
composer.googleapis.com/environment/dag_callback/exception_count
|
dag.callback_exceptions
|
מספר החריגים שהופעלו מתוך קריאות חוזרות (callback) של DAG. במצב כזה, המשמעות היא שקריאה חוזרת (callback) של DAG לא פועלת. |
| שגיאות ברענון של DAG |
composer.googleapis.com/environment/dag_file/refresh_error_count
|
dag_file_refresh_error
|
מספר הכשלים בטעינה של קובצי DAG. |
| זמן הטעינה של קובץ DAG |
composer.googleapis.com/environment/dag_processing/last_duration
|
dag_processing.last_duration.<dag_file>
|
הזמן שנדרש לטעינת קובץ DAG ספציפי. |
| הזמן שעבר מאז עיבוד קובץ ה-DAG |
composer.googleapis.com/environment/dag_processing/last_run_elapsed_time
|
dag_processing.last_run.seconds_ago.<dag_file>
|
מספר השניות שעברו מאז העיבוד האחרון של קובץ DAG. |
| DagFileProcessorManager stall count |
composer.googleapis.com/environment/dag_processing/manager_stall_count
|
dag_processing.manager_stalls
|
מספר התהליכים התקועים DagFileProcessorManager. |
| שגיאות בניתוח DAG |
composer.googleapis.com/environment/dag_processing/parse_error_count
|
dag_processing.import_errors
|
מספר השגיאות שנוצרו במהלך ניתוח קובצי DAG. |
| הפעלת תהליכי ניתוח של DAG |
composer.googleapis.com/environment/dag_processing/processes
|
dag_processing.processes
|
מספר תהליכי הניתוח של DAG שפועלים כרגע. |
| הזמן הקצוב של המעבד |
composer.googleapis.com/environment/dag_processing/processor_timeout_count
|
dag_processing.processor_timeouts
|
מספר מעבדי הקבצים שהופסקו בגלל שהם פעלו יותר מדי זמן. |
| משך הזמן שנדרש לסריקה ולייבוא של כל קובצי ה-DAG |
composer.googleapis.com/environment/dag_processing/total_parse_time
|
dag_processing.total_parse_time
|
הזמן הכולל שנדרש לסריקה ולייבוא של כל קובצי ה-DAG פעם אחת. |
| גודל תיקיית ה-DAG הנוכחית |
composer.googleapis.com/environment/dagbag_size
|
dagbag_size
|
מספר ה-DAG שנמצאו כשמתזמן הפעלת הסריקה על סמך ההגדרה שלו. |
| התראות באימייל על החמצת SLA נכשלו |
composer.googleapis.com/environment/email/sla_notification_failure_count
|
sla_email_notification_failure
|
מספר הניסיונות שנכשלו לשליחת התראה באימייל על חריגה מהסכם רמת שירות (SLA). |
| פתיחת משבצות ב-executor |
composer.googleapis.com/environment/executor/open_slots
|
executor.open_slots
|
מספר המשבצות הפתוחות ב-executor. |
| משימות בתור לביצוע |
composer.googleapis.com/environment/executor/queued_tasks
|
executor.queued_tasks
|
מספר המשימות בתור לביצוע. |
| הרצת משימות ב-executor |
composer.googleapis.com/environment/executor/running_tasks
|
executor.running_tasks
|
מספר המשימות שפועלות ב-executor. |
| הצלחות או כישלונות של מופעי משימות |
composer.googleapis.com/environment/finished_task_instance_count
|
ti_failures, ti_successes
|
הצלחות או כישלונות של מופעי משימות באופן כללי. |
| משימות שהתחילו או הסתיימו |
composer.googleapis.com/environment/job/count
|
<job_name>_start, <job_name>_end
|
מספר המשימות שהתחילו או הסתיימו, כמו SchedulerJob ו-LocalTaskJob. |
| כשלים בפעימת הלב של המשימה |
composer.googleapis.com/environment/job/heartbeat_failure_count
|
<job_name>_heartbeat_failure
|
מספר פעימות הלב שנכשלו עבור משימה. |
| משימות שנוצרו לכל מפעיל |
composer.googleapis.com/environment/operator/created_task_instance_count
|
task_instance_created-<operator_name>
|
מספר המופעים של משימות שנוצרו לאופרטור נתון. |
| ביצועים של אופרטורים |
composer.googleapis.com/environment/operator/finished_task_instance_count
|
operator_failures_<operator_name>, operator_successes_<operator_name>
|
מספר המופעים של משימות שהושלמו לכל אופרטור |
| Open slots in the pool |
composer.googleapis.com/environment/pool/open_slots
|
pool.open_slots.<pool_name>
|
מספר המשבצות הפתוחות במאגר. |
| משבצות בתור במאגר |
composer.googleapis.com/environment/pool/queued_slots
|
pool.queued_slots.<pool_name>
|
מספר המשבצות בתור במאגר. |
| הפעלת משבצות בבריכה |
composer.googleapis.com/environment/pool/running_slots
|
pool.running_slots.<pool_name>
|
מספר המשבצות הפעילות במאגר. |
| משימות שמושהות ב-pool |
composer.googleapis.com/environment/pool/starving_tasks
|
pool.starving_tasks.<pool_name>
|
מספר המשימות שאין להן מספיק משאבים ב-pool. |
| הזמן שחלף בקטע הקריטי של הכלי לתזמון |
composer.googleapis.com/environment/scheduler/critical_section_duration
|
scheduler.critical_section_duration
|
הזמן שחלף בלולאת המתזמן בקטע הקריטי. רק מתזמן אחד יכול להיכנס ללולאה הזו בכל פעם. |
| כשלים קריטיים בנעילת קטע |
composer.googleapis.com/environment/scheduler/critical_section_lock_failure_count
|
scheduler.critical_section_busy
|
מספר הפעמים שתהליך של מתזמן ניסה לקבל נעילה בקטע הקריטי (נדרש כדי לשלוח משימות למבצע) וגילה שהוא נעול על ידי תהליך אחר. |
| משימות שהופסקו באופן חיצוני |
composer.googleapis.com/environment/scheduler/task/externally_killed_count
|
scheduler.tasks.killed_externally
|
מספר המשימות שהופסקו באופן חיצוני. |
| משימות ללא בעלים |
composer.googleapis.com/environment/scheduler/task/orphan_count
|
scheduler.orphaned_tasks.cleared, scheduler.orphaned_tasks.adopted
|
מספר המשימות היתומות שנוקו או אומצו על ידי הכלי לתזמון. |
| משימות פעילות/משימות שמושהות/משימות שניתן להפעיל |
composer.googleapis.com/environment/scheduler/tasks
|
scheduler.tasks.running, scheduler.tasks.starving, scheduler.tasks.executable
|
מספר המשימות שפועלות, לא מקבלות מספיק משאבים או ניתנות להרצה. |
| החלקים החשובים בפורמט אנכי |
composer.googleapis.com/environment/scheduler_heartbeat_count
|
scheduler_heartbeat
|
החלקים החשובים בפורמט אנכי של מתזמן. |
| התראות על קריאה חוזרת של SLA שנכשלה |
composer.googleapis.com/environment/sla_callback_notification_failure_count
|
sla_callback_notification_failure
|
מספר הניסיונות שנכשלו לשליחת התראה על החמצה של SLA. |
| כשלים בחריגות של בדיקת חיישנים חכמים |
composer.googleapis.com/environment/smart_sensor/exception_failures
|
smart_sensor_operator.exception_failures
|
מספר הכשלים שנגרמו בגלל חריגה בלולאת הבדיקה הקודמת של החיישן החכם. |
| כשלים בתשתית של בדיקת חיישנים חכמים |
composer.googleapis.com/environment/smart_sensor/infra_failures
|
smart_sensor_operator.infra_failures
|
מספר הכשלים בתשתית בלולאת הבדיקה הקודמת של החיישן החכם. |
| חריגים לזיהוי של חיישנים חכמים |
composer.googleapis.com/environment/smart_sensor/poked_exception
|
smart_sensor_operator.poked_exception
|
מספר החריגים בלולאת הבדיקה הקודמת של החיישן החכם. |
| החיישן החכם דחף משימות בהצלחה |
composer.googleapis.com/environment/smart_sensor/poked_success
|
smart_sensor_operator.poked_success
|
מספר המשימות החדשות שהצליחו והופעלו על ידי החיישן החכם בלולאת ההפעלה הקודמת. |
| משימות של חיישנים חכמים |
composer.googleapis.com/environment/smart_sensor/poked_tasks
|
smart_sensor_operator.poked_tasks
|
מספר המשימות שהחיישן החכם שלח להן פוק במהלך לולאת הפוק הקודמת. |
| מופעים של משימות שהסתיימו בהצלחה בעבר |
composer.googleapis.com/environment/task_instance/previously_succeeded_count
|
previously_succeeded
|
מספר המופעים הקודמים של המשימה שהושלמו בהצלחה. |
| משימות זומבים שהופסקו |
composer.googleapis.com/environment/zombie_task_killed_count
|
zombies_killed
|
מספר משימות זומבי שהופסקו. |
| משך ההרצה של DAG |
composer.googleapis.com/workflow/dag/run_duration
|
dagrun.duration.success.<dag_id>, dagrun.duration.failed.<dag_id>
|
הזמן שנדרש ל-DagRun כדי להגיע למצב הצלחה או למצב כשל. |
| משך הבדיקה של התלות ב-DAG |
composer.googleapis.com/workflow/dependency_check_duration
|
dagrun.dependency-check.<dag_id>
|
הזמן שנדרש לבדיקת התלויות ב-DAG. המדד הזה שונה מהמדדים של בדיקות התלות וההרשאות של הסביבה, והוא חל על DAG |
| עיכוב בלוח הזמנים של הרצת DAG |
composer.googleapis.com/workflow/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
הזמן שחלף בין תאריך ההתחלה המתוזמן של DagRun לבין תאריך ההתחלה בפועל של DagRun. |
| משימות שהושלמו |
composer.googleapis.com/workflow/task_instance/finished_count
|
ti.finish.<dag_id>.<task_id>.<state>
|
מספר המשימות שהושלמו ב-DAG נתון. |
| משך ההרצה של מופע של משימה |
composer.googleapis.com/workflow/task_instance/run_duration
|
dag.<dag_id>.<task_id>.duration
|
הזמן שלקח לסיים את המשימה. |
| משימות שהתחילו |
composer.googleapis.com/workflow/task_instance/started_count
|
ti.start.<dag_id>.<task_id>
|
מספר המשימות שהתחילו ב-DAG נתון. |
| משך הזמן של מופע המשימה בתור |
composer.googleapis.com/workflow/task_instance/queued_duration
|
dag.<dag_id>.<task_id>.queued_duration
|
הזמן שבו משימה נמצאת במצב 'בהמתנה בתור' לפני שהיא עוברת למצב 'פועלת'. |
| שימוש במעבד (CPU) של משימה |
composer.googleapis.com/workflow/task/cpu_usage
|
task.cpu_usage.<dag_id>.<task_id>
|
אחוז השימוש במעבד על ידי משימה. |
| שימוש בזיכרון של המשימה |
composer.googleapis.com/workflow/task/mem_usage
|
task.mem_usage.<dag_id>.<task_id>
|
אחוז הזיכרון שמשמש למשימה. |
| משימות שהוסרו מ-DAG |
composer.googleapis.com/workflow/task/removed_from_dag_count
|
task_removed_from_dag.<dag_id>
|
מספר המשימות שהוסרו מ-DAG מסוים (כלומר, המשימה כבר לא קיימת ב-DAG). |
| המשימות שוחזרו ל-DAG |
composer.googleapis.com/workflow/task/restored_to_dag_count
|
task_restored_to_dag.<dag_id>
|
מספר המשימות ששוחזרו עבור DAG נתון (כלומר, מופע של משימה שהיה קודם במצב REMOVED במסד הנתונים, נוסף לקובץ ה-DAG). |
| השהיית תזמון המשימה |
composer.googleapis.com/workflow/task/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
הזמן שחלף בין תאריך ההתחלה של המשימה הראשונה לבין תאריך ההתחלה הצפוי של ה-DAGRun. |
| מספר הטריגרים הפועלים הכולל |
composer.googleapis.com/workload/triggerer/num_running_triggers
|
triggers.running
|
מספר הטריגרים הפועלים לכל מופע של מפעיל טריגרים. |
| טריגרים לחסימה |
composer.googleapis.com/environment/trigger/blocking_count
|
triggers.blocked_main_thread
|
מספר הטריגרים שחסמו את התהליכון הראשי (סביר להניח בגלל שהם לא אסינכרוניים לחלוטין). |
| טריגרים שנכשלו |
composer.googleapis.com/environment/trigger/failed_count
|
triggers.failed
|
מספר הטריגרים שנכשלו עם שגיאה לפני שהם יכלו להפעיל אירוע. |
| טריגרים שהופעלו בהצלחה |
composer.googleapis.com/environment/trigger/succeeded_count
|
triggers.succeeded
|
מספר הטריגרים שהפעילו אירוע אחד לפחות. |
שימוש ב-Monitoring לסביבות Managed Airflow
המסוף
אפשר להשתמש ב-Metrics Explorer כדי להציג מדדים שקשורים לסביבות ול-DAG:
המשאב Cloud Composer Environment מכיל מדדים של סביבות.
כדי להציג מדדים עבור סביבה ספציפית, מסננים את המדדים לפי התווית
environment_name. אפשר גם לסנן לפי תוויות אחרות, כמו מיקום הסביבה או גרסת התמונה.משאב Cloud Composer Workflow מכיל מדדים של DAG.
כדי להציג מדדים עבור DAG או משימה ספציפיים, מסננים את המדדים לפי התוויות
workflow_nameו-task_name. אפשר גם לסנן לפי תוויות אחרות, כמו סטטוס המשימה או שם האופרטור של Airflow.
API ו-gcloud
אפשר ליצור ולנהל לוחות בקרה בהתאמה אישית ווידג'טים באמצעות Cloud Monitoring API והפקודה gcloud monitoring dashboards. מידע נוסף מופיע במאמר בנושא ניהול מרכזי בקרה באמצעות API.
מידע נוסף על משאבים, מדדים ומסננים מופיע במאמר בנושא Cloud Monitoring API:
שימוש בהתראות של Cloud Monitoring
אתם יכולים ליצור מדיניות התראות כדי לעקוב אחרי ערכי המדדים ולקבל התראה כשהמדדים האלה לא עומדים בתנאי מסוים.
-
נכנסים לדף notifications Alerting במסוף Google Cloud :
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.
- אם לא יצרתם ערוצי התראות ואתם רוצים לקבל התראות, לוחצים על Edit Notification Channels (עריכת ערוצי התראות) ומוסיפים את ערוצי ההתראות. אחרי שמוסיפים את הערוצים, חוזרים לדף התראות.
- בדף Alerting, לוחצים על Create policy.
- כדי לבחור את המדד, מרחיבים את התפריט Select a metric ומבצעים את הפעולות הבאות:
- כדי להגביל את התפריט לרשומות רלוונטיות, מזינים
Cloud Composerבסרגל הסינון. אם לא מוצאים תוצאות אחרי סינון התפריט, משביתים את המתג Show only active resources & metrics. - בשדה Resource type, בוחרים באפשרות Cloud Composer Environment או Cloud Composer Workflow.
- בוחרים קטגוריית מדד ומדד, ואז לוחצים על החלה.
- כדי להגביל את התפריט לרשומות רלוונטיות, מזינים
- לוחצים על הבא.
- ההגדרות בדף Configure alert trigger קובעות מתי ההתראה תופעל. בוחרים סוג תנאי, ואם צריך, מציינים סף. מידע נוסף זמין במאמר בנושא יצירת כללי מדיניות להתראות על סמך סף מדד.
- לוחצים על הבא.
- אופציונלי: כדי להוסיף התראות למדיניות ההתראות, לוחצים על ערוצי התראות. בתיבת הדו-שיח, בוחרים ערוץ התראות אחד או יותר מהתפריט ולוחצים על אישור.
- אופציונלי: מעדכנים את משך הזמן עד לסגירה אוטומטית של ההתראה. השדה הזה קובע מתי מערכת Monitoring סוגרת התראות כשאין נתוני מדדים.
- אופציונלי: לוחצים על תיעוד, ואז מוסיפים את המידע שרוצים לכלול בהודעת ההתראה.
- לוחצים על שם ההתראה ומזינים שם למדיניות ההתראה.
- לוחצים על יצירת מדיניות.